- 博客(53)
- 收藏
- 关注
RSS订阅原创 Python人工智能—分类
人工分类特征1特征2输出3102511816405203514714-10………681510案例：import numpy as npimport matplotlib.pyplot as mpx = np.array([ [3, 1], [2...
2023-05-05 21:06:50
427
原创 Python人工智能—线性回归
线性回归输入 输出0.5 5.00.6 5.50.8 6.01.1 6.81.4 7.0...y = f(x)预测函数：y = w0+w1xx: 输入y: 输出w0和w1: 模型参数所谓模型训练，就是根据已知的x和y，找到最佳的模型参数w0 和 w1，尽可能精确地描述出输入和输出的关系。5.0 = w0 + w1 ×...
2023-05-05 21:06:39
510
原创 Python人工只智能——识别
语音识别声音的本质是震动，震动的本质是位移关于时间的函数，波形文件(.wav)中记录了不同采样时刻的位移。通过傅里叶变换，可以将时间域的声音函数分解为一系列不同频率的正弦函数的叠加，通过频率谱线的特殊分布，建立音频内容和文本的对应关系，以此作为模型训练的基础。案例：import numpy as npimport numpy.fft as nfimport scipy.io.wavfi...
2023-05-05 21:05:32
124
原创 Python人工智能——自然语言处理
自然语言处理（NLP）Siri的工作流程：1. 听 2.懂 3.思考 4.组织语言 5.回答语音识别自然语言处理 - 语义分析逻辑分析 - 结合业务场景与上下文自然语言处理 - 分析结果生成自然语言文本语音合成自然语言处理的常用处理过程：先针对训练文本进行分词处理（词干提取、原型提取），统计词频，通过词频-逆文档频率算法获得该词对样本语义的贡献，根据每个词的贡献力度，...
2023-05-05 21:05:09
958
原创 Python人工智能——向量机，聚类
支持向量机(SVM)支持向量机原理寻求最优分类边界正确：对大部分样本可以正确地划分类别。泛化：最大化支持向量间距。公平：与支持向量等距。简单：线性，直线或平面，分割超平面。基于核函数的升维变换通过名为核函数的特征变换，增加新的特征，使得低维度空间中的线性不可分问题变为高维度空间中的线性可分问题。线性核函数：linear，不通过核函数进行维度提升，仅在原始维度空间中寻求线性...
2023-05-05 21:04:41
740
原创 Python人工智能—概述与数据预处理
机器学习概述什么是机器学习机器学习是一门能够让编程计算机从数据中学习的计算机科学。一个计算机程序在完成任务T之后，获得经验E，其表现效果为P，如果任务T的性能表现，也就是用以衡量的P，随着E增加而增加，那么这样计算机程序就被称为机器学习系统。自我完善，自我增进，自我适应。为什么需要机器学习自动化的升级和维护解决那些算法过于复杂甚至跟本就没有已知算法的问题在机器学习的过程中协助人...
2019-11-19 19:47:54
329
1
原创 Python数据分析——Pandas基础
pandas基础pandas介绍Python Data Analysis Librarypandas是基于NumPy 的一种工具，该工具是为了解决数据分析任务而创建的。Pandas 纳入 了大量库和一些标准的数据模型，提供了高效地操作大型结构化数据集所需的工具。pandas核心数据结构数据结构是计算机存储、组织数据的方式。 通常情况下，精心选择的数据结构可以带来更高的运行或者存储效率。数...
2019-11-16 10:15:22
702
1
原创 Python数据分析——通用函数
通用函数裁剪、压缩数组的裁剪# 将调用数组中小于和大于下限和上限的元素替换为下限和上限，返回裁剪后的数组，调# 用数组保持不变。ndarray.clip(min=下限, max=上限)数组的压缩# 返回由调用数组中满足条件的元素组成的新数组。ndarray.compress(条件)案例：from __future__ import unicode_literalsimpo...
2019-11-16 10:04:27
504
原创 Python数据分析——Numpy常用函数
numpy常用函数加载文件numpy提供了函数用于加载逻辑上可被解释为二维数组的文本文件，格式如下：数据项1 <分隔符> 数据项2 <分隔符> ... <分隔符> 数据项n例如：AA,AA,AA,AA,AABB,BB,BB,BB,BB...或：AA:AA:AA:AA:AABB:BB:BB:BB:BB...调用numpy.loadtxt(...
2019-11-16 09:36:27
970
原创 Python数据分析——Matplotlib绘图
matplotlib基本功能详解matplotlib具有广泛的代码库，可能会使许多新用户望而却步。但是，大多数matplotlib可以通过相当简单的概念框架和一些要点的知识来理解。基本绘图绘图核心API案例：绘制一条余弦曲线import numpy as npimport matplotlib.pyplot as mp# xarray: <序列> 水平坐标序列# ya...
2019-11-05 20:33:54
534
原创 数据分析——Numpy介绍
什么是数据分析？数据分析是指用适当的统计分析方法对收集来的大量数据进行分析，提取有用信息和形成结论而对数据加以详细研究和概括总结的过程。使用python做数据分析的常用库numpy 基础数值算法scipy 科学计算matplotlib 数据可视化pandas 序列高级函数Numpy概述Numerical Python...
2019-11-02 09:45:18
301
原创 Linux命令-使用及介绍
Linux常用Linux操作系统RedHat(红帽)：6.5、7 CentOS：6.5、7Ubuntu：16.04、18.04远程连接工具-xshell# 1、定义xshell: 安装终端模拟软件# 2、使用文件-新建-输入服务器IP地址-输入用户名-输入密码-确认连接# 3、文件互传sudo apt-get install lrzszWindows -> Linu...
2019-10-29 19:27:13
2449
原创 Linux命令-shell编程
使用命令必须养成的习惯1、tab键自动补全2、Ctrl + l : 清理屏幕3、Ctrl + c : 终止当前命令的执行常用远程连接软件# 终端仿真程序，其实就是Windows下登录UNIX或Linux服务器主机的软件，支持ssh、telnet1、Xshell2、Secure CRT# xshell实现文件互传1、xshell图形界面: 新建文件传输2、安装: lrzsz,...
2019-10-29 19:24:24
159
原创 Python爬虫(十一)
settings.py常用变量# 1、设置日志级别LOG_LEVEL = "" DEBUG--<INFO--<WARNING--<ERROR--<CRITITAL# 2、保存到日志文件(不在终端输出)LOG_FILE = "XXX.log"# 3、设置数据导出编码(主要针对于json文件)FEED_EXPORT_ENCODING = "UTF-8"# 4、非结...
2019-10-29 19:18:44
130
原创 Python爬虫(十)
五大组件引擎（Engine）爬虫程序（Spider）调度器（Scheduler）下载器（Downloader）管道文件（Pipeline）# 两个中间件下载器中间件（Downloader Middlewares）蜘蛛中间件（Spider Middlewares）工作流程1、Engine向Spider索要URL,交给Scheduler入队列2、Scheduler处理后...
2019-10-29 19:17:14
403
原创 Python爬虫(九)
scrapy框架定义异步处理框架,可配置和可扩展程度非常高,Python中使用最广泛的爬虫框架安装# Ubuntu安装1、安装依赖包 1、sudo apt-get install libffi-dev 2、sudo apt-get install libssl-dev 3、sudo apt-get install libxml2-dev 4、sudo apt-get i...
2019-10-29 19:15:24
247
原创 Python爬虫(八)
三个池子1、User-Agent池2、代理IP池3、cookie池selenium+phantomjs/chrome/firefox特点1、简单，无需去详细抓取分析网络数据包，使用真实浏览器2、需要等待页面元素加载，需要时间，效率低安装1、下载、解压2、添加到系统环境变量 # windows: 拷贝到Python安装目录的Scripts目录中 # Lin...
2019-10-29 19:13:42
2475
原创 Python爬虫(七)
多线程爬虫思路1、将待爬取的URL地址存放到队列中2、多个线程从队列中获取地址,进行数据抓取3、注意获取地址过程中程序阻塞问题 while True: if not q.empty(): url = q.get() ... ... else: break 将抓取数据保存到同一文件# 注意多线程...
2019-10-28 20:54:33
322
原创 Python爬虫(六)
增量爬取思路1、将爬取过的地址存放到数据库中2、程序爬取时先到数据库中查询比对，如果已经爬过则不会继续爬取动态加载网站数据抓取1、F12打开控制台，页面动作抓取网络数据包2、抓取json文件URL地址# 控制台中 XHR ：异步加载的数据包# XHR -> Query String Parameters(查询参数)数据抓取最终梳理# 响应内容中存在1、确认抓取数据在响...
2019-10-28 20:52:28
1436
原创 Python爬虫(五)
常见的反爬机制及处理方式1、Headers反爬虫 ：Cookie、Referer、User-Agent 解决方案: 通过F12获取headers,传给requests.get()方法 2、IP限制 ：网站根据IP地址访问频率进行反爬,短时间内限制IP访问 解决方案: 1、构造自己IP代理池,每次访问随机选择代理,经常更新代理池 2、...
2019-10-16 20:02:29
291
原创 Redis事务及缓存
Redis事务特点1. 单独的隔离操作：事务中的所有命令会被序列化、按顺序执行，在执行的过程中不会被其他客户端发送来的命令打断2. 不保证原子性：redis中的一个事务中如果存在命令执行失败，那么其他命令依然会被执行，没有回滚机制事务命令1、MULTI # 开启事务2、命令1 # 执行命令3、命令2 ... ...4、EXEC # 提交到数据库执行4、DISCARD # ...
2019-10-14 19:47:43
147
原创 Spider爬虫(四)
目前反爬总结基于User-Agent反爬1、发送请求携带请求头: headers={'User-Agent' : 'Mozilla/5.0 xxxxxx'}2、多个请求随机切换User-Agent 1、定义列表存放大量User-Agent，使用random.choice()每次随机选择 2、定义py文件存放大量User-Agent，使用random.choice()每次随机选...
2019-10-14 19:38:09
239
原创 Spider爬虫(二)
请求模块(urllib.request)req = request.Request(url,headers=headers)res = request.urlopen(req)html = res.read().decode('utf-8')抓取步骤1、确定所抓取数据在响应中是否存在（右键 - 查看网页源码 - 搜索关键字）2、数据存在: 查看URL地址规律3、写正则表达式,来匹配...
2019-10-14 19:24:10
450
原创 Spider爬虫(一)
网络爬虫概述定义网络蜘蛛、网络机器人，抓取网络数据的程序其实就是用Python程序模仿人点击浏览器并访问网站，而且模仿的越像越好，让Web站点无法发现你不是人爬取数据目的1、公司项目测试数据2、公司业务部门及其他部门所需数据3、数据分析企业获取数据方式1、公司自有数据2、第三方数据平台购买(数据堂、贵阳大数据交易所)3、爬虫爬取数据Pyth...
2019-10-14 19:07:20
295
原创 Redis数据持久化及哨兵
五大数据类型及应用场景类型特点使用场景string简单key-value类型，value可为字符串和数字常规计数（微博数, 粉丝数等功能）hash是一个string类型的field和value的映射表，hash特别适合用于存储对象存储部分可能需要变更的数据（比如用户信息）list有序可重复列表关注列表，粉丝列表，消息队列等set无序不可重复列...
2019-10-09 19:13:07
250
1
原创 Redis数据类型以及集合
位图操作bitmap定义1、位图不是真正的数据类型，它是定义在字符串类型中2、一个字符串类型的值最多能存储512M字节的内容，位上限：2^32# 1MB = 1024KB# 1KB = 1024Byte(字节)# 1Byte = 8bit(位)强势点可以实时的进行统计，极其节省空间。官方在模拟1亿2千8百万用户的模拟环境下，在一台MacBookPro上，典型的统计如“日用户数”的...
2019-10-08 19:20:47
96
原创 Redis的介绍以及数据类型
Redis-day01-note王伟超wangweichao@tedu.cnRedis介绍特点及优点1、开源的，使用C编写，基于内存且支持持久化2、高性能的Key-Value的NoSQL数据库3、支持数据类型丰富，字符串strings，散列hashes，列表lists，集合sets，有序集合sorted sets 等等4、支持多种编程语言（C, C++, Python, ...
2019-10-08 19:17:18
124
原创 Celery的使用
Celery1 定义Celery 是一个简单、灵活且可靠的，处理大量消息的分布式系统它是一个专注于实时处理的任务队列，同时也支持任务调度中文官网：http://docs.jinkan.org/docs/celery/在线安装 sudo pip3 install celery离线安装tar xvfz celery-0.0.0.tar.gzcd celery-0.0.0python...
2019-09-30 09:12:20
107
原创 前后端分离-博客项目 部署文档 【腾讯云】
前后端分离-博客项目 部署文档 【腾讯云】1，安装pip3 sudo apt-get install python3-pip2，pip3 install --upgrade pip 更新pip3版本3，更新pip3至最新版本后 - 需要修改 pip3 文件，流程如下 3.1 sudo vi /usr/bin/pip3 3.2 修改代码至如下from pip ...
2019-09-30 09:11:37
340
原创 前后端分离--博客项目
1，前后端分离1.1 什么是前后端分离 前端： 即客户端，负责渲染用户显示界面【如web的js动态渲染页面, 安卓， IOS，pc客户端等】 后端：即服务器端，负责接收http请求，处理数据 API：Application Programming Interface 是一些预先定义的函数，或指软件系统不同组成部分衔接的约定 前后端分离 完整请求过程 1，前端通过h...
2019-09-26 20:26:02
594
原创 Django框架csv文件与项目部署
《Django Web框架教学笔记》目录文章目录《Django Web框架教学笔记》目录Django中的用户认证 (使用Django认证系统)auth基本模型操作:生成CSV文件电子邮件发送项目部署WSGI Django工作环境部署uWSGI 网关接口配置 (ubuntu 18.04 配置)nginx 反向代理配置nginx 配置静态文件路径404 界面Django中的用户认证 (使用Dja...
2019-09-23 19:18:47
234
原创 JQuery对AJAX的支持
jquery对 ajax 的支持1.$obj.load() 作用：载入远程的HTML文件到指定的元素中$obj.load(url,data,callback)$obj:显示响应内容的jq元素url:请求地址data:请求参数(可省略) 方式1:字符串传参 "key1=value1&key2=value2" ...
2019-09-23 19:17:51
129
原创 AJAX及JSON介绍
Asynchronous Javascript And Xml 异步的 JS 和 xml(EXtensible Markup Language) 通过 JS 异步的向服务器发送请求并接收响应数据 ...
2019-09-20 20:27:29
88
原创 Django框架缓存和分页的使用
缓存什么是缓存？缓存是一类可以更快的读取数据的介质统称，也指其它可以加快数据读取的存储方式。一般用来存储临时数据，常用介质的是读取速度很快的内存为什么使用缓存？视图渲染有一定成本，对于低频变动的页面可以考虑使用缓存技术，减少实际渲染次数案例分析from django.shortcuts import renderdef index(request): # 时间复杂度极高的渲...
2019-09-17 19:47:06
450
原创 Django框架（小项目：网络云笔记）
文章目录网络云笔记项目数据库设计设计规范网络云笔记项目功能:注册登陆退出登陆查看笔记列表创建新笔记修改笔记删除笔记数据库设计模型类用户模型类class User(models.Model): username = models.CharField("用户名", max_length=30, unique=True) password = mo...
2019-09-17 19:40:56
491
原创 Django框架后台数据库管理及COOKIE，SESSION的使用
admin 后台数据库管理django 提供了比较完善的后台管理数据库的接口，可供开发过程中调用和测试使用django 会搜集所有已注册的模型类，为这些模型类提拱数据管理界面，供开发者使用使用步骤:创建后台管理帐号:后台管理–创建管理员帐号$ python3 manage.py createsuperuser根据提示完成注册,参考如下:$ python3 manage.p...
2019-09-17 19:36:44
223
原创 Django框架数据库的操作及F，Q对象的使用
批量创建数据Book.objects.bulk_create([obj1,obj2,obj3])一次插入多条数据查询数据数据库的查询需要使用管理器对象进行通过 MyModel.objects 管理器方法调用查询接口方法说明all()查询全部记录,返回QuerySet查询对象get()查询符合条件的单一记录filter()查询符合条件的多条记录...
2019-09-17 19:34:42
307
原创 Django框架中的应用及数据库基本操作
静态文件什么是静态文件不能与服务器端做动态交互的文件都是静态文件如:图片,css,js,音频,视频,html文件(部分)静态文件配置在 settings.py 中配置一下两项内容:配置静态文件的访问路径通过哪个url地址找静态文件STATIC_URL = ‘/static/’说明:指定访问静态文件时是需要通过 /static/xxx或 127.0.0.1:8...
2019-09-16 20:34:51
167
原创 Django框架设计模式
Django的框架设计模式MVC 设计模式MVC 代表 Model-View-Controller（模型-视图-控制器） 模式。作用: 降低模块间的耦合度(解耦)MVCM 模型层(Model), 主要用于对数据库层的封装V 视图层(View), 用于向用户展示结果C 控制(Controller )，用于处理请求、获取数据、返回结果(重要)MVC模式如图:MTV 模...
2019-09-09 19:45:37
340
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人