- 博客(37)
- 资源 (21)
- 收藏
- 关注
RSS订阅原创 机器学习之决策树
决策树【关键词】树，熵，信息增益决策树的优缺点优点：计算复杂度不高，输出结果易于理解，对中间值的缺失不敏感，可以处理不相关特征数据。既能用于分类，也能用于回归缺点：可能会产生过度匹配问题。一、决策树的原理我们经常使用决策树处理分类问题。近来的调查表明决策树也是最经常使用的数据挖掘算法。它之所以如此流行，一个很重要的原因就是使用者基本上不用了解机器学习算法，也不用深究...
2018-07-31 21:35:58
520
1
原创 机器学习的分类
机器学习的分类1、机器学习原理2、机器学习分类2.1 有监督学习主要用于决策支持，它利用有标识的历史数据进行训练，以实现对新数据做出预测。2.1.1 分类分类计数预测的数据对象是离散的。如短信是否为垃圾短信，用户是否喜欢电子产品。算法：K近邻、朴素贝叶斯、决策树、SVM2.1.2回归回归技术预测的数据对象是连续值。例如温度变化或时间变化。包...
2018-07-28 15:49:24
682
原创 python机器学习实现人脸图片自动补全
人脸自动补全1、导包import matplotlib.pyplot as pltimport numpy as npimport pandas as pdimport timefrom pandas import DataFrame,Series#导入knn模型包from sklearn.neighbors import KNeighborsRegressorf...
2018-07-28 15:48:00
1722
1
原创 python机器学习实现逻辑斯蒂回归
逻辑斯蒂回归【关键词】Logistics函数，最大似然估计，梯度下降法1、Logistics回归的原理利用Logistics回归进行分类的主要思想是：根据现有数据对分类边界线建立回归公式，以此进行分类。这里的“回归” 一词源于最佳拟合，表示要找到最佳拟合参数集。训练分类器时的做法就是寻找最佳拟合参数，使用的是最优化算法。接下来介绍这个二值型输出分类器的数学原理。Logist...
2018-07-28 15:20:11
1131
原创 python机器学习实现线性回归
线性回归【关键词】最小二乘法，线性一、普通线性回归1、原理分类的目标变量是标称型数据，而回归将会对连续型的数据做出预测。 应当怎样从一大堆数据里求出回归方程呢？假定输人数据存放在矩阵X中，而回归系数存放在向量W中。那么对于给定的数据X1, 预测结果将会通过Y=X*W给出。现在的问题是，手里有一些X和对应的Y,怎样才能找到W呢？一个常用的方法就是找出使误差...
2018-07-28 15:05:30
1083
原创 python机器学习的开发流程
标准机器学习的开发编程流程一、流程标准机器学习的开发编程流程：1、获取数据(爬虫、数据加载、业务部门获取)2、数据建模(摘选样本数据(特征、目标))3、数据清洗(异常值检测和过滤)4、特征工程(归一化处理：提高算法模型的精度) 归一化目的：使得每种特征数据的量级(权重)保持大致一致 归一化方法(常用)：1.普通归一化处理 2. 区归一化 处理 ...
2018-07-28 14:50:59
801
1
原创 python实现城市气候与海洋的关系研究
城市气候与海洋的关系研究以下命令都是在浏览器中输入。cmd命令窗口输入：jupyter notebook 后打开浏览器输入网址http://localhost:8888/ 1、导入包import numpy as npimport pandas as pdimport matplotlib.pyplot as pltimport osfrom pandas im...
2018-07-28 14:42:33
1962
原创 python机器学习实现K-近邻算法（KNN)
机器学习 K-近邻算法（KNN)以下命令都是在浏览器中输入。cmd命令窗口输入：jupyter notebook 后打开浏览器输入网址http://localhost:8888/ 导引如何进行电影分类众所周知，电影可以按照题材分类，然而题材本身是如何定义的?由谁来判定某部电影属于哪 个题材?也就是说同一题材的电影具有哪些公共特征?这些都是在进行电影分类时必须要考虑的...
2018-07-25 19:41:41
2171
转载 Pandas透视表和交叉表
Pandas透视表和交叉表pandas提供了一些用于将表格型数据读取为DataFrame对象的函数，其中read_csv和read_table这两个使用最多。以下命令都是在浏览器中输入。cmd命令窗口输入：jupyter notebook 后打开浏览器输入网址http://localhost:8888/ 导入库import numpy as npimport pa...
2018-07-25 19:30:04
2308
1
原创 python重要第三方库pandas加载数据（详解）
Pandas数据加载pandas提供了一些用于将表格型数据读取为DataFrame对象的函数，其中read_csv和read_table这两个使用最多。以下命令都是在浏览器中输入。cmd命令窗口输入：jupyter notebook 后打开浏览器输入网址http://localhost:8888/ 导入包import pandas as pdfrom pandas i...
2018-07-25 19:26:52
1272
原创 python数据分析使用matplotlib绘图
matplotlib绘图Series和DataFrame都有一个用于生成各类图表的plot方法。默认情况下，它们所生成的是线形图%matplotlib inline 是IPython 中的一个魔法函数。以下命令都是在浏览器中输入。cmd命令窗口输入：jupyter notebook 后打开浏览器输入网址http://localhost:8888/ 导入库impo...
2018-07-24 20:00:40
18567
2
原创 python使用pandas进行数据处理
pandas数据处理以下命令都是在浏览器中输入。 cmd命令窗口输入：jupyter notebook 打开浏览器输入网址http://localhost:8888/ 导入模块import numpy as npimport pandas as pdfrom pandas import Series,DataFrame1、删除重复元素使用duplic...
2018-07-21 11:06:24
1085
原创 python重要的第三方库pandas模块常用函数解析之DataFrame
pandas模块常用函数解析之DataFrame以下命令都是在浏览器中输入。 cmd命令窗口输入：jupyter notebook 打开浏览器输入网址http://localhost:8888/ 一、导入模块import numpy as npimport pandas as pdfrom pandas import Series,DataFrame二、Da...
2018-07-19 13:52:29
13884
1
原创 pandas模块常用函数解析之Series（详解）
pandas模块常用函数解析之Series以下命令都是在浏览器中输入。 cmd命令窗口输入：jupyter notebook 打开浏览器输入网址http://localhost:8888/ 一、导入模块import numpy as npimport pandas as pdfrom pandas import Series,DataFrame二、Ser...
2018-07-19 11:57:47
8060
原创 python常用模块numpy解析（详解）
numpy模块使用详解以下命令都是在浏览器中输入。 cmd命令窗口输入：jupyter notebook 后打开浏览器输入网址http://localhost:8888/一、导入模块import numpy as np查看numpy版本 np.__version__二、创建数组(ndarray)1. 使用np.array()参数为列表： 如[1, 4, ............
2018-07-18 15:19:56
5834
1
原创 jupyter IPthon常用命令
Jupyter IPython一、安装Anaconda到官网下载Anaconda安装包双击Anaconda3-5.0.0-Windows-x86_64.exe文件会出现如下的页面1. 点击install开始安装，可能过程需要时间，耐心等待点击finish配置环境变量在path路径下面追加C:\anaconda3、 C:\anacon...
2018-07-17 20:09:08
2555
原创 scrapyd部署、使用Gerapy 分布式爬虫管理框架
Scrapyd部署爬虫项目GitHub：https://github.com/scrapy/scrapydAPI 文档：http://scrapyd.readthedocs.io/en/stable/api.html1、新建虚拟环境(方便管理)，并在虚拟环境中安装scrapy项目需要使用到的包。创建： python3 -m venv scrapySpider查找：whi...
2018-07-17 19:43:41
3555
原创 使用 scrapy-redis实现分布式爬虫
Scrapy 和 scrapy-redis的区别Scrapy 是一个通用的爬虫框架，但是不支持分布式，Scrapy-redis是为了更方便地实现Scrapy分布式爬取，而提供了一些以redis为基础的组件(仅有组件)。 pip install scrapy-redisScrapy-redis提供了下面四种组件（components）：(四种组件意味着这四个模块都要做相应的修改)...
2018-07-15 22:14:39
22072
8
原创 python制作电脑可执行exe文件
python获取IP、主机名、mac地址打包成exe可执行文件制作get_IP.py文件：import socketimport uuid# 获取主机名hostname = socket.gethostname()#获取IPip = socket.gethostbyname(hostname)# 获取Mac地址def get_mac_address(): mac=uuid.UUID(...
2018-07-15 12:35:27
2459
原创 使用scrapy框架模拟登录
scrapy模拟登录注意：模拟登陆时，必须保证settings.py里的COOKIES_ENABLED(Cookies中间件) 处于开启状态 COOKIES_ENABLED = True 或# COOKIES_ENABLED = False策略一：直接POST数据（比如需要登陆的账户信息) 只要是需要提供post数据的，就可以用这种方法。下面示例里post的数据是账...
2018-07-14 16:51:57
1853
原创 scrapy反反爬虫策略和settings配置解析
反反爬虫相关机制Some websites implement certain measures to prevent bots from crawling them, with varying degrees of sophistication. Getting around those measures can be difficult and tricky, and may some...
2018-07-13 20:15:27
3244
原创 python爬虫scrapy框架
Scrapy 框架一、简介Scrapy是用纯Python实现一个为了爬取网站数据、提取结构性数据而编写的应用框架，用途非常广泛。框架的力量，用户只需要定制开发几个模块就可以轻松的实现一个爬虫，用来抓取网页内容以及各种图片，非常之方便。Scrapy 使用了 Twisted(其主要对手是Tornado)多线程异步网络框架来处理网络通讯，可以加快我们的下载速度，不用自己去实现异步框架，...
2018-07-13 17:36:39
791
原创 python使用matplotlib画图,jieba分词、词云、selenuium、图片、音频、视频、文字识别、人脸识别
一、使用matplotlib画图使用matplotlib画柱形图import matplotlibfrom matplotlib import pyplot as plt #数据视图#配置字体matplotlib.rcParams["font.sans-serif"] = ["simhei"] # 黑体matplotlib.rcParams["font.family"] =..
2018-07-12 18:44:49
1489
原创 Python爬虫之线程池
一、为什么要使用线程池？对于任务数量不断增加的程序，每有一个任务就生成一个线程，最终会导致线程数量的失控，例如，整站爬虫，假设初始只有一个链接a，那么，这个时候只启动一个线程，运行之后，得到这个链接对应页面上的b，c，d，，，等等新的链接，作为新任务，这个时候，就要为这些新的链接生成新的线程，线程数量暴涨。在之后的运行中，线程数量还会不停的增加，完全无法控制。所以，对于任务数量不端增加的程序，...
2018-07-09 19:05:25
864
原创 Python爬虫练习(多线程，进程，协程抓取网页)
一、多线程抓取网页流程：a.设置种子url b.获取区域列表 c.循环区域列表 d.创建线程获取页面数据e、启动线程import csvimport threadingimport timeimport requestsimport lxmlfrom lxml import etreeimport json# 递归锁rlock = threading.RLock(...
2018-07-08 20:02:02
1130
原创 Python使用协程进行爬虫
1、协程协程，又称微线程，纤程。英文名Coroutine。协程是啥 ？？首先我们得知道协程是啥？协程其实可以认为是比线程更小的执行单元。为啥说他是一个执行单元，因为他自带CPU上下文。这样只要在合适的时机，我们可以把一个协程切换到另一个协程,只要这个过程中保存或恢复 CPU上下文那么程序还是可以运行的。通俗的理解：在一个线程中的某个函数，可以在任何地方保存当前函数的一些临时变量...
2018-07-08 16:21:37
2245
原创 Python使用进程制作爬虫
1、进程1、进程的概念什么是进程—>CPU在同一时刻只能处理一个任务,只是因为cpu执行速度很快。 cpu在各个任务之间来回的进行切换。 进程的概念：正在进行的一个过程或者说一个任务，而负责执行任务的则是CPU，进程本身是 一个抽象的概念,即进程就是一个过程、一个任务。 CPU描述的是一个程序的执行过程. 进程之间是如何做到并发的：CPU在各个任务之间来回的进...
2018-07-08 15:54:35
501
原创 Python爬虫之多线程
多线程在介绍Python中的线程之前，先明确一个问题，Python中的多线程是假的多线程！ 为什么这么说，我们先明确一个概念，全局解释器锁（GIL）一、什么是GILPython代码的执行由Python虚拟机（解释器）来控制,同时只有一个线程在执行。对Python虚拟机的访问由全局解释器锁（GIL）来控制，正是这个锁能保证同时只有一个线程在运行。二、为什么要用GIL为了...
2018-07-08 15:36:12
5153
原创 Python爬虫练习(requests模块)
Python爬虫练习(requests模块)一、使用正则表达式解析页面和提取数据1、爬取动态数据(js格式)爬取http://fund.eastmoney.com/fund.html流程：a.分析页面用浏览器打开链接，清空已加载的数据，点击下一页，可看到动态数据已被封装成js格式：var db = {...}b.获取urlc.获取响应...
2018-07-07 20:13:00
4369
3
原创 python爬虫使用xpath解析页面和提取数据
XPath解析页面和提取数据一、简介XPath即为XML路径语言，它是一种用来确定XML（标准通用标记语言的子集）文档中某部分位置的语言。XPath基于XML的树状结构，有不同类型的节点，包括元素节点，属性节点和文本节点，提供在数据结构树中找寻节点的能力。二、什么是 XPath?XPath 使用路径表达式在 XML 文档中进行导航XPath 包含一个标准函数库XPat...
2018-07-07 15:05:40
16888
原创 pytho爬虫使用bs4 解析页面和提取数据
页面解析和数据提取一般来讲对我们而言，需要抓取的是某个网站或者某个应用的内容，提取有用的价值。内容一般分为两部分，非结构化的数据 和 结构化的数据。非结构化数据：先有数据，再有结构，结构化数据：先有结构、再有数据不同类型的数据，我需要采用不同的方式来处理。非结构化的数据处理文本、电话号码、邮箱地址用:正则表达式html文件用:正则表达式 / xpath/...
2018-07-06 19:42:10
3256
原创 python爬虫爬取策略
爬取策略在爬虫系统中，待抓取URL队列是很重要的一部分。待抓取URL队列中的URL以什么样的顺序排列也是一个很重要的问题，因为这涉及到先抓取那个页面，后抓取哪个页面。而决定这些URL排列顺序的方法，叫做抓取策略。下面重点介绍几种常见的抓取策略：一、深度优先遍历策略深度优先遍历策略是指网络爬虫会从起始页开始，一个链接一个链接跟踪下去，处理完这条线路之后再转入下一个起始页，继续跟踪链接...
2018-07-05 20:01:08
2289
原创 python爬虫中的requests模块
Requests: 让 HTTP 服务人类一、简介虽然Python的标准库中 urllib 模块已经包含了平常我们使用的大多数功能，但是它的 API 使用起来让人感觉不太好，而 Requests 自称 “HTTP for Humans”，说明使用更简洁方便。Requests 唯一的一个非转基因的 Python HTTP 库，人类可以安全享用：）Requests 继承了urlli...
2018-07-05 15:27:36
507
原创 HTTP响应状态码参考
HTTP响应状态码参考一、1xx:信息1xx:信息100 Continue服务器仅接收到部分请求，但是一旦服务器并没有拒绝该请求，客户端应该继续发送其余的请求。101 Switching Protocols服务器转换协议：服务器将遵从客户的请求转换到另外一种协议。二、2xx:成功2xx:成功200 OK请求成功（其后是对GET和POST请求的应答文档...
2018-07-04 20:59:57
1219
原创 python爬虫自定义header头部
一、Handler处理器 和 自定义Openeropener是 urllib.OpenerDirector 的实例，我们之前一直都在使用的urlopen，它是一个特殊的opener（也就是模块帮我们构建好的）。 但是基本的urlopen()方法不支持代理、cookie等其他的HTTP/HTTPS高级功能。所以要支持这些功能，可以自定义打开器，流程如下：1、自定义处理器(hander)...
2018-07-04 20:49:35
1127
原创 Python爬虫urllib模块
Python爬虫练习(urllib模块)1、获取百度首页数据流程：a.设置请求地址 c.设置请求时间 d.获取响应(对响应进行解码)'''获取百度首页'''import urllibfrom urllib import request # urllib.request = urllib2'''url, 请求地址data=None, get请求，当data不为...
2018-07-03 20:17:12
1216
原创 python爬虫基础知识入门
Python爬虫大纲：1、获取响应 urllib(python3)/urllib2-urllib(python2)requests(urllib3) --get/post2、解析响应 HTML、json re/bs4/xpath(描述性语句)3、通用动态数据加载 selenium(自动化测试框架) + phantomJS(无界面浏览器)、...
2018-07-02 20:01:14
501
SVM支持向量机训练项目：分类，坐标点分类，回归
2024-07-07
数据库可视化软件，Navicat手把手教安装包
2024-07-07
python爬虫项目，爬取网络图书，制作一个图书管理系统
2024-07-07
Djanog实现人脸识别登录
2024-06-25
基于PyQt开发的正弦波信号分析系统
2024-03-30
python实现的windows内存看门狗程序
2024-03-13
python实现的银行系统模拟程序
2022-07-17
python实现常用的23种设计模式：含源代码、详细文档说明
2022-07-12
PyQt5 QtDesigner多种方式显示动态曲线
2022-05-26
python学习应用手册(上册)
2022-01-22
测试两台电脑是否已连通.exe
2022-01-11
book-master.rar
2020-03-07
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人