诚实可靠小郎君

网格搜索一般是针对参数进行寻优，交叉验证是为了验证训练模型拟合程度。sklearn中的相关API如下： （1）交叉验证的首要工作：切分数据集train/validation/testA.)没指定数据切分方式，直接选用cross_val_score按默认切分方式进行交叉验证评估得分，如下图fro...

随机森林参数记录1、先用默认参数看预测结果 2、然后用gridsearchcv探索n_estimators的最佳值 3、然后确定n_estimators,据此再搜索另外两个参数：再对内部节点再划分所需最小样本数min_samples_split和叶子节点...

一 机器学习分类有监督学习 1 概述: 主要用于决策支持，它利用有标识的历史数据进行训练，以实现对新数据的表示的预测 2 分类: 分类计数预测的数据对象是离散的。如短信是否为垃圾短信，用户是否喜欢电子产品 ​ 比如: K近邻、朴素贝叶斯、决策树、SVM 3 回归: 回归技术预测的数据对象是连续值, 例如温度变化或时间变化。包括一元回归和多...

1 朴素贝叶斯概述​ 朴素贝叶斯是一种简单但是非常强大的线性分类器。它在垃圾邮件分类，疾病诊断中都取得了很大的成功。它只所以称为朴素，是因为它假设特征之间是相互独立的，但是在现实生活中，这种假设基本上是不成立的。那么即使是在假设不成立的条件下，它依然表现的很好，尤其是在小规模样本的情况下。但是，如果每个特征之间有很强的关联性和非线性的分类问题会导致朴素贝叶斯模型有很差的分类效果。 ...

1 决策树概述决策树（decision tree）是一个树结构（可以是二叉树或非二叉树）。其每个非叶节点表示一个特征属性上的测试，每个分支代表这个特征属性在某个值域上的输出，而每个叶节点存放一个类别。使用决策树进行决策的过程就是从根节点开始，测试待分类项中相应的特征属性，并按照其值选择输出分支，直到到达叶子节点，将叶子节点存放的类别作为决策结果。之前介绍的K-近邻算法可以完成很多分类任务，...

1 机器学习处理流程:2 机器学习分类:有监督学习 主要用于决策支持，它利用有标识的历史数据进行训练，以实现对新数据的表示的预测1 分类 分类计数预测的数据对象是离散的。如短信是否为垃圾短信，用户是否喜欢电子产品 常用方法: K近邻、朴素贝叶斯、决策树、SVM2 回归 回归技术预测的数据对象是连续值。例如温度变化或时间变化。包括一...

plot语句中支持除X,Y以外的参数，以字符串形式存在，来控制颜色、线型、点型等要素，语法形式为： plt.plot(X, Y, ‘format’, …)1 点和线的样式颜色参数color或c五种定义颜色值的方式别名color='r'合法的HTML颜色名color = 'red'HTML十六进制字符串color = '#eeefff'归一化到[0, 1]的RGB...

1 Scipy简介Scipy依赖于NumpyScipy提供了真正的矩阵Scipy包含的功能：最优化、线性代数、积分、插值、拟合、特殊函数、快速傅里叶变换、信号处理、图像处理、常微分方程求解器等Scipy是高端科学计算工具包Scipy由一些特定功能的子模块组成2 图片消噪:傅里叶变换#模块用来计算快速傅里叶变换import scipy.fftpack as fftpa...

常见聚合方法 方法 说明 count 计数 describe 给出各列的常用统计量 min,max 最大最小值 argmin,argmax 最大最小值的索引位置（整数） idxmin,idxmax 最大最小值的索引值 quantile 计算样本分位数 sum,mean 对列求和，均值 me...

1 安装环境python -V #查看版本pip -V #查看版本pip list #查看列表makedir fisher #新建项目目录pip install pipenv #进入项目目录安装pipenvpipenv install #创建的虚拟环境绑定到项目目录pipenv shell #激活项目,启动虚拟环境2 安装flask...

一 TCP网络协议1 建立TCP连接:三次握手原则客户端通过向服务器端发送一个SYN来创建一个主动打开，作为三次握手的一部分。客户端把这段连接的序号设定为随机数 A。服务器端应当为一个合法的SYN回送一个SYN/ACK。ACK 的确认码应为 A+1，SYN/ACK 包本身又有一个随机序号 B。最后，客户端再发送一个ACK。当服务端受到这个ACK的时候，就完成了三路握手，并进入了连接创...

1. 通常防止爬虫被反主要有以下几个策略(1)动态设置User-Agent(随机切换User-Agent,模拟不同的浏览器)方法1: 修改setting.py中的User-Agent# Crawl responsibly by identifying yourself (and your website) on the user-agentUSER_AGENT = 'Hell...

一 新浪新闻爬取1 爬取新浪新闻(全站爬取)项目搭建与开启scrapy startproject sinacd sinascrapy genspider mysina http://roll.news.sina.com.cn/news/gnxw/gdxw1/index_2.shtml2 项目setting配置ROBOTSTXT_OBEY = FalseIT...

1 parse()方法的工作机制：1. 因为使用的yield，而不是return。parse函数将会被当做一个生成器使用。scrapy会逐一获取parse方法中生成的结果，并判断该结果是一个什么样的类型；2. 如果是request则加入爬取队列，如果是item类型则使用pipeline处理，其他类型则返回错误信息。3. scrapy取到第一部分的request不会立马就去发送这个req...

Scrapy终端是一个交互终端，我们可以在未启动spider的情况下尝试及调试代码，也可以用来测试XPath或CSS表达式，查看他们的工作方式，方便我们爬取的网页中提取的数据。如果安装了 IPython ，Scrapy终端将使用 IPython (替代标准Python终端)。 IPython 终端与其他相比更为强大，提供智能的自动补全，高亮输出，及其他特性。（推荐安装IPython）1 启...

Scrapy是用纯Python实现一个为了爬取网站数据、提取结构性数据而编写的应用框架，用途非常广泛。框架的力量，用户只需要定制开发几个模块就可以轻松的实现一个爬虫，用来抓取网页内容以及各种图片，非常之方便。Scrapy 使用了 Twisted(其主要对手是Tornado)多线程异步网络框架来处理网络通讯，可以加快我们的下载速度，不用自己去实现异步框架，并且包含了各种中间件接口，可以灵活的完...

1、进程的概念什么是进程—>CPU在同一时刻只能处理一个任务,只是因为cpu执行速度很快。 cpu在各个任务之间来回的进行切换。 进程的概念：正在进行的一个过程或者说一个任务，而负责执行任务的则是CPU，进程本身是 一个抽象的概念,即进程就是一个过程、一个任务。 CPU描述的是一个程序的执行过程. 进程之间是如何做到并发的：CPU在各个任务之间来回的进行切换，并在切换...

在介绍Python中的线程之前，先明确一个问题，Python中的多线程是假的多线程！ 为什么这么说，我们先明确一个概念，全局解释器锁（GIL）什么是GILPython代码的执行由Python虚拟机（解释器）来控制,同时只有一个线程在执行。对Python虚拟机的访问由全局解释器锁（GIL）来控制，正是这个锁能保证同时只有一个线程在运行。为什么要GIL为了线程间数据的一致性和状态...

1 多线程抓取import lxmlfrom lxml import etreeimport requestsimport threadingimport timerlock = threading.RLock() # 递归锁headers = { "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) A...