![](https://img-blog.csdnimg.cn/20201014180756930.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
python
文章平均质量分 63
OceanProo
花即花雾即雾
展开
-
python之PEP
前言或许你是一个初入门Python的小白,完全不知道PEP是什么。又或许你是个学会了Python的熟手,见过几个PEP,却不知道这玩意背后是什么。那正好,本文将系统性地介绍一下PEP,与大家一起加深对PEP的了解。目前,国内各类教程不可胜数,虽然或多或少会提及PEP,但笼统者多、局限于某个PEP者多,能够详细而全面地介绍PEP的文章并不多。本文的目的是:尽量全面地介绍PEP是什么,告诉...原创 2019-10-30 08:18:46 · 295 阅读 · 0 评论 -
python之pandas
目录目录1.生成数据表读取csv文件构建DataFrame2.数据信息查看和索引查看DataFrame的基本信息索引3.数据可视化可视化:matplotlib.pyplot绘图可视化:pandas绘图制图实例4.数据清洗缺失值处理字符串处理数据转换:格式转换和异常值处理重复项重命名索引离散化5.数据规整丢弃数据...原创 2018-11-08 13:15:24 · 866 阅读 · 0 评论 -
python之matplotlib无法显式中文
1.Linux环境:确认mpl-data路径下的font/ttf目录,并将下载的中文字体文件复制到该目录下,然后重启电脑1@1:~$ locate -b 'mpl-data'/home/zelin/anaconda3/lib/python3.7/site-packages/matplotlib/mpl-data/home/zelin/anaconda3/pkgs/matplotlib...原创 2018-11-14 20:21:44 · 360 阅读 · 0 评论 -
线性回归
目录简介计算过程scikit-learn实现简介线性回归模型:自变量和因变量万的关系为线性关系的一种回归分析模型,即y=ax+b训练:训练样本集中有多个(x,y)的实际值,可求出参数(a,b)的预测值,即通过训练可获得预测的线性回归模型损失函数:通过训练样本得到的预测y值和训练样本集中的实际y值的误差(均方误差),是预测模型最优的判定标准优化:获得损失函数的最优解的过...原创 2018-11-16 09:03:13 · 188 阅读 · 0 评论 -
逻辑回归
目录简介计算过程scikit-learn实现简介Logistic回归,尽管它的名字是一个分类,但是属于回归的线性模型。Logistic回归在文献中也称为logit回归,最大熵分类(MaxEnt)或对数线性分类器。计算过程。。。scikit-learn实现linear_model.LogisticRegression,Logistic回归分类器。实现可以适合二元,...原创 2018-11-16 11:18:23 · 419 阅读 · 0 评论 -
python之jieba
中文分词调用jieba的cut对中文字符串进行分词即可,返回一个生成器In [1]: import jiebaIn [2]: strings='直方图是用面积表示各组频数的多少,矩形的高度表示每一组的频数或 ...: 频率,宽度则表示各组的组距,其高度与宽度均有意义'In [3]: data=jieba.cut(strings)In [4]: type(data)Ou...原创 2018-11-13 16:20:52 · 575 阅读 · 0 评论 -
python之数据可视化
各种图形简介线性图:plt.plot(x,y,*argv)条形图:plt.bar(x,y)x和y的长度应相等水平条形图:plt.barh(x,y)x轴成垂直,y轴水平而已条形图高度表示某项目内的数据个数,由于分组数据具有连续性,直方图的各矩形通常是连续排列,而条形图则是分开排列直方图:plt.hist(x),数据集种各数据出现的频数/频率图2d直方图:plt.hist2d(...原创 2018-11-13 15:39:07 · 1294 阅读 · 0 评论 -
python之scrapy(六)总结
1. Scrapy的基本原理Engine(引擎):控制数据流的走向Scheduler(调度器):请求的调度,维护了一个请求队列,当需要新的请求去跟网络进行交互的时候,就会从请求队列里面拿出一个request,(dontfliter=True,针对某一request的不去重)Downloader(下载器):主要用来跟Internet(目标服务器)进行交互Spiders(爬虫):实现爬...原创 2018-11-05 17:37:11 · 220 阅读 · 0 评论 -
python之pyautoit
专门针对Python语言的AutoItX3.dll的接口库。配合autoit程序(获取程序元素)对计算机程序进行模拟操作AutoIt最初是为PC(个人电脑)对数千台PC进行配置的“批量处理”而设计,不过随着v3版本的到来它也很适合用于家庭自动化和编写用以完成重复性任务的脚本.功能运行Windows和Dos程序[1] 模拟键击动作(支持大多数键盘布局)模拟鼠标移动和点击动作对窗口进...原创 2018-11-02 19:35:42 · 8327 阅读 · 0 评论 -
python之xlwt、xlrd和openpyxl
实现对excel文件的读写功能1.xlwt:对xls等excel文件的写入2.xlrd:对xls等excel文件的读取3.openpyxl:对xlsm、xlsx等excel文件的读写一、读excel表(xlrd)读excel要用到xlrd模块,官网安装(http://pypi.python.org/pypi/xlrd)。然后就可以跟着里面的例子稍微试一下就知道怎么用了。大概的流...原创 2018-11-02 19:57:29 · 18266 阅读 · 1 评论 -
python之numpy
@numpy1.15.1数据科学的基础库0维,标量1维,向量2维,矩阵3维,两个矩阵生成数组array,生成数组In [43]: import numpy as npIn [44]: np.array([1,2,3,4])Out[44]: array([1, 2, 3, 4])shape,形状ndim,维度dtype,数据类型size,数据...原创 2018-11-07 10:37:49 · 245 阅读 · 0 评论 -
python之scrapy(一)基础和入门
Scrapy框架的使用一、 Scrapy框架的介绍Scrapy是一个基于 Twisted 异步处理的框架,是一个纯python的网络爬虫框架,是一个为了爬取网站数据,提取结构性数据而编写的应用框架。 其可以应用在数据挖掘,信息处理或存储历史数据等一系列的程序中。其最初是为了页面抓取 (更确切来说, 网络抓取 )所设计的, 也可以应用在获取API所返回的数据或者通用的网络爬虫。Scrap...原创 2018-11-05 12:52:48 · 378 阅读 · 0 评论 -
python之scrapy(二)选择器的使用
{"cells": [ { "cell_type": "markdown", "metadata": {}, "source": [ "Selector的用法" ] }, { "cell_type": "markdown", "metadata": {}, &q原创 2018-11-05 13:52:40 · 1695 阅读 · 0 评论 -
python之scrapy(三)spider的用法
Scrapy框架中Spider的用法 在Scrapy里面,要抓取网站的链接配置、抓取逻辑、解析逻辑里,都是在Spider里面去完成的。一、Spider的运行流程在实现Scrapy爬虫项目里面,最核心的就是Spider类了,它定义了如何爬取某个网站的流程和解析方式。简单来讲,Spider就做两件事情: 定义爬取的动作 分析爬取下来的网页 对于Spider类来说,整...原创 2018-11-05 15:37:56 · 1397 阅读 · 0 评论 -
python之scrapy(四)downloader middlewares的用法
下载中间件是处于引擎(Engine)和下载器(DownLoader))之间的一层组件,可以有多个下载中间件被加载运行。 当引擎传递请求给下载器的过程中,下载中间件可以对请求进行处理 (例如增加http header信息,增加proxy信息等); 在下载器完成http请求,传递响应给引擎的过程中, 下载中间件可以对响应进行处理(例如进行gzip的解压等) 1.使用...原创 2018-11-05 16:48:18 · 7461 阅读 · 0 评论 -
python之scrapy(五)分布式爬虫
Scrapy是一个比较好用的Python爬虫框架,你只需要编写几个组件就可以实现网页数据的爬取。但是当我们要爬取的页面非常多的时候,单个主机的处理能力就不能满足我们的需求了(无论是处理速度还是网络请求的并发数),这时候分布式爬虫的优势就显现出来。一、分布式爬虫的原理下面是单机版本的Scrapy框架:Scrapy单机爬虫中只有一个本地爬取队列Queue,如果新的Request生成,就...原创 2018-11-05 17:20:12 · 832 阅读 · 0 评论 -
python之scipy
SciPy是一组专门解决科学计算中各种标准问题域的包的集合,主要包括下面这些包:scipy.integrate 数值积分例程和微分方程求解器 scipy.stats 标准连续和离散概率分布(如密度函数、采样器、连续分布函数等)、各种统计检验方法,以及更好的描述统计法 scipy.linalg 扩展了由numpy.linalg提供的线性代数例程和矩阵分解功能 sci...原创 2018-11-21 11:44:41 · 972 阅读 · 2 评论 -
python之Pillow(PIL Fork)
官网:https://pillow.readthedocs.io/en/5.3.x/handbook/tutorial.htmlPython Imaging Library中最重要的类是 Image类,它在模块中定义,具有相同的名称。您可以通过多种方式创建此类的实例; 通过从文件加载图像,处理其他图像或从头开始创建图像。要从文件加载图像,请使用模块中的open()函数Image:&g...原创 2018-11-23 16:57:34 · 470 阅读 · 0 评论 -
主成分分析
特征过多-过拟合,特征灾害特征相关性高-数据冗余异常值-噪声,缓解-消除不了的特征选择-降维特征分解的特征值或者特征和训练数据的特征没有关系,只是名称相同...原创 2018-11-26 10:32:53 · 189 阅读 · 0 评论 -
机器学习完整流程
目录1.项目概述1.1.划定问题1.2.选择性能指标1.3.核实假设2.获取数据2.1.创建工作空间2.2.下载数据2.3.快速查看数据结构2.4.创建测试集3.数据探索并可视化数据,发现规律3.1.查找关联3.2.属性组合试验4.为机器学习模型学习准备数据4.1.数据清洗4.2.处理文本和类别属性4.3.自定义转换器4.4.特征...原创 2018-11-29 19:17:50 · 1734 阅读 · 2 评论 -
聚类
无监督学习,没有y值的算法多用于文章聚类,作为辅助算法,辅助监督学习预测 K-MEANS:K均值聚类算法,使用最广泛的聚类算法,也可作为其他算法的基础,对初始值太敏感,不保证达到全局最优解层级聚合:凝聚和分裂方法:abcde,ab聚合后,只能再聚为abc,不会聚成bcDBSCAN:一种基于密度的聚类方法,对噪声不敏感轮廓系数:??距离:欧式距离、满哈距离,与玄距离 ...原创 2018-11-26 20:42:04 · 175 阅读 · 0 评论 -
推荐系统
jaccard系数:协同过滤:最简单、最基本的算法LFM(Latent Factor Model)隐语义模型是最近几年推荐系统领域最为热门的研究话题,它的核心思想是通过隐含特征(Latent Factor)联系用户兴趣和物品。那这种模型跟ItemCF或UserCF有什么不同呢?这里可以做一个对比:对于UserCF,我们可以先计算和目标用户兴趣相似的用户,之后再根据计算出来的用户喜欢的物...原创 2018-11-27 16:45:34 · 164 阅读 · 0 评论 -
TF-IDF
文本处理算法:分词后根据词频处理文本TF-IDF(term frequency–inverse document frequency)是一种用于信息检索与数据挖掘的常用加权技术。TF意思是词频(Term Frequency),IDF意思是逆文本频率指数(Inverse Document Frequency)。TF-IDF是一种统计方法,用以评估一字词对于一个文件集或一个语料库中的其中一份文件的...原创 2018-11-27 16:52:10 · 169 阅读 · 0 评论 -
卷积神经网络
从神经网络到卷积神经网络(CNN)我们知道神经网络的结构是这样的:那卷积神经网络跟它是什么关系呢?其实卷积神经网络依旧是层级网络,只是层的功能和形式做了变化,可以说是传统神经网络的一个改进。比如下图中就多了许多传统神经网络没有的层次。 卷积神经网络的层级结构 • 数据输入层/ Input layer • 卷积计算层/ CONV layer • ReLU激励层 /...原创 2018-11-27 16:55:01 · 463 阅读 · 0 评论 -
python之scikit-learn
目录特征工程选择模型调整模型模型融合官方文档:http://scikit-learn.org/stable/# input--模型-output数据分析是为了发现规则数据分析--数据挖掘和机器学习,算法相同推荐系统语音识别--科大讯飞,百度垄断,比较成熟,自然语言的分支机器视觉--卷积神经网络,图像识别,图片搜索,目标检测(无人驾驶)NLP-...原创 2018-11-28 17:47:47 · 343 阅读 · 0 评论 -
python之random
如果你对在Python生成随机数与random模块中最常用的几个函数的关系与不懂之处,下面的文章就是对Python生成随机数与random模块中最常用的几个函数的关系,希望你会有所收获,以下就是这篇文章的介绍。random.random() 生成随机数In [33]: import randomIn [34]: random.random() #生成0-1的随机浮点数Out[34]...原创 2018-11-20 13:16:29 · 173 阅读 · 0 评论 -
人工神经网络
目录简介计算过程scikit-learn实现简介非线性问题:异或:逻辑与,非线性问题转换为线性问题:即所以曲线看成无数小线段组成playground--体验神经网络模型归一化:所有数值减小,比如X_train/100也是归一化激活函数:支持向量机:不支持大数据,因为算量大,数据量大的话计算时间太长计算过程scikit-learn实现sklearn...原创 2018-11-23 12:04:27 · 290 阅读 · 0 评论 -
基本术语和符号
离散值:就是孤立的点集,如区间,如连续值:123456789,离散化即分为区间[1,3),[3,7),[7,10)反函数:单位向量:i,j,k分别表示在x,y,z轴上的单位向量向量算子:点积:向量空间即内积叉积:1、指示函数数学中,指示函数是定义在某集合X上的函数,表示其中有哪些元素属于某一子集A。 指示函数有时候也称为特征函数。现在已经少用这一称呼。概率论有另一意...原创 2018-11-15 12:43:52 · 487 阅读 · 0 评论 -
贝叶斯分类器
目录简介计算过程scikit-learn实现简介朴素贝叶斯方法是一组监督学习算法,基于贝叶斯定理应用给定类变量值的每对特征之间的条件独立性的“朴素”假设。不同的朴素贝叶斯分类器主要区别于他们对分布的假设 高斯朴素贝叶斯:假设特征的可能性是高斯的多项朴素贝叶斯补充朴素贝叶斯伯努利朴素贝叶斯核心外朴素贝叶斯模型拟合尽管它们显然过于简化了假设,但朴素的贝叶斯分...原创 2018-11-19 11:49:11 · 281 阅读 · 0 评论 -
python之pyechart
Echarts是百度可视化工具,pyecharts 是一个用于生成 Echarts 图表的类库。Echarts 是百度开源的一个数据可视化 JS 库。用 Echarts 生成的图可视化效果非常棒,为了与 Python 进行对接,方便在 Python 中直接使用数据生成图官方教程:http://pyecharts.org/#/zh-cn/prepare支持图形Bar(柱状图/条形图) ...原创 2018-11-21 19:09:22 · 7529 阅读 · 2 评论 -
特征工程
目录0 前言1 什么是特征工程2 数据与特征处理2.1 数据采集2.2 数据格式化2.3 数据清洗2.4 数据采样2.5 特征处理3 特征选择3.1 过滤型3.2 包裹型3.3 嵌入型0 前言一个项目的基本流程:1.了解项目情况:项目概述,项目目标(需求),现有解决方案情况2.获取数据:数据来源、数据量3.数据清洗:处理异常值、空...原创 2018-11-21 11:14:36 · 347 阅读 · 0 评论 -
支持向量机
目录简介计算过程scikit-learn实现简介支持向量机(SVM,Support Vector Machine)是一组用于分类(SVM), 回归(SVR)和异常值检测的监督学习方法。支持向量机的优点是:在高维空间有效。 在尺寸数量大于样本数量的情况下仍然有效。 在决策函数中使用训练点的子集(称为支持向量),因此它也具有内存效率。 多功能:可以为决策功能指定不同...原创 2018-11-22 11:23:38 · 352 阅读 · 0 评论 -
python之pickle
Python提供了一个标准库,名为pickle(泡菜、腌制),它可以保存和加载几乎任何Python数据独享,包括列表。一旦把数据“腌制”到一个文件,它将会持久存储,可以在以后某个日期/时间读入另外一个程序。用dump保存,用load恢复使用pickle很简单:只需要导入所需的模块,然后使用dump()保存数据,以后某个时间使用load()恢复数据。处理腌制数据时的唯一要求是,必须以...原创 2018-11-19 16:31:32 · 169 阅读 · 0 评论 -
python之queue
Queue是python标准库中的线程安全的队列(FIFO)实现,提供了一个适用于多线程编程的先进先出的数据结构,即队列,用来在生产者和消费者线程之间的信息传递基本FIFO队列class queue.Queue(maxsize=0)FIFO即First in First Out,先进先出。Queue提供了一个基本的FIFO容器,使用方法很简单,maxsize是个整数,指明了队列中能存放...原创 2018-11-20 09:40:42 · 229 阅读 · 0 评论 -
决策树
简介决策树(DT)是用于分类和回归的非参数监督学习方法。目标是创建一个模型,通过学习从数据特征推断出的简单决策规则来预测目标变量的值。adboost:集成算法,基本算法的优化算法gbdboost决策树的一些优点是:易于理解和解释。树木可以看到。 需要很少的数据准备。其他技术通常需要数据规范化,需要创建虚拟变量并删除空值。但请注意,此模块不支持缺失值。 使用树的成本(即,预...原创 2018-11-20 11:43:22 · 216 阅读 · 0 评论 -
K近邻(KNN)
目录简介计算过程scikit-learn实现K近邻分类器K近邻回归简介K近邻学习是一种常用的监督学习方法,K为1时,又称最近邻法,即1NN,K近邻的工作机制为:给定测试样本,基于某种距离度量找出训练集中与其最靠近的K个训练样本,然后基于这K个邻居的信息来进行预测 简介:近邻法(K-nearest neighbor,K-NN)是一种基本分类与回归方法,它的原理...原创 2018-11-16 19:30:48 · 447 阅读 · 0 评论 -
python之threading
a.进程和线程进程:就是正在运行的程序实例线程:进程中的一个实体,被系统独立调度分配的基本单位,线程自己不拥有系统资源,但是它可以和同属一个进程的线程共享资源进程和线程的区别:1.地址空间:进程内的一个执行单元,进程至少有一个线程,他们共享进程的地址空间,进程拥有自己独立的空间2.资源拥有:进程的资源分配和拥有的单位,同一个进程内线程共享进程资源3.线程是处理器调度的基本单位,进程...原创 2018-09-12 15:17:45 · 268 阅读 · 0 评论 -
python之multprocessing
a.multiprocessing(多进程)b.添加进程c.进程锁a.multiprocessing(多进程)弥补threading(多线程)中的gil问题b.添加进程注意:运用时候需要加一个定义main函数的语句(if __name__=='__main__')注意:python文件有2种使用方法1.作为脚本运行2.作为模块运行if __name=='__main__...原创 2018-09-12 15:58:19 · 937 阅读 · 0 评论 -
python之pymysql
a.mysql基础b.python和数据库交互a.mysql基础 mysql管理员:root mysql端口: 3306 select 列 from 表 where 条件;b.python和数据库交互 1.安装pymysql模块 通过pip安装 sudo pip install pymysql 通过压缩包安...原创 2018-09-10 10:15:50 · 193 阅读 · 0 评论 -
python200题
目录1.数字组合2.奖金发放3.完全平方数4.计算年中第几天5.排序6.斐波那契数列7.九九乘法表8.时间格式化9.兔子生兔子10.冒泡排序12.水仙花数13.分解质因数14.a+aa+aaa+a....15.完数计算17.皮球下落速度18.猴子吃桃子19.比赛顺序排列20.打印菱形图案21.斐波那契数列变种22.阶乘...原创 2018-09-25 17:06:46 · 1036 阅读 · 0 评论