夏绿-CSDN博客

原创 Python踩坑笔记

1、 bug: python "Missing dependencies for SOCKS support" reason: 使用了代理，然而 Python 当前的包没有支持 socks 代理的。 solution: 用 http 代理，而不是 socks 代理：export ALL_PROXY=https://127.0.0.1:1087...

2018-06-27 11:11:35 663

原创数据降维笔记——非负矩阵分解（NMF）,人脸数据特征提取

数据降维——非负矩阵分解（NMF）Non-negative Matrix Factorization,实在矩阵中所有元素均为非负数约束条件之下的矩阵分解方法。NMF能够广泛应用于图像分析、文本挖掘和语音处理等领域。基本思想：给定一个非负矩阵V, NMF能够找到一个非负矩阵W和一个非负矩阵H，使得矩阵W和H的乘积近似等于矩阵V中的值。W矩阵：基

2017-09-21 15:32:42 6902

原创 K-means、图像分割

K-means聚类算法原理 k-means算法以k为参数，吧n个对象分成k个簇，使簇内具有较高的相似度，而簇间的相似度较低。随机选k个点作为初始的聚类中心。对剩下的点，根据距离，将其归入最近的簇。对每个簇，计算所有点的均值作为新的聚类中心。重复前两步，直到中心不再改变。参数：class sklearn.cluster.KMeans(n_clusters=8,in

2017-08-31 14:21:46 3443

原创数据降维、PCA——基于鸢尾花数据集

主成分分析PCA主成分分析（Principal Component Analysis， PCA）主成分：可以把具有相关性的高纬度变量，合成为线性无关的低纬度变量，称为主成分。主成分能够尽可能保留原始数据的信息。方差（度量分散程度）协方差（度量两变量间的线性相关性，0，线性无关）特征向量：描述数据结构的非零向量。原理：矩阵的主成分就是其协方差矩阵对

2017-08-31 13:57:26 9600

原创网络爬虫系列笔记（4）——Scrapy爬虫

Scrapy爬虫Scrapy不是一个简单的函数功能库；而是一个专业的网络爬虫框架Scrapy 足以支持一般商业服务所需的爬虫能力：持续爬取、商业服务、高可靠性scrapy库的安装:pip install scrapyscrapy -hAvailable commands: bench Run quick benchmark te

2017-08-31 13:43:02 1956 1

原创网络爬虫系列笔记（3）——Beautiful Soup库

Unit1:Beautiful Soup 一、安装https://www.crummy.com/software/BeautifulSoup/管理员权限打开命令行：pip install beautifulsoup4（注意：使用pip install beautifulsoup 会失败）安装测试：演示地址(http://python123

2017-08-31 13:25:14 835

原创网络爬虫系列笔记（2）——Requests库

Unit 1 : Requests库入门（7 * 13）（1）、安装 pip install requests 测试import requestsr = requests.get("http://www.baidu.com")r.status_code 200r.encoding = 'utf-8'r.text #打印内

2017-08-31 12:51:19 616

原创网络爬虫系列笔记（1）——Re库、正则表达式

Unit1 正则表达式 Re正则表达式：regular expression regex RE简洁的表达一组字符串的表达式，（查找，替换，匹配）。表达“特征”（病毒，入侵）使用：编译：将符合正则表达式的字符串'P(Y/YT/YTH)?N' 转换为正则表达式的特征。特征：p = re.compile('P(Y/YT/YTH)?N')语法：

2017-08-31 12:45:59 373

原创 Anaconda IDE的基本使用

Anaconda来自于conda ：一个包管理和环境管理工具包管理和pip类似，管理Python第三方库环境管理能够允许用户使用不同版本Python，并能灵活转换。anaconda包括：一个集合，包括conda、某版本Python、一批第三方库等。一、安装下载：https://www.continuum.io/镜像下载地址：htttps://m

2017-08-31 11:58:17 4102

原创数据分析（1）：Numpy库与应用

Unit1、Numpy库入门一、数据的维度描述一组数据的方式1、一维数据：由对等关系的有序或无序数据构成，采用线性方式组织。采用列表、数组、集合等描述 Python表示：列表和集合类型列表：数据类型可以不同数组：数据类型相同2、二维数据：由多个一维数据构成，一维数据的组合形式

2017-08-31 11:49:19 759

原创数据分析与展示（3）-- Matplotlib库基础使用

Matplotlib库的使用一、用图表达数据Matplotlib.pyplot绘制图形的命令子库，相当于快捷方式。1、列表画图，并保存import matplotlib.pyplot as pltplt.plot([3, 1, 4, 2, 5])plt.ylabel("grade")plt.savefig('test', dpi=60

2017-08-31 11:23:18 860

原创数据提取（2）：pandas库入门

Pandas库http://pandas.pydata.orgPandas是Python第三方库，提供高性能易用数据类型和分析工具。import pandas as pd数据类型：Series, DataFrame基于数据类型的各类操作：基本操作、运算操作、特征类操作、关联类操作Numpy: 基础数据类型：ndarray;

2017-08-31 10:59:03 384

youyinyou的博客