Python数据分析，基础

个人学习Python数据分析基础篇。会慢慢得更新...

环境：Anaconda3

IDE：pycharm

在pycharm里面设置anaconda环境：File--Settings--Project : project interpreter--右上点击设置add--左上第二个Conda Environment---Existing  environment-- Interpreter右边的...设置anaconda3/bin/python3 即可。

Numpy库 数据结构ndarray

 

1. 数组篇： array()新建数组, reshape()修改数组维度, zeros()所有值都为0, ones()所有值都为1, eye()设置斜线的值, random.random(), random.randn()， arange()
2. 索引篇：a是一个数组，x,y是数字，使用索引取值a[ x:y , x:y ]这样取值不会降低维度，a[ x , x:y ]这样可能会降低维度.   索引可以使用bool，比如：a[a>10]可以取值所有大于10的值
3. 元素类型：修改数组的元素类型，np.dtype=xxx  注意：数组的每个元素的数据类型只能有一种，或者说只能是同一种。
4. 数组运算： 相加a+b 或者np.add(a, b)   相减a-b或者np.subtract(a, b)  相乘a*b或者np.multiply(a, b)  相除a/b或者np.divide(a, b)   开方np.sqrt(a)     矩阵相乘法：np.dot(a, b) 注意a的行数要等于b的列数
5. 常用函数： 对a数组求和 np.sum(a, axis=0) axis代表第几层。  对a数组求均值np.mean(a，axis=0)     对a数组行和列分别重复2和1次：np.tile(a, (2, 1)) 矩阵转置 行变成列，列变成行：np.transpose(a) 
6. 广播： 不同维度的数组可以直接相加，它会把维度低的数组重复到和维度高的度数一样，然后操作。比如a=np.array([1,2]) b=np.array([[3,4],[5,6]]) 结果是[[4 6] [6 8]]

 

 

Matplotlib库 绘图工具：折线图、柱状图、扇形图等

 

Scipy 开源科学计算库。建立在numpy之上，增加了数值积分、最优化、统计和一些专用函数。线性代数、常微分方程数值求解、信号处理、图像处理、稀疏矩阵等等。

 

Pandas库 Python基础数据分析工具包

 

Scikit-learn库  基于Python的数据挖掘和机器学习工具包，非常方便的实现分类、回归、降维等操作。属于Python高级数据分析

sklearn这个库还是很强大的，大部分都是在特征工程用训练模型。

遇到的问题scikit-learn中fit_transform()与transform()到底有什么区别，能不能混用？

二者的功能都是对数据进行某种统一处理（比如标准化~N(0,1)，将数据缩放(映射)到某个固定区间，归一化，正则化等）
fit_transform(partData)对部分数据先拟合fit，找到该part的整体指标，如均值、方差、最大值最小值等等（根据具体转换的目的），然后对该partData进行转换transform，从而实现数据的标准化、归一化等等。。
根据对之前部分fit的整体指标，对剩余的数据（restData）使用同样的均值、方差、最大最小值等指标进行转换transform(restData)，从而保证part、rest处理方式相同。
必须先用fit_transform(partData)，之后再transform(restData)
如果直接transform(partData)，程序会报错
如果fit_transfrom(partData)后，使用fit_transform(restData)而不用transform(restData)，虽然也能归一化，但是两个结果不是在同一个“标准”下的，具有明显差异。

 

Windows下使用jupyter notebook  没有自动补全：解决

pip install -i http://pypi.douban.com/simple --trusted-host pypi.douban.com jupyter_contrib_nbextensions
jupyter contrib nbextension install --user

pip install -i http://pypi.douban.com/simple --trusted-host pypi.douban.com  jupyter_nbextensions_configurator
jupyter nbextensions_configurator enable --user

然后重启jupyter notebook后，在主页发现有Nbextensions标签，打钩Hinterland