实训小结（5）

**

3.12 复习pandas的一些基本语法

**
python中，pandas中的Series对象和DataFrame对象
1、Series对象：
Series是一个一维数组对象，它包含一组索引和一组数据，可以理解为一组带索引的数组
2、DataFrame是一个表格型的数据结构，它提供有序的列和不同类型的类值
DataFrame将两个或多个Series统一为单个数据结构

reshape可以用于numpy库里的ndarray和array结构以及pandas库里面的DataFrame和Series结构。
使用reshape（-1，1）之后，数据集似乎变成了一列
使用reshape(1,-1)之后，数据集直接变成了一行
报错：AttributeError: ‘Series’ object has no attribute ‘reshape’
解决办法：
用values方法将Series对象转化成numpy的ndarray，再用ndarray的reshape方法.
data[‘Amount’].values.reshape(-1, 1)
报错：DataConversionWarning: A column-vector y was passed when a 1d array was expected. Please change the shape of y to (n_samples, ),
for example using ravel(). y = column_or_1d(y, warn=True)
解决方法：
在Numpy中经常使用到的操作由扁平化操作,Numpy提供了两个函数进行此操作,他们的功能相同,但在内存上有很大的不同.
flatten()和ravel()都能够使得多维数组扁平化为1维数组

问题2：
对数据做标准化处理后，预测的结果也是标准化处理后的值，如何还原到原来的单位来对比数据呢

**

3.13学习非数值型特征值编码

**
对非数值型特征的处理：
数据特征分类：
无序特征、有序特征、数值型特征

离散特征的编码：
离散特征的取值之间没有大小意义：color:[red, blue]，那么使用one-hot编码
离散特征的取值之间有大小意义：比如size：[x,xl,xxl]，那么使用数值的映射{x:1,xl:2,xxl:3}
有很多种编码方式，比如one-hot编码（独热编码），也可以映射有序特征，对于分类型特征，可以对类别进行编码

3.14 解决列表与文件的读写问题
1、将一个list列表存入到一个txt文件中，此时的txt文件中的内容时字符串形式
2、第二次想再次读出列表的时候，此时是字符串的形式，不太容易读取
3、解决办法：在写入文件的时候使用逗号分隔
在读出文件的时候通过split可以分开，再新建一个list列表append进去就可以了

with open('data/ip.txt','w',encoding='utf-8') as f:
    #print(ip_list)
    for line in ip_list:
        f.writelines(line+",")

with open('data/ip.txt','r',encoding='utf-8') as f:
    content = f.read()
    ip_list = content.split(',')
print(ip_list)

**

3.14对机器学习基本概念的学习

**
数据本身是具有倾斜的： 例如生病的人和不生病的人（后者一定多于前者）

做一些分类器，调用一些开源库，调好参数

训练数据（文本、图像、声音）——>提取特征——>使用某个机器学习算法——>得到模型

难点：怎么建立模型、参数是怎么学到的

特征选取：深度学习的引入，从数据让深度模型帮助我们选取特征

流程：数据收集、数据清洗、特征工程、数据建模

导数和偏导数：偏导数也是函数在某一点沿坐标轴正方向的变化率
区别在于：
导数，指的是一元函数中，函数y=f(x)在某一点处沿x轴正方向的变化率；
偏导数，指的是多元函数中，函数y=f(x1,x2,…,xn)在某一点处沿某一坐标轴（x1,x2,…,xn）正方向的变化率。
梯度即函数在某一点最大的方向导数，函数沿梯度方向函数有最大的变化率。
概念 　　物理意义
导数 　　函数在该点的瞬时变化率
偏导数 　函数在坐标轴方向上的变化率
方向导数 函数在某点沿某个特定方向的变化率
梯度 　　函数在该点沿所有方向变化率最大的那个方向