内容真的好多,需要记忆的点也有好多,所以就是需要复盘,现在对概念大致方向比较清晰,就是具体代码实现还是需要进一步的进行训练。
1.主成分分析(PCA):高危数据转换为低维数据,应用在回归分析或聚类分析中
找到一个合适的直线,通过一个矩阵运算得出主成分分析的结果
sklearn.decomposition.PCA(n_components=None)
小数:表示保留百分之多少的信息;证书:减少到多少特征
PCA.fit_transform(X)
X:numpy array 格式的数据[n_samples,n_features]
返回值:转换后指定维度的array
案例:探究用户对物品类别的喜好细分
用户 物品类别
user_id aisle
1.需要将user_id和aisle放在同一张表中 -->合并
2.找到两者之间的关系 -->交叉表和透视表
3.特征冗余过多 -->PCA降维
分类算法:目标值:类别
1.sklearn转换器和预估器(estimator)
转换器-->特征工程的父类,实例化,调用fit_transform(),【fit()计算每一列的平均值,标准差,transform()进行最终转换】
估计器-->实例一个estimator,estimator.fit(x_train,y_train)计算,调用完毕模型生成
模型评估:1.直接比对真实值和预测设置 y_predict = estimator.predict(x_test) y_test == y_predict
2.计算准确率,estimator.score(x_test,y_test)
2.KNN算法 (K-近邻算法)
核心思想:根据“邻居”推断你的类别
k = 1 :容易受到异常点的影响
k过大容易分错,样本不均衡的影响
确定邻居:计算距离:距离公式(欧氏距离)(曼哈顿距离:绝对值距离)(明可夫斯基距离)
距离:无量纲化的处理:标准化
sklearn.neighbors.KNeighborsClassifier(n_neighbors=5,alogorithm='auto')
n_neighbors: int可选,k_neighbors:查询默认使用的邻居值
优点:简单易于理解易于实现无需训练
缺点:1.k值指定回影响精度;2.测试分类计算量大内存开销大,懒惰算法
3.模型选择与调优
交叉验证(cross validation):将训练数据分为训练和验证集,取模型平均值作为最终结果。
超参数搜索--网格搜索(Grid Search):
sklearn.model_selection.GridSearchCV(estimator,param_grid=None,cv=None)
对估计器的指定参数进行详尽搜索
estimator:估计器对象
param_grid:估计器参数(dict)
cv:指定几折交叉验证
fit():输入训练数据
score():准确率
结果分析:best_params_ best_score_ best_estimator_ cv_results_
案例:预测facebook签到位置,使用jupyter书写,数据量大
流程分析:1.获取数据;
2.数据处理:目的:特征值x,目标值y
a,缩小数据范围:2<x<2.5,1.0<y<1.5;b,time -->年月日时分秒
c,过滤签到次数少的地点
3.特征工程:标准化
4.knn算法预估流程
5.模型选择与调优
6.模型评估
4.朴素贝叶斯算法:朴素+贝叶斯。
朴素:假设,特征与特征之间是相互独立的。
概率基础:联合概率,条件概率,相互独立(联合概率=单独概率乘积)
贝叶斯公式!!!
应用场景:文本分类
朴素贝叶斯分类:
拉普拉斯平滑系数(alpha):防止计算出的分类概率为0
sklearn.naive_bayes.MultinomialNB(alpha=1.0)
优点:对缺失数据不太敏感,算法简单,分类准确度高,速度快
缺点:如果特征属性有关联时效果不好
5.决策树:来源if-else结构(没有免费的午餐)(数据量大)(可以可视化)
特征的先后顺序,高效进行决策
原理:信息熵,信息增益(信息论基础)
信息:(香农)消除随机不定性的东西
信息的衡量 -->信息量 -->信息熵
决策树的划分依据之一 --->信息增益:得知特征X的信息的不确定性减少的程度使得类Y的信息熵减少的程度
决策树分类器:
class sklearn.tree.DecisionTreeClassifier(criterion='gini',max_depth=None,random_state=None)
criterion:默认是'gini'系数,也可以选择信息增益的熵'entropy'
max_depth:树的深度大小
random_state:随机数种子
决策树可视化:sklearn.tree.export_graphviz()导出DOT格式
tree.export_graphviz(estimator,out_file='tree.dot',feature_names=['',''])
(导出后进入网站:http://webgraphviz.com/ 进行可视化)
优点:可视化,可解释能力强
缺点:容易过拟合,不能推广数据的过于复杂的树,改进:减枝cart算法,随机森林
from sklearn.decomposition import PCA
def pca_demo():
# PCA降维
data = [[2,8,4,5],[6,3,0,8],[5,4,9,1]]
tran = PCA(n_components=2) # 降到2维
data_new = tran.fit_transform(data)
print('data_new:\n',data_new)
return None
if __name__ == '__main__':
pca_demo()
import pandas as pd
from sklearn.decomposition import PCA
# 数据集比较大运行时间会比较长
def demo():
# 1.获取数据
order_products = pd.read_csv('order_products__prior.csv')
products = pd.read_csv('products.csv')
orders = pd.read_csv('orders.csv')
aisles = pd.read_csv('aisles.csv')
# 2.合并表
tab1 = pd.merge(aisles,products,on=['aisle_id','aisle_id'])
tab2 = pd.merge(tab1,order_products,on=['product_id','product_id'])
tab3 = pd.merge(tab2,orders,on=['order_id','order_id'])
# 3.找到user_id和aisle之间的关系
table = pd.crosstab(tab3['user_id'],tab3['aisle'])
# print('table:\n',table)
# 4.PCA降维
tran = PCA(n_components=0.95)
data_new = tran.fit_transform(table)
print('data_new\n',data_new.shape)
if __name__ == '__main__':
demo()
from sklearn.datasets import load_iris
from sklearn.model_selection import train_test_split
from sklearn.preprocessing import StandardScaler
from sklearn.neighbors import KNeighborsClassifier
from sklearn.model_selection import GridSearchCV
def knn_iris():
# 1.获取数据
iris = load_iris()
# 2.数据集划分
x_train,x_test,y_train,y_test = train_test_split(iris.data,iris.target,random_state=6)
# 3.特征工程:标准化
tran = StandardScaler()
x_train = tran.fit_transform(x_train)
x_test = tran.transform(x_test)
# 4.KNN预估器流程
estimator = KNeighborsClassifier(n_neighbors=3)
estimator.fit(x_train,y_train)
# 5.模型评估
# 1.直接比对真实值和与测试
y_predict = estimator.predict(x_test)
print('y_predict:\n',y_predict)
print('直接比对\n',y_test == y_predict)
# 2.计算准确率
score = estimator.score(x_test,y_test)
print('score:\n',score)
return None
def knn_iris_gscv():
# 添加网格搜索和交叉验证
# 1.获取数据
iris = load_iris()
# 2.数据集划分
x_train,x_test,y_train,y_test = train_test_split(iris.data,iris.target,random_state=6)
# 3.特征工程:标准化
tran = StandardScaler()
x_train = tran.fit_transform(x_train)
x_test = tran.transform(x_test)
# 4.KNN预估器流程
estimator = KNeighborsClassifier()
# 加入网格搜索和交叉验证
param_dict = {'n_neighbors':[1,3,5,7,9,11]}
estimator = GridSearchCV(estimator,param_grid=param_dict,cv=10)
estimator.fit(x_train,y_train)
# 5.模型评估
# 1.直接比对真实值和与测试
y_predict = estimator.predict(x_test)
print('y_predict:\n',y_predict)
print('直接比对\n',y_test == y_predict)
# 2.计算准确率
score = estimator.score(x_test,y_test)
print('score:\n',score)
print('最佳参数\n',estimator.best_params_)
print('最佳结果\n',estimator.best_score_)
print('最佳估计器\n',estimator.best_estimator_)
print('交叉验证结果\n',estimator.cv_results_)
return None
if __name__ == '__main__':
# knn_iris()
knn_iris_gscv()
# facebook 案例使用jupyter输入,因为没有安装就写在这里了
from sklearn.model_selection import train_test_split
from sklearn.preprocessing import StandardScaler
from sklearn.neighbors import KNeighborsClassifier
from sklearn.model_selection import GridSearchCV
import pandas as pd
data = pd.read_csv('train1.csv')
# 缩小数据范围
data = data.query('x < 2.5 & x > 2 & y < 1.5 & y > 1.0')
# print('data\n',data)
# 处理时间特征
time_value = pd.to_datetime(data['time'],unit='s')
date = pd.DatetimeIndex(time_value)
data['day'] = date.day
data['weekday'] = date.weekday
data['hour'] = date.hour
data.head()
# print('data',data)
# 过滤掉次数少的地点
place_count = data.groupby('place_id').count()['row_id']
place_count[place_count > 3].head()
data_final = data[data["place_id"].isin(place_count[place_count>3].index.values)]
data_final.head()
# 筛选特征值和目标值
x = data_final['x','y','accuracy','day','weekday','hour']
y = data_final['place_id']
# 数据集划分
x_train,x_test,y_train,y_test = train_test_split(iris.data,iris.target,random_state=6)
# 3.特征工程:标准化
tran = StandardScaler()
x_train = tran.fit_transform(x_train)
x_test = tran.transform(x_test)
# 4.KNN预估器流程
estimator = KNeighborsClassifier()
# 加入网格搜索和交叉验证
param_dict = {'n_neighbors':[3,5,7,9]}
estimator = GridSearchCV(estimator,param_grid=param_dict,cv=10)
estimator.fit(x_train,y_train)
# 5.模型评估
# 1.直接比对真实值和与测试
y_predict = estimator.predict(x_test)
print('y_predict:\n',y_predict)
print('直接比对\n',y_test == y_predict)
# 2.计算准确率
score = estimator.score(x_test,y_test)
print('score:\n',score)
print('最佳参数\n',estimator.best_params_)
print('最佳结果\n',estimator.best_score_)
print('最佳估计器\n',estimator.best_estimator_)
print('交叉验证结果\n',estimator.cv_results_)
from sklearn.datasets import fetch_20newsgroups
from sklearn.model_selection import train_test_split
from sklearn.feature_extraction.text import TfidfVectorizer
from sklearn.naive_bayes import MultinomialNB
from sklearn.datasets import load_iris
from sklearn.tree import DecisionTreeClassifier,export_graphviz
def nb_news():
# 朴素贝叶斯
# 1.获取数据
news = fetch_20newsgroups(subset='all')
# 2.划分数据集
x_train,x_test,y_train,y_test = train_test_split(news.data,news.target)
# 3.特征工程,文本特征抽取 tfidf
tran = TfidfVectorizer()
x_train = tran.fit_transform(x_train)
x_test = tran.transform(x_test)
# 4.朴素贝叶斯预估器流程
estimator = MultinomialNB()
estimator.fit(x_train,y_train)
# 5.模型评估
# 1.直接比对真实值和与测试
y_predict = estimator.predict(x_test)
print('y_predict:\n', y_predict)
print('直接比对\n', y_test == y_predict)
# 2.计算准确率
score = estimator.score(x_test, y_test)
print('score:\n', score)
return None
def tree_iris():
# 决策树对鸢尾花进行分类
# 1.获取数据集
iris = load_iris()
# 2.划分数据集
x_train,x_test,y_train,y_test = train_test_split(iris.data,iris.target,random_state=22)
# 3.决策树预估器
estimator = DecisionTreeClassifier(criterion='entropy')
estimator.fit(x_train,y_train)
# 4.模型评估
# 方法1:
y_predict = estimator.predict(x_test)
print('y_predict:\n',y_predict)
print('真实值和预测值对比',y_predict == y_test)
# 方法2:
score = estimator.score(x_test,y_test)
print('准确率是\n',score)
# 可视化决策树
export_graphviz(estimator,out_file='iris_tree.dot',feature_names=iris.feature_name)
return None
if __name__ == '__main__':
# nb_news()
tree_iris()
所用到的数据集是:
http://链接:https://pan.baidu.com/s/1jxkep6SquIgt8J1VN4OoHQ 提取码:pyb6
一共有三个数据集。