机器学习概览

学习hands_on_Ml_with_Sklearn_and_TF的感悟
1.机器学习概览


机器学习有多种类型，可以根据如下规则进行分类：


是否在人类监督下进行训练（监督，非监督，半监督和强化学习）
是否可以动态渐进学习（在线学习 vs 批量学习）
它们是否只是通过简单地比较新的数据点和已知的数据点，或者在训练数据中进行模式识别，以建立一个预测模型，就像科学家所做的那样（基于实例学习 vs 基于模型学习）




在这一节中反复提到的识别垃圾邮件项目就是一个典型的分类问题,属于监督学习.但是也可以用回归判断一封邮件是垃圾邮件的几率.
监督学习常见的算法
K近邻算法
线性回归
逻辑回归
支持向量机（SVM）
决策树和随机森林
神经网络


非监督学习常见算法
聚类
K 均值
层次聚类分析（Hierarchical Cluster Analysis，HCA）
期望最大值
可视化和降维
主成分分析（Principal Component Analysis，PCA）
核主成分分析
局部线性嵌入（Locally-Linear Embedding，LLE）
t-分布邻域嵌入算法（t-distributed Stochastic Neighbor Embedding，t-SNE）
关联性规则学习
Apriori 算法
Eclat 算法


然后第一章节中还列举了一个小例子,预测某个国家人民的生活满意度。


import matplotlib
import matplotlib.pyplot as plt
import numpy as np
import pandas as pd
import sklearn




def prepare_country_stats(oecd_bli, gdp_per_capita):
    oecd_bli = oecd_bli[oecd_bli["INEQUALITY"]=="TOT"] 
    oecd_bli = oecd_bli.pivot(index="Country", columns="Indicator", values="Value")
    gdp_per_capita.rename(columns={"2015": "GDP per capita"}, inplace=True)
    gdp_per_capita.set_index("Country", inplace=True)
    full_country_stats = pd.merge(left=oecd_bli, right=gdp_per_capita,
                                  left_index=True, right_index=True)
    full_country_stats.sort_values(by="GDP per capita", inplace=True)
    remove_indices = [0, 1, 6, 8, 33, 34, 35]
    keep_indices = list(set(range(36)) - set(remove_indices))
    return full_country_stats[["GDP per capita", 'Life satisfaction']].iloc[keep_indices] 
这里面有一个函数可以说是数据的预处理






# 加载数据
oecd_bli = pd.read_csv("oecd_bli_2015.csv", thousands=',')
gdp_per_capita = pd.read_csv("gdp_per_capita.csv",thousands=',',delimiter='\t',
                             encoding='latin1', na_values="n/a")


# 准备数据
country_stats = prepare_country_stats(oecd_bli, gdp_per_capita)
X = np.c_[country_stats["GDP per capita"]]
y = np.c_[country_stats["Life satisfaction"]]


# 可视化数据
country_stats.plot(kind='scatter', x="GDP per capita", y='Life satisfaction')
plt.show()


# 选择线性模型
lin_reg_model = sklearn.linear_model.LinearRegression() #线性回归算法


#clf = sklearn.neighbors.KNeighborsRegressor(n_neighbors=3) #K近邻算法


# 训练模型
lin_reg_model.fit(X, y)


# 对塞浦路斯进行预测
X_new = [[22587]]  # 塞浦路斯的人均GDP
print(lin_reg_model.predict(X_new)) # outputs [[ 5.96242338]] 
就是这篇文章带我进入机器学习的大门的,让我对机器学习有了新的认识。