机器学习算法--python--sklearn--后续神经网络

机器学习算法

1 概念

机器学习算法分类：监督学习、无监督学习、强化学习

基本的机器学习算法：线性回归、支持向量机(SVM)、最近邻居(KNN)、逻辑回归、决策树、k平均、随机森林、朴素贝叶斯、降维、梯度增强

公式、图示、案例

1.1 分类

机器学习算法大致可以分为三类：

监督学习算法 (Supervised Algorithms）:在监督学习训练过程中，可以由训练数据集学到或建立一个模式（函数 / learning model），并依此模式推测新的实例。该算法要求特定的输入/输出，首先需要决定使用哪种数据作为范例。例如，文字识别应用中一个手写的字符，或一行手写文字。主要算法包括神经网络、支持向量机、最近邻居法、朴素贝叶斯法、决策树等。

无监督学习算法 (Unsupervised Algorithms):这类算法没有特定的目标输出，算法将数据集分为不同的组。

强化学习算法 (Reinforcement Algorithms):强化学习普适性强，主要基于决策进行训练，算法根据输出结果（决策）的成功或错误来训练自己，通过大量经验训练优化后的算法将能够给出较好的预测。类似有机体在环境给予的奖励或惩罚的刺激下，逐步形成对刺激的预期，产生能获得最大利益的习惯性行为。在运筹学和控制论的语境下，强化学习被称作“近似动态规划”（approximate dynamic programming，ADP）。

1.2 基本的机器学习算法：

线性回归算法 Linear Regression；支持向量机算法 (Support Vector Machine,SVM)；最近邻居/k-近邻算法 (K-Nearest Neighbors,KNN)；逻辑回归算法 Logistic Regression；决策树算法 Decision Tree；k-平均算法 K-Means；随机森林算法 Random Forest；朴素贝叶斯算法 Naive Bayes；降维算法 Dimensional Reduction；梯度增强算法 Gradient Boosting

2 基本的机器学习算法

2.1 线性回归算法 Linear Regression

回归分析（Regression Analysis）是统计学的数据分析方法，目的在于了解两个或多个变量间是否相关、相关方向与强度，并建立数学模型以便观察特定变量来预测其它变量的变化情况。

线性回归算法（Linear Regression）的建模过程就是使用数据点来寻找最佳拟合线。公式，y = mx + c，其中 y 是因变量，x 是自变量，利用给定的数据集求 m 和 c 的值。
线性回归又分为两种类型，即 简单线性回归（simple linear regression)，只有 1 个自变量；*多变量回归（multiple regression)，至少两组以上自变量。

2.2 支持向量机算法 (Support Vector Machine,SVM)----------sklearn

支持向量机/网络算法(SVM)属于分类型算法。SVM模型将实例表示为空间中的点，将使用一条直线分隔数据点。需要注意的是，支持向量机需要对输入数据进行完全标记，仅直接适用于两类任务，应用将多类任务需要减少到几个二元问题。经典的SVM只给出了二类分类的算法，现实中数据可能需要解决多类的分类问题。因此可以多次运行SVM，产生多个超平面，如需要分类1-10种产品，首先找到1和2-10的超平面，再寻找2和1,3-10的超平面，以此类推，最后需要测试数据时，按照相应的距离或者分布判定。

#线性   
from sklearn import svm  
import numpy as np  
import matplotlib.pyplot as plt  

np.random.seed(0)  
x = np.r_[np.random.randn(20,2)-[2,2],np.random.randn(20,2)+[2,2]] #正态分布来产生数字,20行2列*2  
y = [0]*20+[1]*20 #20个class0，20个class1  

clf = svm