机器学习算法
朱家小旺
这个作者很懒,什么都没留下…
展开
-
机器学习算法实现(四)---决策树
1.分类决策树模型是表示基于特征对实例进行分类的树形结构。决策树可以转换成一个if-then规则的集合,也可以看作是定义在特征空间划分上的类的条件概率分布。2.决策树学习旨在构建一个与训练数据拟合很好,并且复杂度小的决策树。3.决策树学习算法包括3部分:特征选择、树的生成和树的剪枝。常用的算法有ID3、 C4.5和CART。3.特征选择的目的在于选取对训练数据能够分类的特征。特征选择的关键是其准则。常用的准则如下:4.决策树的生成。通常使用信息增益最大、信息增益比最大或基尼指数最小...原创 2020-07-21 17:41:05 · 998 阅读 · 0 评论 -
机器学习算法实现(三)----朴素贝叶斯
1.朴素贝叶斯法是典型的生成学习方法,利用训练数据学习P(X|Y)和P(Y)的估计,得到联合概率分布:P(X,Y)=P(Y)P(X|Y)2.概率估计方法:极大似然估计或贝叶斯估计3.朴素贝叶斯法的基本假设:条件独立性import numpy as npimport pandas as pdimport matplotlib.pyplot as pltfrom sklearn.datasets import load_irisfrom sklearn.model_selection im原创 2020-07-20 22:45:19 · 157 阅读 · 0 评论 -
机器学习算法实现(二)---K邻近法
基本做法:对于给定的训练输入实例点,首先确定输入实例点和 的k个最邻近 训练实例点,然后利用这k个训练实例点的类的多数作为输入实例点类的预测。k邻近法三要素: 距离度量、k值选择、分类决策规则 (交叉验证选择最优k值)kd树:????k近邻法的实现需要考虑如何快速搜索k个最近邻点。kd树是一种便于对k维空间中的数据进行快速检索的数据结构。kd树是二叉树,表示对????k维空间的一个划分,其每个结点对应于????k维空间划分中的一个超矩形区域。利用kd树可以省去对大部分数据点的搜索, 从而减少搜索原创 2020-07-16 19:44:57 · 396 阅读 · 0 评论 -
机器学习算法实现(1)---感知机
算法实现import pandas as pdimport numpy as npfrom sklearn.datasets import load_irisimport matplotlib.pyplot as pltiris = load_iris()df = pd.DataFrame(iris.data,columns=iris.feature_names)df['label'] = iris.targetdf.columns = [ 'sepal length'...原创 2020-07-16 12:04:50 · 245 阅读 · 0 评论