机器学习
机器学习
FlitDu
AI爱好者
展开
-
统计学习--04决策树
决策树是一种树模型,可以看成 一个 if-then 规则的集合,属于生成模型决策树学习通常包括3个步骤:特征选择,决策树的生成和修剪决策树学习本质上是从训练数据中归纳出一组分类规则策略决策树的选择策略要用到熵熵 S 最初来源于物理学,其物理意义是体系混乱程度的度量,定义如下:在信息论和概率统计中,熵表示随机变量不确定性的度量,在这里可以理解为‘纯度’信息熵可以看成损失函数,特征的选择则是要使模型的信息熵减小(信息增益最大),通过划分使样本集合越来越纯算法决策树生成算法介绍以下3种:原创 2022-04-30 15:16:47 · 252 阅读 · 0 评论 -
统计学习--03 朴素贝叶斯
贝叶斯原创 2022-04-29 20:39:51 · 216 阅读 · 0 评论 -
统计学习--01感知机
感知机属于线性分类模型,1957年由Rosenblatt提出,可以看成单层的神经网络。感知机虽然简单,但是其工作原理、模型选择方式,仍然适用于后来复杂的神经网络如CNN,RNN等身上。从进化角度说,感知机可能相当于草履虫,但是我们如今地球上复杂的高等生物不也是从低等生物上慢慢进化来的么。模型结构学习方法损失函数 L 为误分类点到超平面的距离L(w,b)=−Σyi(w∗xi+b)L(w, b) = -\Sigma{y_{i}(w*x_{i} + b)}L(w,b)=−Σyi(w∗xi+b)原创 2022-04-25 20:58:51 · 1418 阅读 · 0 评论 -
统计学习--02 KNN
k近邻 是一种快速分类方法,没有显式的学习过程其思想类似于俗语”物以类聚,人以群分“,想知道一个人如何,那么可以从他经常打交道的人群间接得知。k近邻分类也是这样:在NLP中计算词向量时候,也有一个分布式假设:一个词的意思可以由它周边的词表示,与KNN 可以说是有异曲同工之妙a word is characterized by the company it keeps"为了提高搜索效率(避免O(N)),knn 在实现上,一般用kd树来实现kd 树注意,k是维度的意思提到快速搜索,在一维原创 2022-04-29 09:21:14 · 77 阅读 · 0 评论 -
统计学习--0.开篇词
李航博士的《统计学习》一书,早有耳闻,今天开始拜读,记录每章之所感优先采用pytorch实现特开此专栏 统计学习–01感知机 统计学习–02k近邻 统计学习–03 朴素贝叶斯原创 2022-04-12 08:06:50 · 116 阅读 · 0 评论 -
Andrew Ng机器学习笔记(三)
5.matlab教程原始视频使用的是Octave语言,与matlab很类似,这里用它代替。函数路径问题: 定义一个函数,squaresquare,求得是数值的平方。运行结果正确。输入“pwd”,显示当前的函数路径。使用“cd”,修改路径后,发现函数运行不能显示正确结果。那么可以考虑,使用’addpath’命令,则函数可以正常运行。当然,这里说的东西主要是通过在命令窗口输入命令来使函数正常运行。原创 2017-09-12 11:34:39 · 481 阅读 · 0 评论 -
Andrew Ng机器学习笔记(二)
4.多元线性回归对于多元回归,道理同之前讲述的一样,要引入线性代数表达。此时,可视化描述已经不可能了。现在的假设函数变为: hθ(x)=θ0+θ1xh_\theta(x)=\theta_0+\theta_1x ———> hθ(x)=θ0+θ1x1+θ2x2+...θnxnh_\theta(x)=\theta_0+\theta_1x_1+\theta_2x_2+...\theta_nx_n为了方便原创 2017-09-08 14:24:55 · 696 阅读 · 0 评论 -
Andrew Ng机器学习笔记(一)
第一篇博客,很有纪念意义,献给让人激动人心的ML,也感谢吴恩达老师的精彩讲解。1.机器学习的定义 假设用P来评估计算机程序在某任务类T上的性能,若一个程序通过利用经验E在T中任务上获得了性能改善,则我们就说关于T和P,,改程序对E进行了学习。 —— [ Mitchell,1997 ]2.机器学习算法分类supervised learning :我们教计算机如何做事情unsuper原创 2017-09-02 12:31:12 · 3501 阅读 · 0 评论