- 博客(9)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 统计学习--04决策树
决策树是一种树模型，可以看成 一个 if-then 规则的集合，属于生成模型决策树学习通常包括3个步骤：特征选择，决策树的生成和修剪决策树学习本质上是从训练数据中归纳出一组分类规则策略决策树的选择策略要用到熵熵 S 最初来源于物理学，其物理意义是体系混乱程度的度量，定义如下：在信息论和概率统计中，熵表示随机变量不确定性的度量，在这里可以理解为‘纯度’信息熵可以看成损失函数，特征的选择则是要使模型的信息熵减小（信息增益最大），通过划分使样本集合越来越纯算法决策树生成算法介绍以下3种：
2022-04-30 15:16:47
232
原创 统计学习--02 KNN
k近邻 是一种快速分类方法，没有显式的学习过程其思想类似于俗语”物以类聚，人以群分“，想知道一个人如何，那么可以从他经常打交道的人群间接得知。k近邻分类也是这样：在NLP中计算词向量时候，也有一个分布式假设：一个词的意思可以由它周边的词表示，与KNN 可以说是有异曲同工之妙a word is characterized by the company it keeps"为了提高搜索效率(避免O(N))，knn 在实现上，一般用kd树来实现kd 树注意，k是维度的意思提到快速搜索，在一维
2022-04-29 09:21:14
61
原创 统计学习--01感知机
感知机属于线性分类模型，1957年由Rosenblatt提出，可以看成单层的神经网络。感知机虽然简单，但是其工作原理、模型选择方式，仍然适用于后来复杂的神经网络如CNN,RNN等身上。从进化角度说，感知机可能相当于草履虫，但是我们如今地球上复杂的高等生物不也是从低等生物上慢慢进化来的么。模型结构学习方法损失函数 L 为误分类点到超平面的距离L(w,b)=−Σyi(w∗xi+b)L(w, b) = -\Sigma{y_{i}(w*x_{i} + b)}L(w,b)=−Σyi(w∗xi+b)
2022-04-25 20:58:51
1392
原创 统计学习--0.开篇词
李航博士的《统计学习》一书，早有耳闻，今天开始拜读，记录每章之所感优先采用pytorch实现特开此专栏 统计学习–01感知机 统计学习–02k近邻 统计学习–03 朴素贝叶斯
2022-04-12 08:06:50
87
原创 Andrew Ng机器学习笔记（三）
5.matlab教程原始视频使用的是Octave语言，与matlab很类似，这里用它代替。函数路径问题： 定义一个函数，squaresquare，求得是数值的平方。运行结果正确。输入“pwd”，显示当前的函数路径。使用“cd”，修改路径后，发现函数运行不能显示正确结果。那么可以考虑，使用’addpath’命令，则函数可以正常运行。当然，这里说的东西主要是通过在命令窗口输入命令来使函数正常运行。
2017-09-12 11:34:39
460
原创 Andrew Ng机器学习笔记（二）
4.多元线性回归对于多元回归，道理同之前讲述的一样，要引入线性代数表达。此时，可视化描述已经不可能了。现在的假设函数变为： hθ(x)=θ0+θ1xh_\theta(x)=\theta_0+\theta_1x ———> hθ(x)=θ0+θ1x1+θ2x2+...θnxnh_\theta(x)=\theta_0+\theta_1x_1+\theta_2x_2+...\theta_nx_n为了方便
2017-09-08 14:24:55
668
原创 Andrew Ng机器学习笔记（一）
第一篇博客，很有纪念意义，献给让人激动人心的ML，也感谢吴恩达老师的精彩讲解。1.机器学习的定义 假设用P来评估计算机程序在某任务类T上的性能，若一个程序通过利用经验E在T中任务上获得了性能改善，则我们就说关于T和P，，改程序对E进行了学习。 —— [ Mitchell,1997 ]2.机器学习算法分类supervised learning ：我们教计算机如何做事情unsuper
2017-09-02 12:31:12
3466
原创 欢迎使用CSDN-markdown编辑器
欢迎使用Markdown编辑器写博客本Markdown编辑器使用StackEdit修改而来，用它写博客，将会带来全新的体验哦：Markdown和扩展Markdown简洁的语法代码块高亮图片链接和图片上传LaTex数学公式UML序列图和流程图离线写博客导入导出Markdown文件丰富的快捷键快捷键加粗 Ctrl + B 斜体 Ctrl + I 引用 Ctrl
2017-09-02 12:09:15
275
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人