机器学习技法
机器学习技法笔记,笔记总要自己做过才有用
FlameAlpha
荒诞之余也常伴理性,不是吗?
展开
-
台大林轩田机器学习课程笔记前言
正确的判断来自于经验,而经验来自于错误的判断。— Frederick P. Brooks本专栏为机器学习笔记文件,参考资料有《林轩田机器学习基石&技法》《机器学习》《吴恩达机器学习课堂》《神经网络与深度学习》《Sklearn 与 TensorFlow 机器学习实用指南》。感谢林轩田老师!让我入门机器学习,不再止步调包侠。详细的笔记见专栏 《机器学习基石》 和 《机器学习技法》。视频...原创 2020-05-03 18:40:18 · 1009 阅读 · 1 评论 -
机器学习技法 之 支持向量机(SVM)
机器学习中特征转换或利用是整个流程中的核心内容,这里介绍三个与之有关的三个主流技术:Embedding Numerous Features: how to exploit and regularizenumerous features? →\rightarrow→ inspires Support Vector Machine (SVM) model (如何挖掘利用众多特征和控制复杂度)C...原创 2020-04-24 10:50:55 · 1283 阅读 · 0 评论 -
机器学习技法 之 支持向量回归(SVR)
核逻辑回归(Kernel Logistic Regression)SVM 和 Regularization 之间的联系软间隔支持向量机的原最优化问题为:minb,w,ξ12wTw+C⋅∑n=1Nξn s.t. yn(wTzn+b)≥1−ξn and ξn≥0 for all n\begin{aligned} \min ...原创 2020-05-03 17:11:08 · 2395 阅读 · 0 评论 -
机器学习技法 之 聚合模型(Aggregation Model)
聚合模型实际上就是将许多模型聚合在一起,从而使其分类性能更佳。aggregation models: mix or combine hypotheses (for better performance)下面举个例子:你有 TTT 朋友,他们对于股票涨停的预测表现为 g1,⋯ ,gTg_1,\cdots ,g_Tg1,⋯,gT。 常见的聚合(aggregation)方法有:sele...原创 2020-04-24 10:50:20 · 8821 阅读 · 1 评论 -
机器学习技法 之 决策树(Decision Tree)
决策树(Decision Tree) aggregation type blending learning uniform voting/averaging Bagging non-uniform linear &...原创 2020-04-26 19:26:23 · 603 阅读 · 0 评论 -
机器学习技法 之 随机森林(Random Forest)
森林顾名思义就是有很多树,这里的树当然就是决策树。实际上随机森林就是将 fully-grown C&RT decision tree 作为 bagging 基模型(base model)。random forest (RF) = bagging + fully-grown C&RT decision...原创 2020-04-26 19:23:53 · 1741 阅读 · 0 评论 -
机器学习技法 之 梯度提升决策树(Gradient Boosted Decision Tree)
梯度提升决策树从名字看是由三个部分组成,这里的提升(Boosted)指的是 AdaBoost 的运用,现在先看一下后两个部分提升决策树(Adaptive Boosted Decision Tree)。原创 2020-04-26 19:25:27 · 770 阅读 · 2 评论 -
机器学习技法 之 聚合模型总结(Summary of Aggregation Models)
Blending Models(融合模型)Blending:指的是当已有丰富多样的 gtg_tgt 时,进行聚合(Aggregate)。(aggregate after getting diverse gtg_tgt)。常用的三种 Blending 模型如下:uniform : 是认为不同的 gtg_tgt 之间可能可以相互修正,从而提高稳定性(stability)。而 non-un...原创 2020-04-27 11:05:04 · 1648 阅读 · 0 评论 -
机器学习技法 之 神经网络(Neural Network)
动机(Motivation)感知机的线性融合(Linear Aggregation of Perceptrons)中文中的感知器或感知机均指的是Perceptron 。将 Perceptrons 作为 Linear Aggregation 的基模型,搭配方式的网络结构图图如下所示:可以看出这里使用了两层的权重 wt\mathbf{w}_twt 和 α\alphaα,和两层的 sig...原创 2020-04-28 14:41:46 · 1099 阅读 · 0 评论 -
机器学习技法 之 深度学习(Deep Learning)
前面学习了基础神经网络算法,可以得知神经网络基本结构中:神经元(Node)的个数,层数(Layer),以及激活函数的类型和神经元之间的连接形式都是可以自己选择的,这就导致结构的多样性,那么如何选择呢?当然是视情况而定了。浅层与深层(Shallow versus Deep Neural Networks)浅(shallow)层以为着较少(few)的隐含层(hidden layers)。其意味着:...原创 2020-05-01 14:16:51 · 895 阅读 · 0 评论 -
机器学习技法 之 径向基函数网络(RBF Network)
径向基函数网络(Radial Basis Function Network):就是将基假设函数进行线性聚合。径向基函数网络假设函数(RBF Network Hypothesis)先回顾一下高斯支持向量机(Gaussian SVM):gsvm(x)=sign(∑SVαnynexp(−γ∥x−xn∥2)+b)g _ { \mathrm { svm } } ( \mathbf { x } )...原创 2020-05-02 09:45:53 · 2054 阅读 · 0 评论 -
机器学习技法 之 矩阵分解(Matrix Factorization)
推荐系统这里用推荐系统的应用实例引出矩阵分解:现在有一个电影评分预测问题,那么数据集的组成为:{(x~n=(n),yn=rnm): user n rated movie m}\left\{ \left( \tilde { \mathbf { x } } _ { n } = ( n ) , y _ { n } = r _ { n m } \r...原创 2020-05-02 21:17:02 · 1865 阅读 · 2 评论 -
机器学习技法 之 终章(Final)
特征转换的技巧核技巧对于数值特征,使用一些映射函数 Φ\PhiΦ,将想要的特征转换嵌入进 kernel 运算里面,在 kernel 运算里面就包含了特征转换和在转换后空间上取内积。(numerous features within some Φ\PhiΦ: embedded in kernel KΦK_\PhiKΦ with inner product operation)。常用的核技巧...原创 2020-05-03 18:18:52 · 358 阅读 · 0 评论