机器学习
饥渴的小苹果
很天然牛奶糖然后天然 很天然天然图画
展开
-
机器学习-李宏毅-Lecture1-Regression-Case Study课程笔记
链接pdfRegression股价预测 输入是历史 输出是明日股价自动驾驶 输入是路况 输出是方向盘角度推荐系统 输入是使用者和商品 输出是推荐的商品example预测神奇宝贝进化后的CP值,用来判断是否进化。第一步 model寻找一个function set,比如:y=b+w∗xcpy=b+w*x_{cp}y=b+w∗xcpw和b可以是无穷的。表示成线性形式:y=b+...原创 2019-01-03 15:52:34 · 291 阅读 · 0 评论 -
XGBoost面试级别回顾
介绍Xgboost是GB算法的高效实现,xgboost中的基学习器除了可以是CART(gbtree)也可以是线性分类器(gblinear)。与GBDT不同之处xgboost在目标函数中显示的加上了正则化项,基学习为CART时,正则化项与树的叶子节点的数量T和叶子节点的值有关。GB中使用Loss Function对f(x)的一阶导数计算出伪残差用于学习生成fm(x),xgboost不仅使用...原创 2019-03-07 20:07:44 · 4550 阅读 · 0 评论 -
GBDT面试级知识点整理
简介gbdt全称梯度下降树,在传统机器学习算法里面是对真实分布拟合的最好的几种算法之一,在前几年深度学习还没有大行其道之前,gbdt在各种竞赛是大放异彩。原因大概有几个:效果确实挺不错。即可以用于分类也可以用于回归。三是可以筛选特征。这三点实在是太吸引人了,导致在面试的时候大家也非常喜欢问这个算法。 gbdt的面试考核点,大致有下面几个:gbdt 的算法的流程?gbdt 如何...原创 2019-03-07 19:36:14 · 5540 阅读 · 0 评论 -
集成学习之随机森林
1.个体与集成集成学习通过构建并结合多个学习器来完成学习任务下图表示集成学习的一般结构:先学习一组"个体学习器",再用某种策略把他们结合起来。个体学习器通常由一个现有算法从训练数据中产生。个体学习器可以都是同一类型的,也可以是不同类型的学习器集成学习通过对多个学习器进行组合,可以获得比单一学习器显著提高的泛化性能。对弱学习器尤为明显。那么集成学习如何获得比单一分类器更好的性能呢?要...原创 2019-03-04 11:50:12 · 591 阅读 · 0 评论 -
【统计机器学习】k近邻算法
k近邻算法是一种基本的分类与回归方法。输入为实例的特征向量,对应于特征空间上的点。输出为类别。假设给定一个训练集,其中的实例类别已定,分类时,对新的实例,根据其k个最近邻的训练实例的类别,通过多数表决的方式进行预测。因此k近邻法没有显式的学习过程。实际上是利于训练数据集对特征向量空间进行划分,作为其分类的模型。k近邻法有3个基本的要素:k值的选取距离度量分类决策规则k近邻算法...原创 2019-03-06 21:59:56 · 785 阅读 · 0 评论 -
【统计机器学习】支持向量机
·支持向量机是一种二分类模型。基本模型是定义在特征空间上的间隔最大的线性分类器。支持向量机的学习策略就是间隔最大化支持向量机还包括各种核技巧,学习算法是求解凸二次优化的最优化算法核函数表示将输入从输入空间映射到特征空间得到的特征向量之间的內积。间隔与支持向量给定样本集D={(x1,y1),(x2,y2),...,(xm,ym)},yiϵ{−1,+1}D=\{(x_1,y_1),(x_2,...原创 2019-03-03 19:49:24 · 277 阅读 · 0 评论 -
【统计机器学习】决策树
决策树是一类基本的分类与回归方法。学习时,利用训练数据,根据损失函数最小化原则建立决策树模型。预测时,对新的数据,根据决策树模型进行分类。决策树学习通常包含3个步骤:特征选择、决策树的生成、决策树的剪枝。决策树模型定义: 决策树是对实例进行分类的树形结构。由节点node和有向边edge组成。节点分为内部节点和叶节点。内部节点表示一个特征,叶节点表示一个类。从根节点开始,对实例的某一个特征...原创 2019-03-03 11:02:50 · 283 阅读 · 0 评论 -
【统计机器学习】逻辑回归
1. 逻辑斯蒂分布首先介绍逻辑斯蒂分布(logistic distribution)。设X是连续随机变量,X服从逻辑斯蒂分布是指X具有下列分布函数和密度函数:F(x)=P(X⩽x)=11+e−(x−μ)/γF(x)=P(X\leqslant x)=\frac{1}{1+e^{-(x-\mu)/\gamma}}F(x)=P(X⩽x)=1+e−(x−μ)/γ1f(x)=F‘(x)=e−(x−...原创 2019-03-02 23:47:47 · 186 阅读 · 0 评论 -
【统计机器学习】朴素贝叶斯
朴素贝叶斯基于贝叶斯定理和特征条件独立假设的分类方法。对于特定的训练数据集,首先根据特征条件独立假设学习输入/输出的联合概率分布。然后基于此模型,对给定的输入x,利用贝叶斯定理求出后验概率最大的输出y。贝叶斯决策论贝叶斯决策论是概率框架下实施决策的基本方法。对于分类任务,在所有相关概率都已知的情况下,贝叶斯决策论考虑如何基于这些概率和误判损失来选择最优的类别标记。假设有...原创 2019-03-05 21:33:20 · 350 阅读 · 0 评论 -
【ML面试题目】1-
1.为什么需要对数值类型的特征做归一化为了消除数据特征之间的量纲影响,我们需要对特征做归一化(Normalization)处理,使得不同的指标之间具有可比性。对数值类型的特征做归一化可以将所有的特征都统一到一个大致相同的数值区间内。最常用的方法有以下两种:(1) 线性函数归一化(Min-Max Scaling)它对原始数据进行线性变换,使结果映射到[0,1] 的范围,实现对原始数据的等比缩...原创 2019-02-26 16:01:43 · 716 阅读 · 0 评论 -
【ML面试题目】9-
9.结合你的学习和研究经历,探讨为什么在一些场景下要使用余弦相似度而不是欧式距离?场景描述在机器学习问题中,通常把特征表示为向量的形式,所以在分析两个特征向量之间相似度时,常使用余弦相似度来表示。余弦相似度取值范围是[-1,1]。相同的两个向量相似度为1,将1减去余弦相似度就得到余弦距离。因此,余弦距离的取值范围是[0,2],两个相同向量的余弦距离为0。分析与解答对于两个向量A和B,其余弦...转载 2019-02-27 16:07:54 · 635 阅读 · 0 评论 -
机器学习-李宏毅-Lecture0-Introduction课程笔记
链接videopdfAI ML DL关系人工智能(AI)是我们要追求的目标。机器学习(ML)是使用的手段,指机器通过学习可以和人一样聪明。而深度学习(DL)是机器学习中的一种方法,指很多层网络叠加起来。如下图所示。Why ML?使用规则可以解决一部分问题,但是难以考虑到所有的情况,永远无法超越创造者,没有freestyle。What is ML?机器学习其实所做的就是寻找一...原创 2019-01-02 20:11:15 · 237 阅读 · 0 评论 -
小白机器学习之路
虽然已经二年级了,但是对于机器学习、深度学习、自然语言处理等等知识仍然不成体系。这会制约自己的发展。痛定思痛,决定从现在开始,把自己当成一个小白,认真学习基础知识,主要以CSDN博客为主,配合其他教程、教材、视频。争取学一个会一个,搭建完整知识体系,加油原创 2019-01-02 14:59:56 · 426 阅读 · 0 评论 -
LightGBM介绍、原理与实战
pass原创 2019-03-12 21:21:00 · 1876 阅读 · 0 评论