机器学习
文章平均质量分 89
谨慎殷勤
这个作者很懒,什么都没留下…
展开
-
BM25深度解读
垂直搜索结果的优化包括对搜索结果的控制和排序优化两方面,其中排序又是重中之重。1. VSM模型简单介绍2. Lucene默认评分公式介绍3. 概率模型中的二元独立模型BIM介绍4. BM25介绍按照信息论,信息检索的本质是不断减少信息不确定的过程,也是减少信息熵的过程,方法是增加特征信息。例如搜索 “苹果” 如何判断用户搜索的是苹果手机还是苹果电脑或者是苹果水果呢?再进入搜索系统前,可以...原创 2020-04-02 11:32:55 · 2706 阅读 · 0 评论 -
深度学习笔记(一)——感知器
啥事深度学习在人工智能领域,有一个方法叫做机器学习。在机器学习这个方法里,有一类算法叫做神经网络。神经网络:上图中每个圆圈都是一个神经元,每条线表示神经元之间的链接。我们可以看到,上面神经元被分了很多层,层与层之间的神经元是有链接的,而层内的神经元是没有链接的。最左边的层叫做输入层,这层负责接收输入数据;最右边的层叫输出层,我们可以从这层获取神经网络的输出数据。输入层和输出层之间的叫做隐藏...转载 2019-03-10 19:58:00 · 1655 阅读 · 1 评论 -
怎样区分线性和非线性_线性与非线性的区别(线性分析、线性模型)
一直对线性非线性没有很准确的定义认识,今天特意查了查,特此记录下。怎样区分线性和非线性1.线性Line,是指量与量之间按照比例成直线关系,在数学上可理解为一阶导数是个常数; 非线性non-line则指不按照比例不成直线关系,一节导数不为常数。2.线性可以认为是1次曲线,比如比如y=ax+b ,即成一条直线 非线性可认为是2次以上的曲线,比如y=ax^2+bx+c,(x...原创 2018-12-15 11:59:00 · 70578 阅读 · 8 评论 -
最小二乘法的拟合原理
一. 最小二乘法的拟合原理根据《数学指南》书中的解释:图2 《数学指南》中对最小二乘法的解释上面这段话,枯燥且无趣,大家不用厌恶,数学向来这个样子。现在,我们来慢慢认识上面这段话的意思,这句话的意思是说,拟合有两个前提:1. 要有N个不同的点(x1,x2...xN)的测量值(y1,y2,y3..yN) ,说得简单一点,就是要用三坐标在零件上采很多个不同位置的点,如(x1,y...转载 2018-12-08 20:30:37 · 105230 阅读 · 7 评论 -
隐马尔科夫模型学习笔记
隐马尔科夫模型Viviterbi算法 马尔科夫性质马尔科夫链马尔科夫链案例HMMHMM(Hidden Markov Model)隐马尔科夫模型是一种统计模型,在语音识别、行为识别、NLP、故障诊断等领域具有高效的性能。HMM是关于时序概率模型,描述一个含有未知参数的马尔科夫链所生成的不可观测的状态序列,再由各个状态生成观测随机序列的过程。HMM是...原创 2018-11-17 08:45:12 · 974 阅读 · 0 评论 -
SVM学习笔记(一)
梯度下降法、拉格朗日乘子法、KKT条件回顾感知器模型回顾SVM线性可分SVM线性不可分核函数SMO重点:梯度下降法,拉格朗日乘子法,KKT条件梯度下降法梯度下降法常用于求解无约束情况下凸函数的极小值,是一种迭代类型的算法,因为凸函数只有一个极值点,故求解出来的极小值就是函数的最小值点。由于梯度下降法中负梯度方向作为变量的方向,所以有可能导致最终求解的值是...原创 2018-09-25 22:12:07 · 1283 阅读 · 1 评论 -
集成学习:随机森林/GBDT/XGBoost (学习笔记一)
知识点: 随机森林 提升算法 GBDT(迭代决策树) Adaboost XGBoost Stacking 集成学习(Ensemble Learning)集成学习的思想就是将若干个学习器(分类器&回归器)组合之后产生一个新学习器.弱分类器(weak learner)指那些分类准确率只稍微好于随机猜测的分类器(error<0...原创 2018-08-23 17:36:54 · 511 阅读 · 0 评论 -
决策树--学习笔记(二)
决策树分割属性选择决策树算法是一种“贪心”算法策略,只考虑在当前 数据特征的情况下的最好分割方式,不能进行回溯操作。对于整体的数据集而言,按照所有的特征属性进行划分操作,对于所有划分操作的结果集“纯度”进行比较,选择“纯度”越高的特征属性作为当前需要分割的数据集进行分割操作,持续迭代,直到得到最终结果。决策树是通过“纯度”来选择分割特征属性点的。决策树量化纯度决策树的构建是基于样本...原创 2018-08-07 22:06:57 · 363 阅读 · 0 评论 -
决策树--学习笔记(一)
信息熵 决策树 决策树优化 剪枝 决策树可视化 决策树的直观理解比特化(bits)假设存在一组随机变量x,各个值出现的概率关系如图:现在有一组由x变量组成的序列:BACADDCBAC......;如果现在希望这个序列转换为二进制来进行网络传输,...原创 2018-08-07 21:24:33 · 413 阅读 · 0 评论 -
k-近邻算法学习笔记
k-近邻算法学习笔记基本概念 k-近邻算法(K-Nearest Neighbor,KNN),是机器学习分类算法中最简单的一类。采用测量不同特征之间距离方法进行分类。通俗地说所谓k近邻,就是k个最近的邻居的意思,说的是每个样本都可以用它最接近k个邻居来代表。就比如,判断一个人的人品,只需要观察与他来往最密切的几个人的人品好坏就可以得出,即“近朱者赤,近墨者黑”;KNN算法既可以用于分类,又...原创 2018-08-04 21:14:27 · 357 阅读 · 0 评论