学习-机器学习
文章平均质量分 61
haozhepeng
这个作者很懒,什么都没留下…
展开
-
道格拉斯-普克算法
道格拉斯-普克算法(Douglas–Peucker algorithm,亦称为拉默-道格拉斯-普克算法、迭代适应点算法、分裂与合并算法)是将曲线近似表示为一系列点,并减少点的数量的一种算法。该算法的原始类型分别由乌尔斯·拉默(Urs Ramer)于1972年以及大卫·道格拉斯(David Douglas)和托马斯·普克(Thomas Peucker)于1973年提出,并在之后的数十年中由其他学者予...原创 2020-05-06 11:39:13 · 1387 阅读 · 0 评论 -
8-3 GBDT
引用&参考文章GDBT原始文章 (已上传https://download.csdn.net/download/haozhepeng/11287103))https://blog.csdn.net/qq_22238533/article/details/79185969&https://www.cnblogs.com/massquantity/p/9174746.html...原创 2019-07-06 19:27:01 · 296 阅读 · 0 评论 -
wor2vec
word2vec语言模型有两种,CBOW和skip-gram,优化方式有两种hierarchical softmax (huffman 树),negative sample (负采样)其中 skip-gram 和hierarchical softmax 对罕见词有利,CBOW和负采样速度快,CBOW对常见词和低纬向量有利https://www.cnblogs.com/pinard/p/72...原创 2019-07-24 13:05:55 · 129 阅读 · 0 评论 -
面试-数据结构
1.快排 :https://www.cnblogs.com/KuJo/p/8544775.html图文解释https://www.cnblogs.com/aishangJava/p/10099832.html代码https://github.com/asunnybaby/Base_Algorithms代码2.排列组合求比它小的数中的最大的从右向左,如果遇到当前数字...原创 2019-07-24 13:29:59 · 327 阅读 · 0 评论 -
8-2 boosting &Adaboosting
boosting 也是一种集成方式,目前比较火的有 GDBT,XGB,LGBM,Adaboosting等。它通过最小化误差的思路,来串行的集成多个弱分类器。即个体学习器间存在强依赖关系、必须串行生成的序列化方法。下面内容参考引用https://blog.csdn.net/u012258999/article/details/42457577和https://blog.csdn.net/Lia...原创 2019-07-05 14:36:13 · 839 阅读 · 0 评论 -
8-5 lightGBM
参考&引用:https://blog.csdn.net/huacha__/article/details/81057150&https://blog.csdn.net/qq_24519677/article/details/82811215&https://blog.csdn.net/u010242233/article/details/79769950&原始论文...原创 2019-07-09 17:19:10 · 295 阅读 · 0 评论 -
8-4 XGB
参考&引用:陈天奇论文,ppt等(已上传https://download.csdn.net/download/haozhepeng/11287103) &https://blog.csdn.net/qq_22238533/article/details/79477547目录一、原理1.Bias-Variance(偏差方差思想)2.XGB过程推导XGB过程简述...原创 2019-07-09 15:54:22 · 560 阅读 · 0 评论 -
批量梯度下降,随机梯度下降,小批量梯度下降
转https://www.cnblogs.com/lliuye/p/9451903.html批量梯度下降(BGD)、随机梯度下降(SGD)以及小批量梯度下降(MBGD)的理解 梯度下降法作为机器学习中较常使用的优化算法,其有着三种不同的形式:批量梯度下降(Batch Gradient Descent)、随机梯度下降(Stochastic Gradient Descent)以及小批量梯度下...转载 2019-07-13 19:43:55 · 612 阅读 · 0 评论 -
8-1决策树
一、熵 entropy表示随机变量不确定性,熵越大,不确定性越大。1.联合熵两个随机变量X,Y的联合分布,可以形成联合熵Joint Entropy,用H(X,Y)2.条件熵:H(Y|X) = H(X,Y) - H(X)根据互信息定义展开得到H(Y|X) = H(Y) - I(X,Y)3. 对偶式H(X|Y)= H(X,Y) - H(Y)H(X...原创 2019-07-05 13:32:46 · 285 阅读 · 0 评论 -
8-1 bagging & 随机森林
目前常见的集成(ensemble)学习方法:bagging,RF(采用了bagging 思想),boosting(adaboosting, GBDT,XGB,LGBM)。两者不同在于 bagging是集成多个强分类器,思路是最小化方差。个体学习器间不存在强依赖关系、可同时生成的并行化方法。而boosting 是串行集成多个弱分类器,思路是最小化误差,下一个分类器需要依赖上一个的结果,多...原创 2019-07-05 13:57:36 · 187 阅读 · 0 评论