程序员杂谈

转自公众号： 数字经济智库  “企业对数据的驾驭能力决定其核心竞争力，数据流通越快，数据驾驭能力越强，数据使用成本越低，企业竞争能力越强，这是数字经济发展水平很重要的标志，各行各业都离不开互联网、大数据和人工智能，互联网促进数据的汇集，为智能化的发展提供平台。大数据是人工智能的基础，人工智能是大数据发展的高级阶段，要发展人工智能离不开大数据，但人工智能肯定比大数据更加高， 大数据和人工智能...

支持向量学习机总结：    监督式学习重点介绍了支持向量学习机、核函数、决策树、随机森林及GBTs    支持向量学习机的出发点是解决线性可分或近似线性可分的问题。这个模型很重要的隐含假设：每个数据点的权重并不相同。支持向量机在训练时并不考虑所有数据，而只关心其中被直线分开的“异常点”。    为了支持向量学习机能处理非线性问题，引入了核函数的概念。核函数能高效的完成空间变换，特别是从低...

最后，作者想谈一谈关于机器学习的一些思考。主要是作者在日常生活总结出来的一些感悟。回想一下我在节1里所说的故事，我把小Y过往跟我相约的经历做了一个罗列。但是这种罗列以往所有经历的方法只有少数人会这么做，大部分的人采用的是更直接的方法，即利用直觉。那么，直觉是什么？其实直觉也是你在潜意识状态下思考经验后得出的规律。就像你通过机器学习算法，得到了一个模型，那么你下次只要直接使用就行了。那么这个规律你是...

除了以上算法之外，机器学习界还有其他的如高斯判别，朴素贝叶斯，决策树等等算法。但是上面列的六个算法是使用最多，影响最广，种类最全的典型。机器学习界的一个特色就是算法众多，发展百花齐放。下面做一个总结，按照训练的数据有无标签，可以将上面算法分为监督学习算法和无监督学习算法，但推荐算法较为特殊，既不属于监督学习，也不属于非监督学习，是单独的一类。监督学习算法：线性回归，逻辑回归，神经网络，SVM无监督...

降维算法降维算法也是一种无监督学习算法，其主要特征是将数据从高维降低到低维层次。在这里，维度其实表示的是数据的特征量的大小，例如，房价包含房子的长、宽、面积与房间数量四个特征，也就是维度为4维的数据。可以看出来，长与宽事实上与面积表示的信息重叠了，例如面积=长 × 宽。通过降维算法我们就可以去除冗余信息，将特征减少为面积与房间数量两个特征，即从4维的数据压缩到2维。于是我们将数据从高维降低到低维，...

推荐算法推荐算法是目前业界非常火的一种算法，在电商界，如亚马逊，天猫，京东等得到了广泛的运用。推荐算法的主要特征就是可以自动向用户推荐他们最感兴趣的东西，从而增加购买率，提升效益。推荐算法有两个主要的类别：一类是基于物品内容的推荐，是将与用户购买的内容近似的物品推荐给用户，这样的前提是每个物品都得有若干个标签，因此才可以找出与用户购买物品类似的物品，这样推荐的好处是关联程度较大，但是由于每个物品都...

近来，机器学习的发展产生了一个新的方向，即“深度学习”。虽然深度学习这四字听起来颇为高大上，但其理念却非常简单，就是传统的神经网络发展到了多隐藏层的情况。在上文介绍过，自从90年代以后，神经网络已经消寂了一段时间。但是BP算法的发明人Geoffrey Hinton一直没有放弃对神经网络的研究。由于神经网络在隐藏层扩大到两个以上，其训练速度就会非常慢，因此实用性一直低于支持向量机。2006年，Geo...

机器学习可分为两大类：监督式学习和非监督式学习监督式学习特点：训练的数据是有标注的；按照标注又可以分为：分类和回归分类：标注的数据是离散的，对应的模型是分类；回归：标注的数据是连续的，对应的模型是回归；非监督式学习特点：训练的数据里没有标注，只有自变量非监督学习可分为：聚类和降为聚类：把距离比较近的点归属于一类的称为聚类；降为：把高维空间的数据映射到低维空间称为降为；...

交叉验证目的：防范过拟合我们把数据集分成训练集、验证集和测试集；训练集用来估算模型参数，验证集用来选择超参数，测试集用来评估模型效果。        交叉验证是在机器学习建立模型和验证模型参数时常用的办法。交叉验证，顾名思义，就是重复的使用数据，把得到的样本数据进行切分，组合为不同的训练集和测试集，用训练集来训练模型，用测试集来评估模型预测的好坏。在此基础上可以得到多组不同的训练集和测...