机器学习入门
文章平均质量分 78
go2coding
关注机器学习,人工智能
展开
-
机器学习入门:第十九章 深度信念网络
深度信念网络 (Deep Belief Network, DBN)深度信念网络 (Deep Belief Network, DBN) 由 Geoffrey Hinton 在 2006 年提出。它是一种生成模型,通过训练其神经元间的权重,我们可以让整个神经网络按照最大概率来生成训练数据。我们不仅可以使用 DBN 识别特征、分类数据,还可以用它来生成数据。深度信念网络已经推出来后,由于他的有效性,备受无数人的追捧,也引领者机器学习的方向。DBN是由两部分组成,一部分是底层网络,一部分是顶层网络。底层网络的原创 2022-04-16 09:18:41 · 1053 阅读 · 1 评论 -
机器学习入门:第十八章 受限波尔兹曼机
受限波尔兹曼机(Restricted Boltzmann Machine-RBM)受限波尔兹曼机是在波尔兹曼机的基础上发展起来的,这是深度信念网络的基础,RBM包含两个层,可见层(visible layer)和隐藏层(hidden layer)。神经元之间的连接具有如下特点:层内无连接,层间全连接,显然RBM对应的图是一个二分图。一般来说,可见层单元用来描述观察数据的一个方面或一个特征,而隐藏层单元的意义一般来说并不明确,可以看作特征提取层。RBM和BM的不同之处在于,BM允许层内神经元之间有连接,而R原创 2022-04-16 09:18:15 · 365 阅读 · 0 评论 -
机器学习入门:第十七章 Boltzmann波尔兹曼机
Boltzmann波尔兹曼机Hinton、 Ackley等人以模拟退火思想为基础,对Hopfield模型引入了随机机制,提出了Boltzmann机。和Hopfield模型一样,Boltzmann机的思想也是能量的思想,Hopfield模型是在计算状态转移时是一种确定的机制,Boltzmann机在计算下一个输出的时候并不是一种确定的状态,而是通过概率进行转移。Boltzmann机结合多层前馈神经网络和离散Hopfield网络在网络结构、学习算法和动态运行机制方面的优点,是建立在离散Hopfield网基础原创 2022-04-16 09:17:46 · 973 阅读 · 0 评论 -
机器学习入门:第十六章 Hopfield神经网络
经过这些年的发展,深度学习慢慢的成为了一种较为流行的算法,从算法的一步步发展来看现在的深度学习算法会觉得深度学习算法不用于已有的神经网络或一些现在流行的算法。虽然深度学习跟神经网络非常的像,但是从原理的本质来看并不相似,传统的神经网络更加的偏向对神经元的模拟,而深度学习算法更是对能量的模拟。进一步在看深度学习算法的话,更容易发现深度学习算法综合了更多方面的内容。Hopfield神经网络模型Hopfield神经网络是最早使用能量的概念来搭建网络系统,它的理论基础来源于Ising模型。Ising模型最早的原创 2022-04-16 09:17:22 · 1901 阅读 · 0 评论 -
机器学习入门:第十五章 递归神经网络
前言BP神经网络,训练的时候,给定一组输入和输出,不断的对权值进行训练,使得输出达到稳定。但BP神经网络并不是适合所有的场景,并不真正的体现出某些场景的真正特点。回到经典的概率论问题,抛硬币问题,假设你已经抛了100次的,90次是正面的,10次是反面的,问现在继续在抛一次,出现正面的概率是多少?如果没有前面几次的经验,很正常的会认为再次出现正面的概率是50%,但由于我们之前有对这个进行了实验,即有了经验了,按照贝叶斯定律,出现正面的概率肯定会大于50%。BP神经网络也少了对前面结果的一种反馈。常见,易懂原创 2022-04-16 09:16:58 · 1261 阅读 · 1 评论 -
机器学习入门:第十四章 卷积神经网络
前言用输入层,隐藏层,输出层组成了神经网络,把数据放入输入层,通过隐藏层,再到输出层,把训练的数据跟输出进行对比得出误差,把误差传回到隐藏层中训练各个层的参数。这是典型的神经网络的结果图:典型的神经网络用在了很多的场合中,比如分类上,也达到了很好的效果。但是如果输入层的参数太多,会出现怎样的一种情况?如下是用神经网络来识别手写数字:这是一个神经网络中常见的一个应用,如何用神经网络进行数字的识别?最简单的一种想法就是,把图片的每个像素作为一个输入点,如果一张手写数字为32x32像素,输入节点为原创 2022-04-16 09:16:31 · 966 阅读 · 0 评论 -
机器学习入门:第十三章 BP神经网络
学习是神经网络一种最重要也最令人注目的特点。在神经网络的发展进程中,学习算法的研究有着十分重要的地位。目前,人们所提出的神经网络模型都是和学习算法相应的。所以,有时人们并不去祈求对模型和算法进行严格的定义或区分。有的模型可以有多种算法。而有的算法可能可用于多种模型。不过,有时人们也称算法为模型。自从40年代Hebb提出的学习规则以来,人们相继提出了各种各样的学习算法。其中以在1986年Rumelhart等提出的误差反向传播法,即BP(error BackPropagation)法影响最为广泛。直到今天,B原创 2022-04-16 09:15:59 · 514 阅读 · 0 评论 -
机器学习入门:第十二章 svd算法
机器学习系列-SVD篇SVD全称Singular value decomposition,奇异值分解。线性代数里重要的一种分解形式,其矩阵的特殊含义可以用来做处理线性相关。如在自然语言处理中,对新闻的分类,就可以采用SVD的方法,而且已取得不错的效果。具体的过程如下,把新闻中的核心词,用一个向量进行表示,每条新闻一个向量,组成一个矩阵,对矩阵进行SVD分解。如:可以用一个大矩阵A来描述这一百万篇文章和五十万词的关联性。这个矩阵中,每一行对应一篇文章,每一列对应一个词。[外链图片转存失败,源站可能有防盗原创 2022-04-16 09:15:25 · 1726 阅读 · 0 评论 -
机器学习入门:第十一章 集成算法
机器学习的算法好多种,大部分的算法都是用来做分类。在生活中,我们也会经常碰到对一件事情进行评分,比如唱歌比赛对各个选择进行评分,而通常一场比赛中,为了分数的公平性,通常评审不止一个人,通过不同评审的评分后加权求平均值来作为选手最后的得分,也就是对选手进行分类。在机器学习中能否也加入这种机制,通过已知的数据,学习不同的分类器,在预测时使用这些分类器的组合,对未知的数据进行分类。这种分类的方式叫做集成学习算法。当然不能拿同样训练方法的几个分类器,这样并没有作用,如何建立分类器是集成学习算法的关键。现在有较多原创 2022-04-15 10:02:37 · 202 阅读 · 0 评论 -
机器学习入门:第十章 EM算法
引子做完了课件间操,给了一项任务,测量同学的身高,整个学校的同学太多了,我们准备采用随机抽样的形式,留下了学号尾随为1的同学来估计学生(x1,x2,...,xn)(x_1,x_2,...,x_n)(x1,x2,...,xn)的身高情况。从以往的经验,身高是符合高斯分布的,概率密度函数为:f(x)=1δ2πe−(x−μ)22δ2f(x)=\frac{1}{\delta \sqrt{2\pi}}e^{-\frac {(x-\mu)^2}{2\delta^2}}f(x)=δ2π1e−2δ2(x−μ)原创 2022-04-15 10:01:33 · 548 阅读 · 0 评论 -
机器学习入门:第九章 随机过程
马尔科夫链看来要从老套路开始了,今天天气不错。昨天的天气如何?昨天的天气跟今天的天气会不会有关系?有什么关系?我们都比较清楚,如果说昨天的是个大晴天,天气是20度,那么今天的天气不太可能是下雪,零下10度。假设每天的天气是一种状态,天气的变化可以看成是,昨天的状态,转移到今天的状态。假设昨天的天气,用向量的方式来表示:[晴,雨] = [1.0,0.0],表示是晴天,今天的天气[晴,雨] = [1.0,0.0]也是晴天。昨天天气的状态转移到今天的状态的概率为:[0.80.20.20.8]\begin{bm原创 2022-04-15 09:57:41 · 692 阅读 · 0 评论 -
机器学习入门:第八章 支持向量机
**支持向量机(SVM-- Support Vector Machine)**是一种非常好的分类算法,是公认的在线性和非线性分类中效果较好的一种分类器。现在有非常多的关于SVM的资料,支持向量机的理论较为复杂,并不是非常容易理解,这里主要介绍支持向量机算法的思想,对于太复杂的公式理论,有些现成的结论就直接进行调用而不再这里进行详细的推导。如果需要进一步了解公式理论的话,可以参考相应的资料。从SVM的思想入手在收集的数据中,本身知道这些数据的分类,如下红黑点是已知的,利用这些已知的数据来估计未来的一些点,原创 2022-04-15 09:56:46 · 380 阅读 · 0 评论 -
机器学习入门:第七章 广义线性模型 Softmax原理(2)
Softmax迭代推导Softmax属于多可能性分类,如数字的识别,0到9,10种可能性。[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-e0ORfKDO-1649987735466)(/images/kuxue/machine_learning/Softmax.png)]假设有k种分类:y∈1,2,...,ky\in 1,2,...,ky∈1,2,...,k,每种分类对应的概率:ϕ1,ϕ2,...,ϕk\phi_1,\phi_2,...,\phi_kϕ1,ϕ2,..原创 2022-04-15 09:55:50 · 267 阅读 · 0 评论 -
机器学习入门:第七章 广义线性模型 高斯分布 伯努利分布的另一个意义(1)
广义线性模型广义线性模型的理论基础很多,这里直接拿过来用:广义线性模型:给定特征属性x和参数θ\thetaθ后,y的条件概率P(y∣x;θ)P(y|x;\theta)P(y∣x;θ)服从指数分布族其中,指数分布形式如下:P(y;η)=b(y)exp(ηTT(y)−a(η))P(y;\eta)=b(y)exp(\eta^TT(y)-a(\eta))P(y;η)=b(y)exp(ηTT(y)−a(η))预测T(y)T(y)T(y)的期望,即计算E[T(y)∣x]E[T(y)|x]E[T(y)∣原创 2022-04-15 09:55:10 · 1063 阅读 · 0 评论 -
机器学习入门:第六章 贝叶斯统计 进行分类(4)
全概率公式物理学家和化学家能够在宏观的层次上系统地阐述带有普遍性的决定论的规律,但机器学习只能系统地阐述统计学上的趋势。在世界上每时每刻都有无数的事情发生,而好知的我们都在思考着一个问题,为什么这些事情会发生,发生这些事情的条件有哪些,哪些条件又是主要的因数呢?导致一个事件的发生,可能有非常多的条件所控制,条件满足了就会发生。而这些条件的产生也并不是完全确定的,存在着一定的几率,所有条件的组成构建了导致产生这件事情的概率。例如天气的变化,冷空气会影响天气,同样台风也会影响空气,天气的变化就是受到了这些条原创 2022-04-15 09:54:13 · 314 阅读 · 0 评论 -
机器学习入门:第六章 贝叶斯统计 前验概率(3)
门派之争有个猎人带着你和你同学到森林里去打猎,当然猎人的枪法是你们三个人中最好的,突然枪响了一声,你回头一看兔子死了,你觉得这一枪是谁开的可能性更大,在看另一种情况,你听到枪响了三声(假设是同一个人开的),回头一看没有打中,兔子给跑了,还是让你猜,这三枪是谁开的。来考虑下第一个问题,一枪就能够命中兔子,猎人的枪法比同学的枪法好,同学很可能一枪是命中不了目标的。第一个问题猜是猎人,同样的思路,三枪都没有命中目标,更可能是同学的行为。这里的主要思想是:猜测的依据是使观察的想象最大化,这句话比较拗口。看一个原创 2022-04-15 09:53:30 · 216 阅读 · 0 评论 -
机器学习入门:第六章 贝叶斯统计 拼音自动查错(2)
一个贝叶斯应用的老故事还是得讲一个老故事,因为我觉得这个例子能够很好的说明贝叶斯公式。故事是老的但它还没过时,标题叫做拼写检查器。上个星期,我的两个朋友 Dean 和 Bill 分别告诉我说他们对 Google 的快速高质量的拼写检查工具感到惊奇。比如说在搜索的时候键入 [speling],在不到 0.1 秒的时间内,Google 会返回:你要找的是不是 [spelling]. (Yahoo! 和微软也有类似的功能)。让我感到有点奇怪的是我原想 Dean 和 Bill 这两个很牛的工程师和数学家应该对原创 2022-04-15 09:52:48 · 629 阅读 · 0 评论 -
机器学习入门:第六章 贝叶斯统计 贝叶斯公式推导(1)
光芒四射的年代贝叶斯(Thomas Bayes)出生在大数学家费马诞生的100周年(1701年),1761年去世。作为一个数学家,生在这个时代,是幸运的,同时也是不幸的。幸运的是在这个时代里数学高速度的发展,出现非常多的优秀人物,比如牛顿,伯努利,惠更斯等,可以跟这些人科学界的大咖共生一个时代是庆幸的,在数学的海洋里总是能找到那一座指引方向的灯塔;不幸的是,大咖的辉煌太够锋芒,即使在科学界能够发光也容易被这些人所掩盖掉。然而这时代的数学家确实太多了,上帝决定让这段历史好玩点。在那个时代,贝叶斯也许不是那原创 2022-04-15 09:51:47 · 741 阅读 · 0 评论 -
机器学习入门:第五章 决策树
引子每一天生活中有很多事情需要我们做出决定,降温了就要加衣服,衣服旧了就该买新的,虽然这些事情非常的多,但是并不是非常的复杂,已经存在一些基本的逻辑,只要套用上面的关系,就能够得出答案了,这就是生活给我们的套路。例如过春节的时候,总能碰上七大姑八大姨的,不管这么聊,我们总是成为这些七大姑八大姨调侃的对象。难道他们也有自己的套路吗?总结如下:这就是一棵决策树了,通过一个个条件来得出,你到底是属于哪一类,适合怎么样的跟你聊天,你谈论的重点是什么。决策树是机器学习中非常常见的一种方法,因为他很简洁,而且也非原创 2022-04-14 10:53:57 · 552 阅读 · 0 评论 -
机器学习入门:第四章 k近邻算法
k-近邻算法原理像之前提到的那样,机器学习的一个要点就是分类,对于分类来说有许多不同的算法,所谓的物以聚类,分以群分。我们非常的清楚,一个地域的人群,不管在生活习惯,还是在习俗上都是非常相似的,也就是我们说的一类人。每一类人都会形成自己的一个中心,越靠近这个中心的人越为相似。k近邻算法就是为了找到这个中心点,把这中心点当成这类关键点,在有新的数据需要分类的话,就看离哪个中心点近,那么就属于哪一类。假设我们有这样的一组数据,他代表一个人的地理坐标位置:x坐标y坐标哪省人4.0356原创 2022-04-14 10:51:51 · 149 阅读 · 0 评论 -
机器学习入门:第三章 逻辑(Logistic)回归 TensorFlow 回归计算(7)
接下来使用TensorFlow 学习框架实现逻辑分类,TensorFlow的框架也在后面会有介绍,通过逻辑回归算法,对TensorFlow了解也会更加深刻, 在TensorFlow我们需要组建评价函数,不知道大家还记不记得逻辑回归的评价函数呢?在上一节中,如果忘了可以再去看一看。逻辑回归的评价函数,也就是极大似然函数如下:J(θ)=−1m[∑i=1my(i)log(hθ(x(i)))+(1−y(i))log(1−hθ(x(i)))]J(θ) = -\frac{1}{m} \left[ \sum_{i原创 2022-04-14 10:49:46 · 892 阅读 · 0 评论 -
机器学习入门:第三章 逻辑(Logistic)回归 scikit-learn进行回归分类(6)
在机器学习中有很多的开源库,scikit-learn是其中一个较为优秀的开发库,官网地址 地址 。scikit-learn简称为sklearn,在里面集成了大量的常见机器学习算法,后面会专门来介绍sklearn的整个框架,这里先直接拿过来使用,用来做逻辑回归。使用pip 安装 sklearnpip install scikit-learn在sklearn中已经对大部分的算法进行了封装,算法的过程相当于把数据喂给 算法,再用算法对数据进行预测。建立模型,对数据进行训练model = Logist原创 2022-04-14 10:48:35 · 1097 阅读 · 0 评论 -
机器学习入门:第三章 逻辑(Logistic)回归 对成绩进行分类(5)
把所有的问题都转换为程序问题,可以通过程序来就问题进行求解了。这里的模拟问题来之于Coursera 上 Andrew 的机器学习课程,问题是根据学生的两次考试成绩判断该学生是否会被录取。数据在 这里数据格式如下:...79.0327360507101,75.3443764369103,145.08327747668339,56.3163717815305,061.10666453684766,96.51142588489624,175.02474556738889,46.5540135411原创 2022-04-14 10:47:35 · 378 阅读 · 0 评论 -
机器学习入门:第三章 逻辑(Logistic)回归 使用代码表示(4)
接着上一节的内容,仔细的在来看一看最后用来计算的公式,看看如何通过编程的形式,把它表达出来。θj:=θj−α1m∑i=1m(hθ(xi)−yi)xij\theta_j := \theta_j - \alpha \frac{1}{m}\sum_{i=1}^m(h_\theta(x_i)-y_i)x_i^jθj:=θj−αm1i=1∑m(hθ(xi)−yi)xij可能经过长时间的公式推导以后,得到了最终的这个公式,已经忘了为何需要这个公式了,不明白这个公式的用处了。所以需要再来思考下,公式原创 2022-04-14 10:45:36 · 186 阅读 · 0 评论 -
机器学习入门:第三章 逻辑(Logistic)回归 计算公式推导(3)
很多问题都属于分类的问题,邮件(垃圾邮件/非垃圾邮件),肿瘤(良性/恶性)。二分类问题,可以用如下形式来定义它:y∈(0,1)y\in{(0,1)}y∈(0,1),其中x0属于负例,1属于正例。现在来构造一种状态,一个向量来代表肿瘤(良性/恶性)和肿瘤大小的关系。其中表示结果,这样良性结果和肿瘤大小关系就为:构造函数:f(x,θ)=θTxf(x,\theta) = \theta ^Txf(x,θ)=θTx对于两个变量来说,可以表示为:θTx=θ0Tx0+θ1Tx1+θ2Tx2\theta原创 2022-04-14 10:44:15 · 1407 阅读 · 0 评论 -
机器学习入门:第三章 逻辑(Logistic)回归 极大似然估计(2)
回头过来看,可能会觉得最小二乘法跟我们讨论中的芒果酸甜问题,并不是一回事。但从另外一种概括的角度来讲:通过一种模型,预测一种输出就能够分类。在监督学习中,当输出变量Y取有限个离散值时,预测问题便成为分类问题。这时,输入变量X可以是离散的,也可以是连续的。监督学习从数据中学习一个分类模型或分类决策函数,称为分类器(classifier)。分类器对新的输入进行输出的预测(prediction),称为分类(classification)。用同样的思想,继续一个简单的故事:某位同学与一位猎人一起出去打猎,一只原创 2022-04-14 10:40:08 · 1324 阅读 · 0 评论 -
机器学习入门:第三章 逻辑(Logistic)回归 从最小二乘法谈起(1)
关于机器学习的教程确实是太多了,处于这种变革的时代,出去不说点机器学习的东西,都觉得自己落伍了,但总觉得网上的东西并不系统,无法让人串联在一起,总有很多人读了几篇机器学习的东西,就自以为机器学习就那些东西,认为机器学习也就那么一回事,想把这几年关于机器学习的东西做一些总结,能够跟大家一起学习和交流。如果需要用几句话来简单的总结机器学习是什么意思,也许可以用:让机器学会决策。对比我们人来说,每天都会碰到这个问题,比如菜市场里买芒果,总要挑出哪些是甜的。这就是所谓的决策,再通俗来讲就是分类问题了,把一堆芒果,原创 2022-04-14 10:39:23 · 888 阅读 · 0 评论 -
机器学习入门:第二章 机器学习中的数学基础
在机器学习的开头,因为机器学习涉及到很多数学的东西,很多基础的理论都来至于数学的推导,很多人都会在问,需不需要很高的数学基础,在这里我想说一下我对这个问题的看法。在我看来,在机器学习领域中有这三部分人,第一部分是对机器学习有了较多的了解,知道机器学习中所用到的各种算法,并能很清楚的知道这些算法用在哪个领域下,例如文章分类可以使用贝叶斯算法,流量点击可以使用逻辑分类,等等。现在又有着非常多的关于机器学习的各种使用库,能够轻松的驾驭他们,我们不需要自己编写更多的算法和代码,只要能够知道这些算法的使用场景和机器原创 2022-04-14 10:45:59 · 584 阅读 · 0 评论 -
机器学习入门:第一章 机器学习入门基础
机器学习现在有着非常多的应用,从人脸识别到自动驾驶使用的都是机器学习的技术,机器学习在当前是一个十分热门的话题,也是引领下一个技术变革的方向之一。大量的人员开始关注起机器学习,从初学者再到有经验的技术人员,投身到机器学习中。但机器学习并不像普通的编程一样,机器学习的入门有一定的门槛,因为机器学习涉及到非常多的学科,用到的知识特别的广。作为机器学习的开篇,先介绍一些机器学习最为基础的知识和工具,初学者如果没有编程基础的话,这些基础知识对你来说,显得特别的重要。很多机器学习有很多的开源软件,有些软件对li原创 2022-04-13 09:09:52 · 336 阅读 · 0 评论