笔记
overflowsss
这个作者很懒,什么都没留下…
展开
-
《机器学习》第十一章 特征选择与稀疏学习 总结
子集搜索和评价给定属性集,有的属性可能很关键,而有的属性可能对当前学习任务没有什么作用。我们将属性称为特征(feature),对当前学习任务有用的属性成为相关特征(relevant feature),没什么用的属性成为无关特征(irrelevant feature)。从给定特征集合中选择相关特征子集的过程成为特征选择(feature selection)。然而,欲从初始的特征集合中选取一个包含了所有重要信息的特征子集是不可能的,这样会遇到组合爆炸,可行的方法是先产生一个候选子集,再对其进行评价,基于评价结原创 2020-06-21 17:52:22 · 463 阅读 · 0 评论 -
《机器学习》第十章 降维与度量学习 总结
k近邻学习(k-Nearest Neighbor)一种常用的监督学习方法,给定测试样本,基于某种距离度量找出训练集中与其最靠近的k个训练样本,然后基于这k个“邻居”的信息来进行预测。对于分类任务常采用投票法,回归任务常采用平均法。另外,k近邻学习没有显示的学习过程懒惰学习(lazy learning):在训练阶段仅仅是把样本保存起来,训练时间开销为零,待收到测试样本后再进行处理,k紧邻学习就是懒惰学习的一个特例急切学习(eager learning):在训练阶段就对样本进行学习处理的方法,例如决策树算原创 2020-06-20 15:18:32 · 660 阅读 · 0 评论 -
《机器学习》第九章 聚类 总结
聚类任务原创 2020-06-16 09:36:15 · 621 阅读 · 0 评论 -
《机器学习》第八章 集成学习 总结
个体与集成集成学习(ensemble learning):通过构建并结合多个学习器来完成学习任务,也叫做多分类器系统(multi-classifier system)和基于委员会的学习(committee-based learning)。其一般结构是先产生一组个体学习器(individual learner),再用某种策略将它们结合起来同质(homogeneous)集成:集成中只包含同种类型的个体学习器,这些个体学习器称为基学习器(base learner),相应的学习算法称为基学习算法(base le原创 2020-06-10 16:59:09 · 459 阅读 · 0 评论 -
《机器学习》第七章 贝叶斯分类器 总结
贝叶斯决策论原创 2020-06-09 21:13:06 · 1777 阅读 · 0 评论 -
第二周学习笔记
看了三章的西瓜书,第七章还没来得及写笔记。这些个笔记就是当作复习了,写的很简略,很多细节特别是公式都没写出来,权当自娱自乐帮助自己再过一遍书本的概念。另外,除了西瓜书,David Silver的RL课程我也把动态规划看了。这周重新捡起python,试着写了写BP算法。我寻思好歹以前用python写过结构力学算桁架受力的小程序,编个神经网络的基础算法应该能顺利吧,然而事实打脸了。。。自己闷头写了半天,程序却老出岔子。我的思路是先把一个西瓜的输出值弄出来,再用循环结构生成17个西瓜的输出,最后再套一个循环条件原创 2020-06-01 22:54:52 · 121 阅读 · 0 评论 -
《机器学习》第六章 支持向量机 总结
间隔与支持向量给定训练样本集D(x_i,y_i), y_i为二分类问题,取值0或1 。分类学习最基本思想是在样本空间中找到一个划分超平面将不同类别样本分开,如何寻找这个划分超平面,使得其对样本局部扰动的容忍性最好,是一个重要的问题...原创 2020-06-01 22:29:04 · 542 阅读 · 0 评论 -
误差逆传播(BP)算法
采用《机器学习》西瓜训练集3.0作为训练数据。使用xlrd包从excel输入西瓜训练集先是根据西瓜书54页,将离散属性连续化。然后初始化两组权值和阈值,取零到一之间随机数隐层神经元个数设置为输入层+3个,学习率设置为0.3import numpy as npimport xlrd as xlimport randomimport mathdata=xl.open_workbook('watermelon.xlsx')table = data.sheet_by原创 2020-05-31 19:45:46 · 679 阅读 · 0 评论 -
《机器学习》 第五章神经网络 总结
神经元模型神经网络(neural networks):具有适应性的简单单元组成的广泛并行互联的网络,它的组织能够模拟生物神经系统对真实世界物体所作出的交互反应神经元(neuron)模型:上述定义中的”简单单元“,每个神经元与其他神经元相连,当它”兴奋“时,会向相连的神经元发送化学物质,从而改变这些神经元的电位,若这些神经元电位超过了一个阈值(threshold),那么它也会被激活,图5.1激活函数(activation function):由神经元的输入产生一个值从而与阈值相比较,最理想的为阶跃函数,原创 2020-05-31 17:11:51 · 880 阅读 · 0 评论 -
第一周学习总结
第一周事情略多,机器学习勉强看完了四章,David Silver的强化学习也才看了十课中的两课,算是初步了解了MDP。其中西瓜书第二第三章涉及特别多的数学公式推导,我一个个琢磨了半天但还是不少自己没推出来,所幸发现了一本南瓜书,书上对西瓜书的推导进行了不少补充。西瓜书学到第四章决策树终于涉及了一点实际应用,这一章比前几章看的顺利多了,希望以后也能保持状态继续啃吧。目前计划6月底把西瓜书和David Silver的强化学习看完,期间看看《机器学习实战》找点代码敲敲,7月应该能上github上找点小项目试一原创 2020-05-24 21:57:40 · 162 阅读 · 0 评论