做ML
为啥强制昵称
这个作者很懒,什么都没留下…
展开
-
2 概念学习
概念学习,目标函数是个布尔函数,表征该概念是否成立。有偏学习,假设概念存在于某个全局空间的局部中。文中是在合取式能表示的子集中。general和special,general than是超集,special than是子集。方法二:寻找极大特殊假设,用实例泛化最特殊假设。其实就是给每个属性一个取值为0/1的系数,使用所有用例形成一个合取式。其中的反例使用!(a^b)的格式,展开后是析取原创 2013-09-17 21:34:38 · 497 阅读 · 0 评论 -
java尝试用户协同推荐 无优化版
基于项亮编著的 推荐系统实践一书中的用户协同过滤算法使用矩阵表示用户-商品关系,使用伪矩阵乘计算相关性代码:package gt.small;import java.util.BitSet;public class UserSimilarity { /** * @param args */ public static void main(String[] args原创 2013-05-28 22:40:05 · 685 阅读 · 0 评论 -
关于推荐系统的顿悟
0.基础推荐系统的本质推荐系统高端的没见过,基础的协同过滤看了不少。今天顿悟了,他们的基本数学模型。其实是在算一个概率问题:在购买了当前的产品序列的情况下,购买itemj的概率。即P(itemj | boughts)。具体说,用户协同过滤并不是很直接的概率,而是把这个概率表征为相同兴趣的人喜欢相同事物的可能性大;物品协同过滤就很简单了,通过日志计算概率P(itemi | itemj),然后取和原创 2013-11-05 16:29:07 · 898 阅读 · 0 评论 -
对计算机模拟人脑的一个小想法
在《人工智能的未来》一书中,是这样描述人脑的计算过程的:分为抽象程度不同的六层,层内部有大量的神经突出相互联系,层与高抽象层有极多的联系,高层对下有柱形的联系。信号会逐层向上抽象事物,同时上层的抽象会反馈刺激下层,补全不完整信息。这个很像个多抽象层次、有层间反馈的全联通带权图。输入将是最底层的数个特征。输出应该是最高层的最可能的概念,或者是按权重随机出一个结果。计算方法应该是按照salsa原创 2013-09-19 22:28:49 · 919 阅读 · 0 评论 -
6 贝叶斯
假设空间是输出是服从某分布的。包含的内涵在于命题的概率和为1。其计算过程是概率,故各个输入的影响是连续的叠加的,用例会影响概率;允许通过设置先验概率来影响学习过程;结果是概率向量;可以作为衡量标准。先验概率和后验概率。一致学习器:训练集上的输出有零错误率。原创 2013-09-21 20:51:57 · 647 阅读 · 0 评论 -
遗传算法和一些思考
遗传算法是模拟生物变异进化的算法。抽象一下生物的进化:生物的所有性状由DNA决定,DNA在换代(繁殖)的过程中产生变异和交换,形成新的DNA序列。而生物的适应性由性状决定。过程(from:百度百科):a)初始化:设置进化代数计数器t=0,设置最大进化代数T,随机生成M个个体作为初始群体P(0)。b)个体评价:计算群体P(t)中各个个体的适应度。c)选择运算:将选原创 2014-04-16 21:19:36 · 1014 阅读 · 0 评论 -
时间与推荐 python验证
在我了解到的所有推荐系统的结构里(都是课本,课堂上的水版)没有购买顺序的考虑,即所有的基础推荐系统都是把购买行为使用bag of words的方法进行过滤和推荐的。但是,有一个问题就是,真的购买顺序与下次购买无关吗?拿这个例子来说:买耳机,先买了个200块的AKG,又买了个200块的阿斯翠,这是很可能买手会发现国产性价比很不错,转而第三个仍然是用阿斯翠;如果先阿斯翠后AKG,可能会发现动圈的听原创 2014-03-29 21:38:09 · 1298 阅读 · 0 评论 -
时间在推荐中的应用和问题
上文通过小规模试验,可以顺序在推荐中是有作用的,为什么现行系统中没听说过顺序的存在呢?首先是数据量,上文的算法,数据量稍大就时间巨长,因为,skip-k其实是大量的增加了数据量(每次*k),而Apriori是每次消去一部分,数量不定。最终结果很可能会出现爆棚的情况。其次是数据稀疏,使用skip-k,其实只是把很少的组合可能合并到了一起(k个),有如此相似的行为的人其实放到再大的基数里也不会原创 2014-03-29 22:00:21 · 582 阅读 · 0 评论 -
Mechine Learning on Coursera 总结
机器学习分为监督学习、非监督学习和半监督学习。课程只提到前两个,第三个是监督学习与无监督学习相结合的一种学习方法。它主要考虑如何利用少量的标注样本和大量的未标注样本进行训练和分类的问题。半监督学习对于减少标注代价,提高学习机器性能具有非常重大的实际意义。监督学习非监督学习其他Linear RegressionLogistic RegressionNe原创 2013-12-30 14:24:32 · 1673 阅读 · 0 评论 -
13.增强学习
目标是让自治有感agent学习到达目标的最优动作。通过延迟反馈得到对当前行为的评价。目标函数是当前环境到最佳行为的映射。原创 2013-11-05 13:55:35 · 453 阅读 · 0 评论 -
10.学习规则集合
目标是学习一个由多个if-then描述的规则。一阶规则:有变量的谓词逻辑if-then语句。一阶horn子句。算法十五:序列覆盖算法,通过一些正反例学习一条规则,如果规则的性能足够好,commit规则并移除学习使用过的数据。每单次学习都是学习一个合取规则,使用贪婪即可。柱状搜索,在每次贪心时,对k个最可能成员进行下一步动作。CN2算法。变种:只学习正例,默认否定反例;AQ算法(??原创 2013-10-29 20:44:30 · 1327 阅读 · 0 评论 -
7 计算学习理论
综述机器学习的难度:样本复杂度(多少)、计算复杂度、出错的上界。真实错误率,即去真存伪可能性之和。是不可直接观察的,简接的使用样本错误率来估计。PAC可学习:在多项式时间情况下,错误率、可分类的概率、实例个数是可控的。一致学习器:与训练数据完美拟合。太理论了。。。。。。。。原创 2013-10-23 21:54:16 · 1686 阅读 · 0 评论 -
9.遗传算法
目标是搜索假设空间,寻找最符合适应度函数的假设。基本使用二进制串作为基因(假设的特征串)。变异算子:随机某位取反。交叉算子:对一对假设进行特征运算,获得两个后代。基本过程:计算每个个体的适应度,若达到要求即结束。取一定假设直接进入下一阶段。取一定假设进行交叉。随机一部分结果进行随机变异。获得新群体。是否取当前假设:可以根据当前随机数是否小于当前假设对整体适应度的贡献率fit(i)/su原创 2013-10-28 20:00:22 · 637 阅读 · 0 评论 -
8 基于实例的学习
存储所有实验用例,当有分类请求时,根据查询实例和已有实例的关系进行局部计算分类。不会有全局性的计算函数。归纳偏置是实例分布在欧式空间里是平滑的。算法十四:k近邻,按属性值计算用例直接的距离,将查询实例分类为与之最邻近的k个分类的函数值。可以是最普遍、平均值、加权平均值等。有维度灾难的影响。可以用kd-tree作为快速索引。局部加权回归,用查询实例的邻域作为训练集,使用距离作为权重,训练出一原创 2013-10-23 22:52:55 · 1794 阅读 · 0 评论 -
4 人工神经网络
人工神经网络目标函数可是是实数、离散或向量。使用计算单元模拟神经元,计算单元有多输入和不变的单值输出。适用实例是通过属性值对描述事件的;目标函数复杂;数据有误;学习时间长;求值迅速。结构:感知器、线性单元、sigmoid(s型的)单元。感知器:输入实数值,输出其线性组合是否大于某值(1/-1)。由此规定假设空间,该空间是线性可分的。算法六:感知器训练法则,使用感知器测试训练用例原创 2013-09-20 21:51:53 · 800 阅读 · 0 评论 -
3 决策树
决策树 类似无环的自动状态机。适用离散目标函数;实例是通过属性值对事件的;析取式;可以有错误数据;可以缺值。代表实例属性约束的合取的析取式,是完整空间。和第二章的概念学习区别,这个是多可能发散分类,概念学习是限定范围,所以一个析取一个合取。算法四:ID3,使用分类性能最佳(信息增益最大)的属性作为root,使用除去当前属性的子集递归建树至可以确定目标函数值。有偏性在于属性是原创 2013-09-19 17:14:19 · 644 阅读 · 0 评论 -
1 绪论
机器学习的目标是:通过经验,得到一个能提高计算机处理性能的函数。通过增加假设简化问题,减少计算量。系统有:执行系统(解决问题)、鉴定器(日志预处理)、泛化器(分析)和实验生成器(产生新的问题)。方法一:最小均方LMS。w=w+a*diff*x;原创 2013-09-17 21:08:34 · 454 阅读 · 0 评论 -
5 假设估计 basically empty
假设估计用有限的用例验证假设的精度。基本属于数理统计内容,大部分围绕在置信区间上。因为本书的机器学习问题,均是在idd的情况下,通过统计结果对统计量的估计。原创 2013-09-21 16:21:47 · 813 阅读 · 1 评论