机器学习与人工智能学习资源导引

机器学习与人工智能学习资源导引

TopLanguage(https://groups.google.com/group/pongba/)

 

我经常在 TopLanguage 讨论组上推荐一些书籍,也经常问里面的牛人们搜罗一些有关的资料,人工智能、机器学习、自然语言处理、知识发现(特别地,数据挖掘)、信息检索 这些无疑是 CS 领域最好玩的分支了(也是互相紧密联系的),这里将最近有关机器学习和人工智能相关的一些学习资源归一个类:

首先是两个非常棒的 Wikipedia 条目,我也算是 wikipedia 的重度用户了,学习一门东西的时候常常发现是始于 wikipedia 中间经过若干次 google ,然后止于某一本或几本著作。 

第一个是“人工智能的历史”(History of Artificial Intelligence),我在讨论组上写道:

而今天看到的这篇文章是我在 wikipedia 浏览至今觉得最好的。文章名为《人工智能的历史》,顺着 AI 发展时间线娓娓道来,中间穿插无数牛人故事,且一波三折大气磅礴,可谓"事实比想象更令人惊讶"。人工智能始于哲学思辨,中间经历了一个没有心理学(尤其是认知神经科学的)的帮助的阶段,仅通过牛人对人类思维的外在表现的归纳、内省,以及数学工具进行探索,其间最令人激动的是 Herbert Simon (决策理论之父,诺奖,跨领域牛人)写的一个自动证明机,证明了罗素的数学原理中的二十几个定理,其中有一个定理比原书中的还要优雅,Simon 的程序用的是启发式搜索,因为公理系统中的证明可以简化为从条件到结论的树状搜索(但由于组合爆炸,所以必须使用启发式剪枝)。后来 Simon 又写了 GPS (General Problem Solver),据说能解决一些能良好形式化的问题,如汉诺塔。但说到底 Simon 的研究毕竟只触及了人类思维的一个很小很小的方面 —— Formal Logic,甚至更狭义一点 Deductive Reasoning (即不包含 Inductive Reasoning , Transductive Reasoning (俗称 analogic thinking)。还有诸多比如 Common Sense、Vision、尤其是最为复杂的 Language 、Consciousness 都还谜团未解。还有一个比较有趣的就是有人认为 AI 问题必须要以一个物理的 Body 为支撑,一个能够感受这个世界的物理规则的身体本身就是一个强大的信息来源,基于这个信息来源,人类能够自身与时俱进地总结所谓的 Common-Sense Knowledge (这个就是所谓的 Emboddied  Mind 理论。 )࿰

  • 12
    点赞
  • 224
    收藏
    觉得还不错? 一键收藏
  • 21
    评论
深度学习 快速推进中的机器学习人工智能前沿 人工智能机器学习(1)全文共61页,当前为第1页。 提纲 深度学习(DL)及其应用前沿 DL在CV领域应用的启示 关键算法介绍 Perceptron及学习算法 MLP及其BP算法 Auto-Encoder CNN及其主要变种 关于DL的思考与讨论 2 人工智能机器学习(1)全文共61页,当前为第2页。 机器学习的基本任务 3 Class label (Classification) Vector (Estimation) {dog, cat, horse,, …} Object recognition Super resolution Low-resolution image High-resolution image 人工智能机器学习(1)全文共61页,当前为第3页。 源起——生物神经系统的启示 神经元之间通过突触(synapse)连接 层级感受野,学习使突触连接增强或变弱甚至消失 4 Hubel, D. H. & Wiesel, T. N. (1962) 人工智能机器学习(1)全文共61页,当前为第4页。 第一代神经网络 感知机(Perceptrons)模型[Rosenblatt, 1957] 二类分类,单个神经元的功能(输入输出关系) = f为激活函数,其中: = =1 = =0 5 Frank Rosenblatt(1957), The Perceptron--a perceiving and recognizing automaton. Report 85-460-1, Cornell Aeronautical Laboratory. 人工智能机器学习(1)全文共61页,当前为第5页。 第一代神经网络 单层感知机(Perceptrons)模型的局限性 Minsky & Papert的专著Perceptron(1969) 只能对线性可分的模式进行分类 解决不了异或问题 几乎宣判了这类模型的死刑,导致了随后多年NN研究的低潮 6 人工智能机器学习(1)全文共61页,当前为第6页。 2nd Generation Neural Networks 多层感知机(Multi-layer Perceptron, MLP) 超过1层的hidden layers(正确输出未知的层) BP算法 [Rumelhart et al., 1986] Compute error signal; Then, back-propagate error signal to get derivatives for learning 7 David E. Rumelhart,, Geoffrey E. Hinton, and Ronald J. Williams. (Oct.1986). "Learning representations by back-propagating errors". Nature 323 (6088): 533–536 Ʃ Ʃ Ʃ Ʃ Ʃ Ʃ 1 2 3 1 2 人工智能机器学习(1)全文共61页,当前为第7页。 Error Backpropagation W is the parameter of the network; J is the objective function Feedforward operation Back error propagation David E. Rumelhart,, Geoffrey E. Hinton, and Ronald J. Williams. (Oct.1986). "Learning representations by back-propagating errors". Nature 323 (6088): 533–536 Output layer Hidden layers Input layer Target values 人工智能机器学习(1)全文共61页,当前为第8页。 2nd Generation Neural Networks 理论上多层好 两层权重即可逼近任何连续函数映射 遗憾的是,训练困难 It requires labeled training data Almost all data is unlabeled. The learning time does not scale well It is very slow in networks with multiple hidden layers. It can get stuck in poor local optima These are often quite good, but for deep nets they are far

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 21
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值