机器学习大家与资源

 原文链接：http://blog.csdn.net/linuxcumt/article/details/8576020

这个人的系列：看一看的好：http://blog.csdn.net/jwh_bupt/article/category/837382

一：Machine Learning 大家(1)：M. I. Jordan (http://www.cs.berkeley.edu/~jordan/)

   在我的眼里，M Jordan无疑是武林中的泰山北斗 。他师出MIT，现在在berkeley坐镇一方
，在附近的两所名校（加stanford）中都可以说无出其右者，stanford的Daphne Koller虽
然也声名遐迩，但是和Jordan比还是有一段距离。

     Jordan身兼stat和cs两个系的教授，从他身上可以看出Stat和ML的融合。

     Jordan最先专注于mixtures of experts，并迅速奠定了自己的地位，我们哈尔滨工业大
学的校友徐雷跟他做博后期间，也在这个方向上沾光不少。Jordan和他的弟子在很多方面作
出了开创性的成果，如spectral clustering， Graphical model和nonparametric Bayesi
an。现在后两者在ML领域是非常炙手可热的两个方向，可以说很大程度上是Jordan的lab一
手推动的。

     更难能可贵的是，Jordan不仅自己武艺高强，并且揽钱有法，教育有方，手下门徒众多
且很多人成了大器，隐然成为江湖大帮派。他的弟子中有10多人任教授，个人认为他现在的
弟子中最出色的是stanford 的Andrew Ng，不过由于资历原因，现在还是assistant profes
sor，不过成为大教授指日可待；另外Tommi Jaakkola和David Blei也非常厉害，其中Tomm
i Jaakkola在mit任教而David Blei在cmu做博后，数次获得NIPS最佳论文奖，把SVM的最大
间隔方法和Markov network的structure结构结合起来，赫赫有名。 还有一个博后是来自于
toronto的Yee Whye Teh，非常不错，有幸跟他打过几次交道，人非常nice。另外还有一个
博后居然在做生物信息方面的东西，看来jordan在这方面也捞了钱。这方面他有一个中国学
生Eric P. Xing(清华大学校友)，现在在cmu做assistant professor。

     总的说来，我觉得Jordan现在做的主要还是graphical model和Bayesian learning ，他
去年写了一本关于graphical model的书，今年由mit press出版，应该是这个领域里程碑式
的著作。3月份曾经有人答应给我一本打印本看看，因为Jordan不让他传播电子版，但后来
好像没放在心上（可见美国人也不是很守信的），人不熟我也不好意思问着要，可以说是一
大遗憾. 另外发现一个有趣的现象就是Jordan对hierarchical情有独钟，相当多的文章都是
关于hierarchical的，所以能hierarchical大家赶快hierarchical，否则就让他给抢了。

     用我朋友话说看jordan牛不牛，看他主页下面的Past students and postdocs就知道了
。

Machine Learning大家（2）：D. Koller (http://ai.stanford.edu/~koller/ )

     D. Koller是1999年美国青年科学家总统奖(PECASE)得主，IJCAI 2001 Computers and
Thought Award(IJCAI计算机与思维奖，这是国际人工智能界35岁以下青年学者的最高奖)得
主，2004 World Technology Award得主。

     最先知道D koller是因为她得了一个大奖，2001年IJCAI计算机与思维奖。Koller因她在
概率推理的理论和实践、机器学习、计算博弈论等领域的重 要贡献，成为继Terry Winogra
d、David Marr、Tom Mitchell、Rodney Brooks等人之后的第18位获奖者。说起这个奖挺有
意思的，IJCAI终身成就奖（IJCAI Award for Research Excellence），是国际人工智能界
的最高荣誉; IJCAI计算机与思维奖是国际人工智能界35岁以下青年学者的最高荣誉。早期
AI研究将推理置于至高无上的地位; 但是1991年牛人Rodney Brooks对推理全面否定，指出
机器只能独立学习而得到了IJCAI计算机与思维奖; 但是koller却因提出了Probabilistic
Relational Models 而证明机器可以推理论知而又得到了这个奖，可见世事无绝对，科学有
轮回。

     D koller的Probabilistic Relational Models在nips和icml等各种牛会上活跃了相当长
的一段时间，并且至少在实验室里证明了它在信息搜索上的价值，这也导致了她的很多学生
进入了google。虽然进入google可能没有在牛校当faculty名声响亮，但要知道google的很
多员工现在可都是百万富翁，在全美大肆买房买车的主。

     Koller的研究主要都集中在probabilistic graphical model，如Bayesian网络，但这玩
意我没有接触过，我只看过几篇他们的markov network的文章，但看了也就看了，一点想法
都没有，这滩水有点深，不是我这种非科班出身的能趟的，并且感觉难以应用到我现在这个
领域中。

     Koller才从教10年，所以学生还没有涌现出太多的牛人，这也是她不能跟Jordan比拟的
地方，并且由于在stanford的关系，很多学生直接去硅谷赚大钱去了，而没有在学术界开江
湖大帮派的影响，但在stanford这可能太难以办到，因为金钱的诱惑实在太大了。不过Kol
ler的一个学生我非常崇拜，叫Ben Taskar，就是我在（1）中所提到的Jordan的博后，是好
几个牛会的最佳论文奖，他把SVM的最大间隔方法和Markov network结合起来，可以说是对
structure data处理的一种标准工具，也把最大间隔方法带入了一个新的热潮，近几年很多
牛会都有这样的workshop。 我最开始上Ben Taskar的在stanford的个人网页时，正赶上他
刚毕业，他的顶上有这么一句话：流言变成了现实，我终于毕业了！ 可见Koller是很变态
的，把自己的学生关得这么郁闷，这恐怕也是大多数女faculty的通病吧，并且估计还非常
的push！

Machine learning 大家（3）: J. D. Lafferty

     大家都知道NIPS和ICML向来都是由大大小小的山头所割据，而John Lafferty无疑是里面
相当高的一座高山，这一点可从他的publication list里的NIPS和ICML数目得到明证。虽然
江湖传说计算机重镇CMU现在在走向衰落，但这无碍Lafferty拥有越来越大的影响力，翻开
AI兵器谱排名第一的journal of machine learning research的很多文章，我们都能发现a
uthor或者editor中赫然有Lafferty的名字。

     Lafferty给人留下的最大的印象似乎是他2001年的conditional random fields，这篇文
章后来被疯狂引用，广泛地应用在语言和图像处理，并随之出现了很多的变体，如Kumar的
discriminative random fields等。虽然大家都知道discriminative learning好，但很久
没有找到好的discriminative方法去处理这些具有丰富的contextual inxxxxation的数据，
直到Lafferty的出现。

     而现在Lafferty做的东西好像很杂，semi－supervised learning， kernel learning，
graphical models甚至manifold learning都有涉及，可能就是像武侠里一样只要学会了九
阳神功，那么其它的武功就可以一窥而知其精髓了。这里面我最喜欢的是semi－supervise
d learning，因为随着要处理的数据越来越多，进行全部label过于困难，而完全unsuperv
ised的方法又让人不太放心，在这种情况下semi－supervised learning就成了最好的。这
没有一个比较清晰的认识，不过这也给了江湖后辈成名的可乘之机。到现在为止，我觉得c
mu的semi－supervised是做得最好的，以前是KAMAL NIGAM做了开创性的工作，而现在Laff
erty和他的弟子作出了很多总结和创新。

     Lafferty的弟子好像不是很多，并且好像都不是很有名。不过今年毕业了一个中国人，
Xiaojin Zhu(上海交通大学校友)，就是做semi－supervised的那个人，现在在wisconsin-
madison做assistant professor。他做了迄今为止最全面的Semi-supervised learning li
terature survey， 大家可以从他的个人主页中找到。这人看着很憨厚，估计是很好的陶瓷
对象。另外我在（1）中所说的Jordan的牛弟子D Blei今年也投奔Lafferty做博后，就足见
Lafferty的牛了。

     Lafferty做NLP是很好的，著名的Link Grammar Parser还有很多别的应用。其中langua
ge model在IR中应用，这方面他的另一个中国学生ChengXiang Zhai(南京大学校友，2004年
美国青年科学家总统奖(PECASE)得主)，现在在uiuc做assistant professor。

Machine learning 大家（4): Peter L. Bartlett

     鄙人浅薄之见，Jordan比起同在berkeley的Peter Bartlett还是要差一个层次。Bartle
tt主要的成就都是在learning theory方面，也就是ML最本质的东西。他的几篇开创性理论
分析的论文，当然还有他的书Neural Network Learning: Theoretical Foundations。

     UC Berkeley的统计系在强手如林的北美高校中一直是top3， 这就足以证明其肯定是群
星荟萃，而其中，Peter L. Bartlett是相当亮的一颗星。关于他的研究，我想可以从他的
一本书里得到答案：Neural Network Learning: Theoretical Foundations。也就是说，他
主要做的是Theoretical Foundations。基础理论虽然没有一些直接可面向应用的算法那样
引人注目，但对科学的发展实际上起着更大的作用。试想vapnik要不是在VC维的理论上辛苦
了这么多年，怎么可能有SVM的问世。不过阳春白雪固是高雅，但大多数人只能听懂下里巴
人，所以Bartlett的文章大多只能在做理论的那个圈子里产生影响，而不能为大多数人所广
泛引用。

     Bartlett在最近两年做了大量的Large margin classifiers方面的工作，如其converge
nce rate和generalization bound等。并且很多是与jordan合作，足见两人的工作有很多相
通之处。不过我发现Bartlett的大多数文章都是自己为第一作者，估计是在教育上存在问题
吧，没带出特别牛的学生出来。

     Bartlett的个人主页的talk里有很多值得一看的slides,如Large Margin Classifiers:
Convexity and Classification；Large Margin Methods for Structured Classificati
on: Exponentiated Gradient Algorithms。大家有兴趣的话可以去下来看看。

Machine learning 大家（5):     Michael Collins

     Michael Collins (http://people.csail.mit.edu/mcollins/
自然语言处理(NLP)江湖的第一高人。出身Upenn，靠一身叫做Collins Parser的武功在江湖
上展露头脚。当然除了资质好之外，其出身也帮了不少忙。早年一个叫做Mitchell P. Mar
cus的师傅传授了他一本葵花宝典-Penn Treebank。从此，Collins整日沉迷于此，终于练成
盖世神功。

     学成之后，Collins告别师傅开始闯荡江湖，投入了一个叫AT&T Labs Research的帮会，
并有幸结识了Robert Schapire、Yoram Singer等众多高手。大家不要小瞧这个叫AT&T Lab
s Research的帮会，如果谁没有听过它的大名总该知道它的同父异母的兄弟Bell Labs吧。

     言归正传，话说Collins在这里度过了3年快乐的时光。其间也奠定了其NLP江湖老大的地
位。并且练就了Discriminative Reranking， Convolution Kernels，Discriminative Tr
aining Methods for Hidden Markov Models等多种绝技。然而，世事难料，怎奈由于帮会
经营不善，这帮大牛又不会为帮会拼杀，终于被一脚踢开，大家如鸟兽散了。Schapire去了
Princeton， Singer 也回老家以色列了。Collins来到了MIT，成为了武林第一大帮的六袋
长老，并教授一门叫做Machine Learning Approaches for NLP (http://www.ai.mit.edu/
courses/6.891-nlp/) 的功夫。虽然这一地位与其功力极不相符，但是这并没有打消Colli
ns的积极性，通过其刻苦打拼，终于得到了一个叫Sloan Research Fellow的头衔，并于今
年7月，光荣的升任7袋Associate Professor。

     在其下山短短7年时间内，Collins共获得了4次世界级武道大会冠军(EMNLP2002, 2004,
UAI2004, 2005)。相信年轻的他，总有一天会一统丐帮，甚至整个江湖。

     看过Collins和别人合作的一篇文章，用conditional random fields 做object recogn

tion。还这么年轻，admire to death！

=======================国内====================

之前自己一直想总结一下国内搞机器学习和数据挖掘的大牛，但是自己太懒了。所以没搞...

最近看到了下面转载的这篇博文，感觉总结的比较全面了。

    个人认为，但从整体研究实力来说，机器学习和数据挖掘方向国内最强的地方还是在MSRA，

那边的相关研究小组太多，很多方向都能和数据挖掘扯上边。这里我再补充几个相关研究方向

的年轻老师和学者吧。

蔡登：http://www.cad.zju.edu.cn/home/dengcai/,Han Jiawei老师的学生，博士毕业后回浙大

任教，也算是国内年轻一代的牛人了。

万小军：https://sites.google.com/site/wanxiaojun1979/，得翻墙才能看到主页。主要

研究方向是文本挖掘和语义计算。自然语言方向好会议发了很多文章。

张磊：http://research.microsoft.com/en-us/um/people/leizhang/

-----------------------------------------------------------------------------------------------

原文地址：http://blog.csdn.net/playoffs/article/details/7588597

李航：http://research.microsoft.com/en- us/people/hangli/，是MSRA Web Search and 

Mining Group高级研究员和主管，主要研究领域是信息检索，自然语言处理和统计学习。

近年来，主要与人合作使用机器学习方法对信息检索中排序，相关性等问题的 研究。曾在

人大听过一场他的讲座，对实际应用的问题抽象，转化和解决能力值得学习。

周志华：http://cs.nju.edu.cn/zhouzh/，是南京大学的杰青，机器学习和数据挖掘方面

国内的领军人物，其好几个研究生都 进入了美国一流高校如uiuc，cmu等学习和深造。周教授

在半监督学习，multi-label学习和集成学习方面在国际上有一定的影响力。另外，他也 

是ACML的创始人。人也很nice，曾经发邮件咨询过一个naive的问题，周老师还在百忙之中

回复了我，并对我如何发邮件给了些许建议。

杨强：http://www.cse.ust.hk/~qyang/，香港科技大学教 授，也是KDD 2012的会议主席，

可见功力非同一般。杨教授是迁移学习的国际领军人物，曾经的中国第一位acm全球冠军上

交的戴文渊硕士期间就是跟他合作发表了一系列 高水平的文章。还有，杨教授曾有一个关

于机器学习和数据挖掘有意思的比喻：比如你训练一只狗，若干年后，如果它忽然有一天能

帮你擦鞋洗衣服，那么这就是数 据挖掘；要是忽然有一天，你发现狗发装成一个老太婆

消失了，那么这就是机器学习。

李建中：http://db.hit.edu.cn/jianzhongli/，哈工大和黑大共有教授，是分布式数据库

的领军人物。近年来，其团队 在不确定性数据，sensor network方面也发表了一系列有名

文章。李教授为人师表，教书育人都做得了最好，在圈内是让人称道的好老师和好学者。

唐杰：http://keg.cs.tsinghua.edu.cn/jietang/，清华大学副教授，是图挖掘方面的专家。

他主持设计和实现的Arnetminer是国内领先的图挖掘系统，该系统也是多个会议的支持商。

张钹：http://www.csai.tsinghua.edu.cn/personal_homepage/zhang_bo/index.html 清华

大学教授，中科院院士，。现任清华大学信息技术研究院指导委员会主任，微软亚洲研究院

技术顾问等。主要从事人工智能、神经网络、遗传算法、智能机器 人、模式识别以及智能控

制等领域的研究工作。在过去二十多年中，张钹教授系统地提出了问题求解的商空间理
论。近年来，他建立了神经与认知计算研究中心以及多媒体信息处理研究组。该研究组已在

图像和视频的分析与检索方面取得一些重要研究成果。

刘铁岩：http://research.microsoft.com/en-us/people/tyliu/ MSRA研究主管，

是learning to rank的国际知名学者。近年逐步转向管理，研究兴趣则开始关注计算广告学方面。

王海峰：http://ir.hit.edu.cn/~wanghaifeng/ 信息检索，自然语言处理，机器翻译方面

的专家，ACL的副主席，百度高级科学家。近年，在百度主持研发了百度翻译产品。

何晓飞：http://people.cs.uchicago.edu/~xiaofei/ 浙江大学教授，多媒体处理，

图像检索以及流型学习的国际领先学者。

朱军：http://www.ml-thu.net/~jun/ 清华大学副教授，机器学习绝对重量级新星。

主要研究领域是latent variable models, large-margin learning, Bayesian nonparametrics,

 and sparse learning in high dimensions. 他也是今年龙星计划的机器学习领域的主讲人之一。

----------------------------------------------------------------------------------------------

吴军：http://www.cs.jhu.edu/~junwu/ 腾讯副总裁，前google研究员。

著名《数学之美》和《浪潮之巅》系列的作者。

张栋：http://weibo.com/machinelearning 前百度科学家和google研究员，机器学习工业界的代表人物之一。

戴文渊：http://apex.sjtu.edu.cn/apex_wiki/Wenyuan_Dai 现百度凤巢ctr预估组leader。

前ACM大赛冠军，硕士期间一系列transfer learning方面的高水平论文让人瞠目结舌。

======================资源====================

以前转过一个计算机视觉领域内的牛人简介，现在转一个更宽范围内的牛人简介：

 

http://people.cs.uchicago.edu/~niyogi/

http://www.cs.uchicago.edu/people/

http://pages.cs.wisc.edu/~jerryzhu/

http://www.kyb.tuebingen.mpg.de/~chapelle

http://people.cs.uchicago.edu/~xiaofei/

http://www.cs.uiuc.edu/homes/dengcai2/

http://www.kyb.mpg.de/~bs

http://research.microsoft.com/~denzho/

http://www-users.cs.umn.edu/~kumar/dmbook/index.php#item5           

(resources for the book of the introduction of data mining by Pang-ning Tan et.al. )（国内已经有相应的中文版）

http://www.cs.toronto.edu/~roweis/lle/publications.html    (lle算法源代码及其相关论文)

http://dataclustering.cse.msu.edu/index.html#software（data clustering）

http://www.cs.toronto.edu/~roweis/     (里面有好多资源)

http://www.cse.msu.edu/~lawhiu/  (manifold learning)

http://www.math.umn.edu/~wittman/mani/ (manifold learning demo in matlab)

http://www.iipl.fudan.edu.cn/~zhangjp/literatures/MLF/INDEX.HTM  (manifold learning in matlab)

http://videolectures.net/mlss05us_belkin_sslmm/   (semi supervised learning with manifold method by Belkin)

http://isomap.stanford.edu/    (isomap主页)

http://web.mit.edu/cocosci/josh.html  MIT    TENENBAUM J B主页

http://web.engr.oregonstate.edu/~tgd/    （国际著名的人工智能专家 Thomas G. Dietterich）

http://www.cs.berkeley.edu/~jordan/ （MIchael I.Jordan）

http://www.cs.cmu.edu/~awm/  (Andrew W. Moore's  homepage)

http://learning.cs.toronto.edu/ （加拿大多伦多大学机器学习小组）

http://www.cs.cmu.edu/~tom/ （Tom Mitchell，里面有与教材匹配的slide。）

 

Kernel Methods

Alexander J. Smola Maximum Mean Discrepancy (MMD), Hilbert-Schmidt Independence Criterion (HSIC) Bernhard Schölkopf Kernel PCA James T Kwok Pre-Image, Kernel Learning, Core Vector Machine(CVM) Jieping Ye Kernel Learning, Linear Discriminate Analysis, Dimension Deduction

Multi-Task Learning

Andreas Argyriou Multi-Task Feature Learning Charles A. Micchelli Multi-Task Feature Learning, Multi-Task Kernel Learning Massimiliano Pontil Multi-Task Feature Learning Yiming Ying Multi-Task Feature Learning, Multi-Task Kernel Learning

Semi-supervised Learning

Partha Niyogi Manifold Regularization, Laplacian Eigenmaps Mikhail Belkin Manifold Regularization, Laplacian Eigenmaps Vikas Sindhwani Manifold Regularization Xiaojin Zhu Graph-based Semi-supervised Learning

Multiple Instance Learning

Sally A Goldman EM-DD, DD-SVM, Multiple Instance Semi Supervised Learning(MISS)

Dimensionality Reduction

Neil Lawrence Gaussian Process Latent Variable Models (GPLVM) Lawrence K. Saul Maximum Variance Unfolding(MVU), Semidefinite Embedding(SDE)

Machine Learning

Michael I. Jordan Graphical Models John Lafferty Diffusion Kernels, Graphical Models Daphne Koller Logic, Probability Zhang Tong Theoretical Analysis of Statistical Algorithms, Multi-task Learning, Graph-based Semi-supervised Learning Zoubin Ghahramani Bayesian approaches to machine learning Machine Learning @ Toronto

Statitiscal Machine Learning & Optimization

Jerome H Friedman GLasso, Statistical view of AdaBoost, Greedy Function Approximation Thevor Hastie Lasso Stephen Boyd Convex Optimization C.J Lin Libsvm

 

 http://www.dice.ucl.ac.be/mlg/

半监督流形学习（流形正则化）

http://manifold.cs.uchicago.edu/

模式识别和神经网络工具箱

http://www.ncrg.aston.ac.uk/netlab/index.php

机器学习开源代码

http://mloss.org/software/tags/large-scale-learning/

统计学开源代码

http://www.wessa.net/

matlab各种工具箱链接

http://www.tech.plym.ac.uk/spmc/links/matlab/matlab_toolbox.html

统计学学习经典在线教材

http://www.statistics4u.info/

机器学习开源源代码

http://mloss.org/software/language/matlab/

======================会议====================

我知道的几个人工智能会议(一流)
下面同分的按字母序排列: 

IJCAI (1+): AI最好的综合性会议, 1969年开始, 每两年开一次, 奇数年开. 因为AI 实在太大, 所以虽然每届基本上能录100多篇（现在已经到200多篇了），但分到每个领域就没几篇了，象machine learning、computer vision这么大的领域每次大概也就10篇左右, 所以难度很大. 不过从录用率上来看倒不太低,基本上20%左右, 因为内 行人都会掂掂分量, 没希望的就别浪费reviewer的时间了. 最近中国大陆投往国际会议的文章象潮水一样, 而且因为国内很少有能自己把关的研究组, 所以很多会议都在complain说中国的低质量文章严重妨碍了PC的工作效率. 在这种情况下, 估计这几年国际会议的录用率都会降下去. 另外, 以前的IJCAI是没有poster的, 03年开始, 为了减少被误杀的好人, 增加了2页纸的poster.值得一提的是, IJCAI是由貌似一个公司"IJCAI Inc."主办的(当然实际上并不是公司, 实际上是个基金会), 每次会议上要 发几个奖, 其中最重要的两个是IJCAI Research Excellence Award 和 Computer& Thoughts Award, 前者是终身成就奖, 每次一个人, 基本上是AI的最高奖(有趣的是, 以AI为主业拿图灵奖的6位中, 有2位还没得到这个奖), 后者是奖给35岁以下的青年科学家, 每次一个人. 这两个奖的获奖演说是每次IJCAI的一个重头戏.另外，IJCAI 的 PC member 相当于其他会议的area chair, 权力很大, 因为是由PC member 去找 reviewer 来审, 而不象一般会议的PC member其实就是 reviewer. 为了制约这种权力, IJCAI的审稿程序是每篇文章分配2位PC member, primary PC member去找3位reviewer, second PC member 找一位. 

AAAI (1): 美国人工智能学会AAAI的年会. 是一个很好的会议, 但其档次不稳定, 可以给到1+, 也可以给到1-或者2+, 总的来说我给它"1". 这是因为它的开法完全受IJCAI制约: 每年开, 但如果这一年的IJCAI在北美举行, 那么就停开. 所以, 偶数年里因为没有IJCAI, 它就是最好的AI综合性会议, 但因为号召力毕竟比IJCAI要小一些,特别是欧洲人捧AAAI场的比IJCAI少得多(其实亚洲人也是), 所以比IJCAI还是要稍弱一点, 基本上在1和1+之间; 在奇数年, 如果IJCAI不在北美, AAAI自然就变成了比IJCAI低一级的会议(1-或2+), 例如2005年既有IJCAI又有AAAI, 两个会议就进行了协调, 使得IJCAI的录用通知时间比AAAI的deadline早那么几天, 这样IJCAI落选的文章可以投往AAAI.在审稿时IJCAI 的 PC chair也在一直催, 说大家一定要快, 因为AAAI那边一直在担心IJCAI的录用通知出晚了AAAI就麻烦了. 

COLT (1): 这是计算学习理论最好的会议, ACM主办, 每年举行. 计算学习理论基本上可以看成理论计算机科学和机器学习的交叉, 所以这个会被一些人看成是理论计算机科学的会而不是AI的会. 我一个朋友用一句话对它进行了精彩的刻画: "一小群数学家在开会". 因为COLT的领域比较小, 所以每年会议基本上都是那些人. 这里顺便提一件有趣的事, 因为最近国内搞的会议太多太滥, 而且很多会议都是LNCS/LNAI出论文集, LNCS/LNAI基本上已经被搞臭了, 但很不幸的是, LNCS/LNAI中有一些很好的会议, 例如COLT. 

CVPR (1): 计算机视觉和模式识别方面最好的会议之一, IEEE主办, 每年举行. 虽然题目上有计算机视觉, 但个人认为它的模式识别味道更重一些. 事实上它应该是模式识别最好的会议, 而在计算机视觉方面, 还有ICCV与之相当. IEEE一直有个倾向, 要把会办成"盛会", 历史上已经有些会被它从quality很好的会办成"盛会"了. CVPR搞不好也要走这条路. 这几年录的文章已经不少了. 最近负责CVPR会议的TC的chair发信说, 对这个community来说, 让好人被误杀比被坏人漏网更糟糕, 所以我们是不是要减少好人被误杀的机会啊? 所以我估计明年或者后年的CVPR就要扩招了. 

ICCV (1): 介绍CVPR的时候说过了, 计算机视觉方面最好的会之一. IEEE主办.  ICCV逢奇数年开，开会地点以往是北美，欧洲和亚洲轮流，本来2003年定在北京，后来因Sars和原定05年的法国换了一下。ICCV'07年将首次在南美(巴西)举行.
CVPR原则上每年在北美开, 如果那年正好ICCV在北美,则该年没有CVPR. 

ICML (1): 机器学习方面最好的会议之一. 现在是IMLS主办, 每年举行. 参见关于NIPS的介绍. 

NIPS (1): 神经计算方面最好的会议之一, NIPS主办, 每年举行. 值得注意的是, 这个会每年的举办地都是一样的, 以前是美国丹佛, 现在是加拿大温哥华; 而且它是年底开会, 会开完后第2年才出论文集, 也就是说, NIPS'05的论文集是06年出. 会议的名字是"Advances in Neural Inxxxxation Processing Systems", 所以, 与ICMLECML这样的"标准的"机器学习会议不同, NIPS里有相当一部分神经科学的内容, 和机器学习有一定的距离. 但由于会议的主体内容是机器学习, 或者说与机器学习关系紧密, 所以不少人把NIPS看成是机器学习方面最好的会议之一. 这个会议基本上控制在MichaelJordan的徒子徒孙手中, 所以对Jordan系的人来说, 发NIPS并不是难事, 一些未必很强的工作也能发上去, 但对这个圈子之外的人来说, 想发一篇实在很难, 因为留给"外人"的口子很小. 所以对Jordan系以外的人来说, 发NIPS的难度比ICML更大. 换句话说,ICML比较开放, 小圈子的影响不象NIPS那么大, 所以北美和欧洲人都认, 而NIPS则有些人(特别是一些欧洲人, 包括一些大家)坚决不投稿. 这对会议本身当然并不是好事,但因为Jordan系很强大, 所以它似乎也不太care. 最近IMLS(国际机器学习学会)改选理事, 有资格提名的人包括近三年在ICMLECMLCOLT发过文章的人, NIPS则被排除在外了. 无论如何, 这是一个非常好的会. 

ACL (1-): 计算语言学/自然语言处理方面最好的会议, ACL (Association of 

Computational Linguistics) 主办, 每年开. 

KR (1-): 知识表示和推理方面最好的会议之一, 实际上也是传统AI(即基于逻辑的AI)最好的会议之一. KR Inc.主办, 现在是偶数年开. 

SIGIR (1-): 信息检索方面最好的会议, ACM主办, 每年开. 这个会现在小圈子气越来越重. 信息检索应该不算AI, 不过因为这里面用到机器学习越来越多, 最近几年甚至有点机器学习应用会议的味道了, 所以把它也列进来. 

SIGKDD (1-): 数据挖掘方面最好的会议, ACM主办, 每年开. 这个会议历史比较短,毕竟, 与其他领域相比,数据挖掘还只是个小弟弟甚至小侄儿. 在几年前还很难把它列在tier-1里面, 一方面是名声远不及其他的top conference响亮, 另一方面是相对容易被录用. 但现在它被列在tier-1应该是毫无疑问的事情了. 这几年来KDD的质量都很高. SIGKDD从2000年来full paper的录取率都在10%-12%之间，远远低于IJCAI和ICML. 

经常听人说，KDD要比IJICAI和ICML都要困难。IJICAI才6页，而KDD要10页。没有扎实系统的工作，很难不留下漏洞。有不少IJICAI的常客也每年都投KDD，可难得几个能经常中。 

UAI (1-): 名字叫"人工智能中的不确定性", 涉及表示推理学习等很多方面, AUAI(Association of UAI) 主办, 每年开. 

我知道的几个人工智能会议(二三流)
(原创为lilybbs.us上的daniel)

纯属个人看法, 仅供参考. tier-1的列得较全, tier-2的不太全, tier-3的很不全. 
同分的按字母序排列. 不很严谨地说, tier-1是可以令人羡慕的, tier-2是可以令人尊敬的,由于AI的相关会议非常多, 所以能列进tier-3的也是不错的. 

tier 2: tier-2的会议列得不全, 我熟悉的领域比较全一些. 

AAMAS (2+): agent方面最好的会议. 但是现在agent已经是一个一般性的概念,
几乎所有AI有关的会议上都有这方面的内容, 所以AAMAS下降的趋势非常明显. 

ECCV (2+): 计算机视觉方面仅次于ICCV的会议, 因为这个领域发展很快, 有可能升级到1-去. 

ECML (2+): 机器学习方面仅次于ICML的会议, 欧洲人极力捧场, 一些人认为它已经是1-了. 我保守一点, 仍然把它放在2+. 因为机器学习发展很快, 这个会议的reputation上升非常明显. 

ICDM (2+): 数据挖掘方面仅次于SIGKDD的会议, 目前和SDM相当. 这个会只有5年历史, 上升速度之快非常惊人. 几年前ICDM还比不上PAKDD, 现在已经拉开很大距离了. 

SDM (2+): 数据挖掘方面仅次于SIGKDD的会议, 目前和ICDM相当. SIAM的底子很厚,但在CS里面的影响比ACM和IEEE还是要小, SDM眼看着要被ICDM超过了, 但至少目前还是相当的. 

ICAPS (2): 人工智能规划方面最好的会议, 是由以前的国际和欧洲规划会议合并来的. 因为这个领域逐渐变冷清, 影响比以前已经小了. 

ICCBR (2): Case-Based Reasoning方面最好的会议. 因为领域不太大, 而且一直半冷不热, 所以总是停留在2上. 

COLLING (2): 计算语言学/自然语言处理方面仅次于ACL的会, 但与ACL的差距比ICCV-ECCV和ICML-ECML大得多. 

ECAI (2): 欧洲的人工智能综合型会议, 历史很久, 但因为有IJCAI/AAAI压着,
很难往上升. 

ALT (2-): 有点象COLT的tier-2版, 但因为搞计算学习理论的人没多少, 做得好的数来数去就那么些group, 基本上到COLT去了, 所以ALT里面有不少并非计算学习理论的内容. 

EMNLP (2-): 计算语言学/自然语言处理方面一个不错的会. 有些人认为与COLLING相当, 但我觉得它还是要弱一点. 

ILP (2-): 归纳逻辑程序设计方面最好的会议. 但因为很多其他会议里都有ILP方面的内容, 所以它只能保住2-的位置了. 

PKDD (2-): 欧洲的数据挖掘会议, 目前在数据挖掘会议里面排第4. 欧洲人很想把它抬起来, 所以这些年一直和ECML一起捆绑着开, 希望能借ECML把它带起来.但因为ICDM和SDM, 这已经不太可能了. 所以今年的PKDD和ECML虽然还是一起开, 但已经独立审稿了(以前是可以同时投两个会, 作者可以声明优先被哪个会考虑, 如果ECML中不了还可以被PKDD接受). 

tier 3: 列得很不全. 另外, 因为AI的相关会议非常多, 所以能列在tier-3也算不错了, 基本上能进到所有AI会议中的前30%吧 

ACCV (3+): 亚洲的计算机视觉会议, 在亚太级别的会议里算很好的了. 

DS (3+): 日本人发起的一个接近数据挖掘的会议. 

ECIR (3+): 欧洲的信息检索会议, 前几年还只是英国的信息检索会议. 

ICTAI (3+): IEEE最主要的人工智能会议, 偏应用, 是被IEEE办烂的一个典型. 以前的quality还是不错的, 但是办得越久声誉反倒越差了, 糟糕的是似乎还在继续下滑, 现在其实3+已经不太呆得住了. 

PAKDD (3+): 亚太数据挖掘会议, 目前在数据挖掘会议里排第5. 

ICANN (3+): 欧洲的神经网络会议, 从quality来说是神经网络会议中最好的, 但这个领域的人不重视会议,在该领域它的重要性不如IJCNN. 

AJCAI (3): 澳大利亚的综合型人工智能会议, 在国家/地区级AI会议中算不错的了. 

CAI (3): 加拿大的综合型人工智能会议, 在国家/地区级AI会议中算不错的了. 

CEC (3): 进化计算方面最重要的会议之一, 盛会型. IJCNN/CEC/FUZZ-IEEE这三个会议是计算智能或者说软计算方面最重要的会议, 它们经常一起开, 这时就叫WCCI  (World Congress on Computational Intelligence). 但这个领域和CS其他分支不太一样, 倒是和其他学科相似, 只重视journal, 不重视会议, 所以录用率经常在85%左右, 所录文章既有quality非常高的论文, 也有入门新手的习作. 

FUZZ-IEEE (3): 模糊方面最重要的会议, 盛会型, 参见CEC的介绍. 

GECCO (3): 进化计算方面最重要的会议之一, 与CEC相当，盛会型. 

ICASSP (3): 语音方面最重要的会议之一, 这个领域的人也不很care会议. 

ICIP (3): 图像处理方面最著名的会议之一, 盛会型. 

ICPR (3): 模式识别方面最著名的会议之一, 盛会型. 

IEA/AIE (3): 人工智能应用会议. 一般的会议提名优秀论文的通常只有几篇文章, 被提名就已经是很高的荣誉了, 这个会很有趣, 每次都搞1、20篇的优秀论文提名, 专门搞几个session做被提名论文报告, 倒是很热闹. 

IJCNN (3): 神经网络方面最重要的会议, 盛会型, 参见CEC的介绍. 

IJNLP (3): 计算语言学/自然语言处理方面比较著名的一个会议. 

PRICAI (3): 亚太综合型人工智能会议, 虽然历史不算短了, 但因为比它好或者相当的综合型会议太多, 所以很难上升

==========机器学习推荐论文和书籍=================

基本模型:  
HMM(Hidden Markov Models): 
A Tutorial on Hidden Markov Models and Selected Applications in 
Speech Recognition.pdf 
ME(Maximum Entropy): 
ME_to_NLP.pdf 
MEMM(Maximum Entropy Markov Models): 
memm.pdf 
CRF(Conditional Random Fields): 
An Introduction to Conditional Random Fields for Relational Learning.pdf 
Conditional Random Fields: Probabilistic Models for Segmenting and 
Labeling Sequence Data.pdf 
SVM(support vector machine): 
*张学工<<统计学习理论>> 
LSA(or LSI)(Latent Semantic Analysis): 
Latent semantic analysis.pdf 
pLSA(or pLSI)(Probablistic Latent Semantic Analysis): 
Probabilistic Latent Semantic Analysis.pdf 
LDA(Latent Dirichlet Allocation): 
Latent Dirichlet Allocaton.pdf(用variational theory + EM算法解模型) 
Parameter estimation for text analysis.pdf(using Gibbs Sampling 解模) 
Neural Networksi(including Hopfield Model& self-organizing maps & 
Stochastic networks & Boltzmann Machine etc.): 
Neural Networks - A Systematic Introduction 
Diffusion Networks: 
Diffusion Networks, Products of Experts, and Factor Analysis.pdf 
Markov random fields: 
Generalized Linear Model(including logistic regression etc.): 
An introduction to Generalized Linear Models 2nd 
Chinese Restraunt Model (Dirichlet Processes): 
Dirichlet Processes, Chinese Restaurant Processes and all that.pdf 
Estimating a Dirichlet Distribution.pdf 
================================================================= 
Some important algorithms:  
EM(Expectation Maximization): 
Expectation Maximization and Posterior Constraints.pdf 
Maximum Likelihood from Incomplete Data via the EM Algorithm.pdf 
MCMC(Markov Chain Monte Carlo) & Gibbs Sampling: 
Markov Chain Monte Carlo and Gibbs Sampling.pdf 
Explaining the Gibbs Sampler.pdf 
An introduction to MCMC for Machine Learning.pdf 
PageRank: 
矩阵分解算法: 
SVD, QR分解, Shur分解, LU分解, 谱分解 
Boosting( including Adaboost): 
*adaboost_talk.pdf 
Spectral Clustering: 
Tutorial on spectral clustering.pdf 
Energy-Based Learning: 
A tutorial on Energy-based learning.pdf 
Belief Propagation: 
Understanding Belief Propagation and its Generalizations.pdf 
bp.pdf 
Construction free energy approximation and generalized belief 
propagation algorithms.pdf 
Loopy Belief Propagation for Approximate Inference An Empirical Study.pdf 
Loopy Belief Propagation.pdf 
AP (affinity Propagation): 
L-BFGS: 
<<最优化理论与算法 2nd>> chapter 10 
On the limited memory BFGS method for large scale optimization.pdf 
IIS: 
IIS.pdf 
================================================================= 
理论部分： 
概率图(probabilistic networks): 
An introduction to Variational Methods for Graphical Models.pdf 
Probabilistic Networks 
Factor Graphs and the Sum-Product Algorithm.pdf 
Constructing Free Energy Approximations and Generalized Belief 
Propagation Algorithms.pdf 
*Graphical Models, exponential families, and variational inference.pdf 
Variational Theory(变分理论，我们只用概率图上的变分): 
Tutorial on varational approximation methods.pdf 
A variational Bayesian framework for graphical models.pdf 
variational tutorial.pdf 
Information Theory: 
Elements of Information Theory 2nd.pdf 
测度论： 
测度论(Halmos).pdf 
测度论讲义(严加安).pdf 
概率论: 
...... 
<<概率与测度论>> 
随机过程: 
应用随机过程 林元烈 2002.pdf 
<<随机数学引论>> 
Matrix Theory: 
矩阵分析与应用.pdf 
模式识别： 
<<模式识别 2nd>> 边肇祺 
*Pattern Recognition and Machine Learning.pdf 
最优化理论: 
<> 
<<最优化理论与算法>> 
泛函分析： 
<<泛函分析导论及应用>> 
Kernel理论： 
<<模式分析的核方法>> 
统计学: 
...... 
<<统计手册>> 
========================================================== 
综合: 
semi-supervised learning: 
<> MIT Press 
semi-supervised learning based on Graph.pdf 
Co-training: 
Self-training: