今日头条科学家、人工智能实验室总监 李磊
文 | 鸽子
李磊博士是今日头条人工智能实验室(Toutiao AI Lab)总监,原百度美国深度学习实验室“少帅科学家”,师从数据挖掘领域权威Christos Faloutsos教授,主要研究领域为深度学习、概率模型与推理、自然语言理解,以及时间序列分析。在国际顶级学术会议发表学术论文30余篇,拥有三项美国发明专利。
近日,这位研究出身,如今又投身工业界的博士接受了CSDN的专访,采访中李磊分享了他对当下人工智能过热的一些看法,并结合自身的求学与从业经历,为从事人工智能的青年学者提出了一些中肯的建议。
7.22-23日,中国人工智能大会(CCAI 2017)将于杭州国际会议中心举行,李磊将作为“人工智能青年论坛”共同主席主持会议,欢迎青年学者到现场参与讨论。
应用实践与AI研究
CSDN:很多声音都在说人工智能存在“泡沫”,你怎样看待这个问题?
李磊:人工智能是否存在泡沫,是看对技术的预期是否符合实际能力,人工智能技术是现实可用还是未来两三年会成熟,还是10年的将来。如果过高预期,承诺无法兑现,大量投入无法在产品上产出,则是泡沫。当前看学术界和工业界不是存在泡沫的问题,而是认识上有偏窄的危险。人工智能不仅仅是机器学习或者计算机视觉,机器学习也不局限于深度学习。
CSDN:那你认为哪些AI技术可以在短期内实现应用落地?
李磊:我觉得人工智能,确切来说应该是机器学习在C端的成功应用需要满足三个条件:首先是使用频率高、其次使用成本低,最重要的是,AI应用辅助的决策本身要比较轻并且低风险,比如买房这样重大的决定用AI就不太合适。
今日头条之所以能通过AI技术颠覆传统的信息分发行业,也是因为符合以上三个特点。当下信息获取需求旺盛,面对海量信息,机器或者算法进行分发的成本要远低于人力。并且推送信息的决策本身也比较简单,即使偶尔推送的内容用户不感兴趣,也不会对生活有非常大的影响。
CSDN:还有哪些场景同样满足以上三个条件,也适合机器学习?今日头条内部还会做哪方面的尝试呢?
李磊:同样满足上述条件的应用我觉得Youtube和Amazon商品推荐也都是。Youtube做UGC视频的个性化推荐,Amazon是个性化商品推荐,都做得不错。
目前头条的其他几款产品包括火山、抖音、问答等等也都是基于机器学习进行个性化分发。
同时,头条也在利用人工智能进行对低质、低俗内容的审核。
CSDN:你目前花精力最多的地方在哪里?正在解决什么难题呢?难在何处?
李磊:我目前精力花的比较多的难题是如何用人工智能更好地进行内容识别。包括识别文章是不是虚假内容、有没有广告信息、文章的质量包括文章内的配图是不是合适等等。
通过人工智能进行内容识别的难点其实就是自然语言理解的一些难点。它很大的一个困难是语言中充满了歧义,也就是语义的复杂性,包含因果关系和逻辑推理的上下文等。
另外图文是否相符这个问题上,目前包括学术界也都还没有明确方法和研究模型,我们也在做一些探索。
CSDN:你近期正在关注哪些AI理论和实践方面的新进展?为什么吸引你?
李磊:最近在看一些非监督学习的方法,比如说UC Berkeley CycleGAN对抗生成神经网络的一系列工作。它主要是利用非平行的样本。传统监督学习需要X(数据)、Y(标签)一一对应来做训练,非监督学习的方法只需要一组X、Y,不需要一一对应,仍然可以训练出其中的模式。
我在头条平时做数据需要比较多的标注,数量包括标注质量都是比较大的难题,如果能用非平行样本来进行训练,会对实际模型有比较大的帮助。
另外,机器翻译方面最新的基于注意力机制(attention mechanism)的网络框架我也有关注。关注最新进展或者说去读一些最新的论文,不一定是说这些算法或者模型做的非常好,而是它们可能会带来一些新方法和新的思考角度,这些东西也许会帮助我们在实际应用中有提高。
个人经历及影响
CSDN:你在上海交大读本科,卡耐基梅隆拿到博士学位,中间在加州大学伯克利分校工作过(做博士后研究员),请谈谈这三所学校在AI领域,都有何优势与劣势?请再列举两所你欣赏的,在AI领域有建树的高校。
李磊:上海交大是国内计算机专业顶尖的几所高校之一。交大开设的ACM班是对计算机学科的教学作改革,在本科的教学上就为学生打下了良好的理论、算法和工程基础。像分析与变分、数理逻辑、计算理论、算法导论都是后面学习AI的基础。同时,它开设的一些大作业课程比如操作系统、编译原理、数据库、计算机网络等等帮助学生把工程需要的各种能力也都培养起来了。
卡耐基梅隆大学应该是最早设立计算机学系的学校。1956年CMU建立了计算中心,1965年7月建立了美国乃至世界的第一个计算机科学系,后来成为计算机学院。它在AI领域下的门类非常全,可以认为是广度上最强的研究机构。计算机学院下面有好多系都在做AI方面非常前沿的研究,包括机器学习系、机器人所、语言技术所、人机交互所等九大科研系所。AI领域从理论到应用的各类问题在CMU都有世界顶级的专家在进行研究。
当然这和CMU早期比较深厚的传统计算机基础有关,计算机系的创始人Alan J. Perlis,Allen Newell,Herbert A.Simon(汉语名:司马贺)都是图灵奖得主。Simon的学术工作对整个AI领域、心理学和经济学的影响是巨大的,比如早期的自动解题机GPS,以及分析行为的有限理性理论。90年代Raj Reddy又凭借设计与构建大规模人工智能系统的先驱性贡献获得图灵奖,李开复、沈向洋都是他的学生。我在CMU读博期间在AI的深度和广度上都受到的很好地训练。
伯克利(UCB)在AI领域的一些方向,尤其是统计机器学习方面非常出色,拥有像Michael Jordan、Martin Wainwright这样顶级的教授,仅Michael Jordan就培养了非常多机器学习方面顶尖的人才。此外,UCB在逻辑和概率方面也非常突出。
UCB在过去五年有一个非常成功的实验室——AMP Lab。这个实验室将系统和人工智能、机器学习、数据挖掘很好地结合起来,所以做出的成果更偏向工业界大规模应用。也正是如此,AMP Lab后来孕育了很多不错的创业公司。最有名的三个是Databricks,Alluxio (前身Tachyon),以及Mesosphere,这些公司做出来的工具和产品被业界广泛使用。
与其他高校相比,我认为UCB更接近产业,可以说在研究产业界所遇到的实际AI相关的问题上做得更好。首先是因为他的地理位置比较有优势,离硅谷不算太远。另外就是UCB的一些老师也非常关注研究和产业界结合。从最早计算机体系结构方向的泰斗David Patterson开始,就尝试过自己创办公司。UCB是有教授直接或间接参与企业研发工作的传统的。
AI领域非常广,美国也有很多学校在不同的方向和领域上做得出色。如果再举两所比较欣赏的名校,我个人更欣赏MIT和西雅图的华盛顿大学。
MIT也是传统计算机领域积累雄厚的一所学校,早期的有Marvin Minsky教授,他奠定了人工神经网络的研究基础,并且MIT也是有很多实验室以及学者在做AI相关的最前沿的研究,像计算机视觉和认知科学结合的一些工作。
华盛顿大学应该说是近十几年来在AI或者说CS领域成长非常快的一所高校,尤其是在机器学习方面,招了很多年轻有为的老师,比如Carlos Guestrin和Noah Smith,因为他们两位是从CMU过去的,所以我比较熟悉。我觉得说一个学校优秀,很多时候在于它的老师和学生。老师是不是做出了世界瞩目的前沿工作,学生们毕业后是不是同样在世界上有影响力的机构工作。
CSDN:你曾在微软、谷歌、IBM TJ Watson这些国际企业工作,它们对你有怎样的影响?回国加入今日头条,与你之前国外的工作氛围有何不同?国内外企业区别最大的地方是什么?
李磊:这三家机构的业务方向不同,所以文化上也有很大差异,当然对我的影响也都不大一样。
我认为谷歌是最贴近产品的一家公司,我在谷歌当时做的主要是应用型的研究工作,在实习期间得到了很好地“工程”锻炼。
谷歌对实习生的要求与正式员工没有差别,包括代码review,包括工程怎样写的可靠,包括测试等等,这些工程经验我是在谷歌学习的。
微软实际上更偏向研究。我在微软的两个机构都实习过,我记得我在西雅图时,导师带我去数据中心,那是我第一次真正接触大型企业的数据中心,它大概像沃尔玛一样大,当时还是非常震撼的。看到我们做的研究工作可以帮助管理这些数据中心,降低能耗,我觉得自己的工作非常有价值。
在IBM做的工作是用机器学习分析医疗数据,IBM更多的是让我看到一个成熟的企业是怎样运作研究机构,并让研究机构对外产生价值。因为IBM研究中心当时不止对企业内部支持,也接外部机构的研究项目,比如美国科研基金的一些项目。
在这些顶级公司中工作,我比较大的收获是可以接触到很多我研究领域以外的研究方向,并且让我了解科学研究在企业内是如何应用落地的,这对我日后的科研和工作对提供了非常大的帮助。
国内外企业在氛围上的其实没有特别大的区别,反而是不同类型企业之间的工作氛围会有比较大的差异。比如互联网公司和传统IT公司的氛围就会略有不同,工作节奏也不一样。相比而言,互联网更灵活,我认为它最大的特点是迭代模式,就是说第一个版本不一定要完美,没有特别大的问题就可以考虑上线,后续再不断改进迭代。但传统IT企业很多软件实际上是服务于客户的,肯定要保证质量,所以很多项目都是力求完美。小型创业公司、中型创业公司和大公司之间的氛围和文化差别会比较大,对每一个个人的要求也有所不同。
但如果同是互联网公司,国内外区别不大,我觉得今日头条和谷歌、Facebook的氛围实际上就非常相似。
AI人才培养
CSDN:在实践中,AI技术应用于多个领域,一个领域中的经验,能否复制到其他领域(例如从事视觉研究的青年学者,转而从事语言智能方面的工作)?需要注意些什么,难点又有哪些?
李磊:完全复制是不可能的。但一个领域的经验可能会给其他领域带来借鉴。比如说传统做视觉考虑一张图空间上的相关性,这种相关性可能在语言层面也会有。理论上在应用角度从一个细分领域转做另一个细分领域是可以的,这些领域本身还是比较相关的。当然这个具体还要因人而异,和他的技能水平和知识面都有关系。
以视觉和语言为例,它们之间的模型可能会有些不一样。视觉上卷积网络可能会用的比较多一点,语言因为是文字的线性结构所以用循环神经网络会多用点。但真正打算从事AI行业的人不应该只知道卷积或者循环神经网络,更应该知道神经网络这大一类,知道概率模型、稀疏化和感知压缩方法、决策树、强化学习等等一些方法,应该了解和学习的更广泛。
CSDN:根据你的观察,企业对AI人才的需求规模有多大?人才梯队会是怎样?是否只有顶级大学毕业才能成为一流AI专家?
李磊:因为我也没有更多的数据和资料,所以没法笼统的说企业对AI人才的需求规模有多大。并且不同的企业对AI人才的需求也不同。有些企业的核心业务可以用AI的方法实现自动化降低人力成本,那可能他对AI人才的需求就会比较旺盛,而有些企业可能对AI人才的需求就不多。
一个好的AI团队中可能需要一些人视野广阔并能在某一领域有比较深入的研究,还需要一些人才能将研究和应用结合,更好的实现工程化。
未必只有顶级大学毕业的人才能成为一流的AI专家,顶级大学既不是充分条件也不是必要条件,还是看个人。比如蒙特利尔大学,当然它是一所很好地学校,但是之前大家也并没有认为其计算机界是非常顶级的大学,但最近几年在深度学习方面,有非常出色的表现,这个领域的很多学生也深受业界和学界追捧,被认为是一流的人才。
CSDN:普通技术人员,或者非科班出生的程序员,如果也想跻身AI大潮,应该从哪方面下手?他们的机会在哪里?
李磊:当然有机会。我之前带过一个实习生,非科班,学工商管理出身,之前从没系统的学习过机器学习,但凭借自己的兴趣和努力,也在从事AI领域的工作,并且做的很不错,在顶级会议发了论文。类似的例子不止一个。
主要取决于三点,兴趣、努力和选择。你要判断好你想用AI做什么,之后要有持续的投入,而兴趣是这些的源动力。
如果没有经验又对AI感兴趣,我建议可以从学习使用一些AI的工具像TensorFlow、MXNet开始,解决一些具体问题。之后可以进一步了解这些工具背后的原理,深挖一些理论,归根到底是统计方法、逻辑和优化方法,然后可以去读一些最新的论文尝试做一些创新。
CCAI 青年论坛使命
CSDN:作为“CCAI青年论坛”主席,根据你的观察,这个青年学者与更资深的学者又哪些不同,差距通常在什么地方?容易陷入哪些误区?
李磊:资深与非资深,我们可以看一下真正第一流的学者有什么标准,比如Micheal Jordan。第一流的学者可以在一些可能刚刚起步的研究方向中带领研究向前并持续产生影响。年轻一代更有energy,但如果想定义新的领域可能比较难,这是有差距的地方。不过现在也有一些例子,像Google的一些年轻科学家,现在也可以带领一些新领域的研究。
这个群体最容易陷入的误区可能是什么流行做什么,我觉得年轻学者要向第一流的学者学习,要有自己的判断,不盲目,并且能在判断后坚持投入研究。
CSDN:作为 CCAI 人工智能青年论坛的主席,对于组织这一论坛,你的出发点是什么?本次论坛将主要围绕哪些内容展开?希望为听众解决哪些问题?
李磊:由于随数据和计算资源的增加以及算法改进,人工智能技术开始被广泛应用,并且在图像识别、语音识别等特定领域都取得了不错的进展。
但人工智能仍然面临很多挑战,像如何发展对训练样本更高效的人工智能技术,如何在信息不完善不确定的非结构化环境下进行高效学习和决策等等。基于此,青年论坛邀请到多位活跃在学术界和工业界的青年学者,请他们在此分享各自最新的研究成果并且对人工智能的未来发展进行深入探讨。
CSDN:你是从哪几个维度来组织嘉宾阵容的?由此构建起的人工智能青年论坛有着哪些独特之处?
李磊:组织嘉宾阵容主要是邀请了一些青年学者,并且包含了国内与国外、工业界与学界的组合,希望能从不同的角度产生碰撞。邀请到的嘉宾包括清华大学、浙江大学、美国华盛顿大学的教授以及阿里巴巴人工智能实验室的科学家等等。