整理深度学习资料

1.15年值得深度学习的5家初创公司

作为人工智能的一种类型，2014年对深度学习来说意义重大。

谷歌，Twitter，还有雅虎都收购了深度学习领域的初创公司，它们继承了被称为人工神经网络的培训系统，从音频、图像、以及其他输入项中收集信息，然后给系统呈现新的信息并收到有关它的推论得到的信息作为响应。深度学习通过组合低层特征形成更加抽象的高层表示属性类别或特征，以发现数据的分布式特征表示。

最近几个月，大企业和学术机构里的研究人员已经在深度学习领域里取得了一些成绩。Facebook和百度也都挖来了该领域里一些赫赫有名的人才，有些人才在Netflix，Spotify，以及其他公司也从事深度学习的相关工作。与此同时，一些深度学习初创公司也突然出现，让不少投资人开始关注这一领域。

下面，笔者将推荐明年值得关注的几家深度学习初创公司。

Enlitic

这是一家在医疗健康领域里出露端倪的初创公司，他们的系统主要针对医疗图像扩充数据库，Enlitic软件可以插入到医疗机构已经在使用的系统当中，从而分享或查看医疗图像，让医生不必自己费劲查找相关图像数据。该初创公司获得了200万美元种子轮融资。

Ersatz Labs

Ersatz 提供了多用途的网页服务和内部部署软件，这家深度学习公司主要收集文字，文本，以及图像数据，然后进行预测分析。这家初创公司也为企业客户提供硬件，并帮助他们运营数据中心。Ersatz是在今年六月成立的。

MetaMind

MetaMind 联合创始人兼首席科技官Richard Socher是在斯坦福大学读博士的时候创建了这家公司，他研究深度学习领域，并利用自然语言处理开发了一个名为“递归神经网络”的方法。这家初创公司已经从Salesforce.com首席执行官Marc Benioff和其他投资人那里获得了种子轮投资。

Nervana Systems

Nervana 公司联合创始人和首席执行官是Naveen Rao，他对人工神经网络领域非常感兴趣，之前Naveen在芯片制造商高通公司工作，今年他离职后开始专门研究深度学习技术，其研发的硬件旨在提供更加快捷、易用的数据分析手段，来辅助不同类型的客户进行数据处理工作。Nervana 公司在今年八月募集了330万美元融资。Skymind

Skymind 是由Adam Gibson创建的，他还开发了开源项目DeepLearning4j。Skymind公司主要是为那些使用DeepLearning4j的公司提供支持服务，同时将深度学习审核进Hadoop系统，用户存储、处理、以及分析各种不同类型的数据。Skymind公司是在今年六月成立的。

深度学习人才的数量并不多，说不定明年这几个初创公司发展起来之后，会到处挖人。

2.天云利用深度学习算法预测美国城市犯罪记录

人民网6月16日电 6月15日，由天云大数据公司举办的专题论坛“降维攻击：大数据应用于公共安全” 在国防信息化装备展览会举行，国防信息研究专家，天云大数据CEO雷涛等业界专家出席会议，并就人工智能议题展开了热烈讨论。

人工智能程序“AlphaGo”打败世界围棋冠军

今年3 月，人工智能程序“AlphaGo”在围棋比赛中击败了人类世界冠军李世石，在科学界引发轩然大波，“AlphaGo”从此扬名世界。人工智能背后的黑科技——深度学习算法再次进入社会各界关注视阈，一时成为舆论热议焦点。未来10年，大数据与人工智能几乎将会改变每一个行业——这几乎已经成了业界无可争议的“常识”，然而，在人类日益将日常生活托付给数字王国的同时，行业如何被颠覆？人工智能背后的黑科技到底如何影响人类的社会建构乃至日常生活？面对日益复杂多元的世界，人类思维方式又将面临着怎样从低维到高维分析的转变？虽然并不是所有人都会对人工智能持乐观态度，但人工智能无疑会使人类的决策制定从中受益。

天云利用深度学习算法成功预测美国城市犯罪记录

为打造智慧城市、透明化政府工作，芝加哥政府在“芝加哥市数据门户”（City of Chicago Data Portal）开放了大量数据，欢迎各界人士对数据进行监督、分析与挖掘。天云大数据公司利用自己研发的BDTM机器学习平台，在芝加哥开放的大数据库以及外部数据源中导入天气、社区人口信息建立模型，成功预测了犯罪案件成功侦破的机率与发生的地区，与真实发生案件的数据相差无几；同时借助模型预测的结果，将警力优先集中于侦破机率高的案件，把握黄金时间快速抓捕犯罪嫌疑人归案，提高效率。

天云BDTM的核心算法深度学习，可以理解为人工神经网络的延展，透过模拟人类神经网络结构，使用包含复杂结构和由多重非线性变换构成的多个处理层对数据进行高层抽象等一系列算法，建立具有数个隐层的多层感知网络，实现各种模式的识别和认知，对图像识别、语音识别、自然语言处理、药物研发等领域的发展皆有突出贡献。 BDTM提供免代码开发的方式将DT.SPARK计算框架的融合，降低了业务人员应用的门槛，推动行业用户，借助AT实现从零到一的创新突破。

降维攻击与复杂网络引导的高维分析

2015年，《三体》获得雨果奖，一石在国内科幻界激起千层浪。《三体》中非常著名的概念——“降维攻击”，也由此进入舆论视点。“二向箔”这种攻击武器，可以把立体的三维空间压缩成平面的二维空间，所有物体都要被压缩成无限面积的面皮。降维攻击是一种文明的反向进化：从高等向低等的坍塌，其本质就是消灭掉自我的多元性，即高维性简化、简化、再简化。反之，人类生活在一个多元的世界里，每种事物都具有它本身的复杂性，通过事物本身高维的数据分析能够让人类深刻理解事物的本质。

传统的数据分析都是基于数据表，二维表结构，把刑侦分析都束缚在二维空间内，而作为人们分析事物高维性的新视角，大数据复杂网络在当今越发体现出重要价值。

在公共安全方面，在反恐、公安案件中，利用大规模的数据碰撞，寻找可疑线索愈发成为当今成功迅速破案的时代之选。譬如，伴随车的分析是破案的重要线索之一，主要是通过查找不同卡口车辆的伴随性，发现犯罪形迹。然而，在现实分析中，由于卡口过车数据量过于庞大，传统数据处理技术无法有效支撑，其处理能力严重滞后于案件侦查需要，而复杂网络技术作为一项新技术，创新的将场景抽象成为网络分析模型，通过节点相关性，迅速实现伴随车的发现。

大数据复杂网络的应用，如今在社会各领域已经陆续开展，金融业更是应用大数据的排头兵，譬如，体现在完善信用卡中心失联人员，发现金融黑洞，规避欺诈事件的发生方面，大数据复杂网络都可以发挥重要作用。而在关乎国计民生的其他方面，深度学习算法、复杂网络的应用前景更加不可限量，公共安全引入大数据应用，是世界潮流不可逆转的趋势。

天云大数据

天云大数据由中国宽带之父田溯宁投资组建，北京祥云工程代表企业，作为秘书长和理事成员参与了中国云产业联盟，中关村大数据产业联盟，国家统计局大数据战略合作企业，中关村—滨海大数据产业技术创新战略联盟，上海大数据产业技术创新战略联盟等筹建。3年来在电信、金融、广电、政府等领域实践了众多大数据案例，包括率先在Hadoop平台实现银行全量数据治理，日新增300亿记录的单体数据库，秒级流数据平台等。天云大数据被北京政府授予“2012大数据最佳实践奖”，被中国通信行业协会授予“2012云计算优秀解决方案奖，被硅谷GigaOM大数据先锋评论冠以改变中国云计算最有影响的企业，在CCTV实业创新典范专题报道。 

3.深度学习太难，让这些公司有了可乘之机

最新的机器学习技术据称能改变整个行业，让计算机更容易从数据中识别出模式，做出精确预测并在一般意义上更加智能。但不幸的是，掌握这项神奇技术的只有少部分人。

现在人工智能的核心技术是深度学习，它依靠大规模的多层虚拟神经网络，让计算机可以识别抽象模式，如图片。训练神经网络需要许多并行计算，这往往在大规模的GPU组中完成。虽然深度学习的基本原理很简单，但在多组GPU上配置学习高效运行迅速的神经网络，还是一项技术活。用大量数据集训练深度学习网络往往会花费数天时间，而每次神经网络被调整后，训练过程都要重新来过。

鉴于这种情况，有创业公司发现了商机，他们会向金融保险，以及网页或汽车制造商提供人工智能技术，并从中获利。一些创业公司还可以加速机器学习算法的性能，令其适用于计算机芯片组，还有公司在设计自己的芯片，让算法发挥最大性能。

Minds.ai就属于这种公司之列，它拥有多位芯片专家，和一位师从深度学习领域创始人Geoffrey Hinton的大牛。Minds.ai的软件库支持深度学习网络，让图形芯片的信息交换更高效，这给了其它没有相应人才的公司使用新技术的机会。如果一家公司想训练无人驾驶汽车算法，让其识别特殊物体，它往往需要一组技术专家。而建一个网络需要时间，训练它又需要更多时间了。

Minds.ai的软件库训练神经网络的速度比一般系统要快，在使用用于图像识别的知名网络AlexNet的测试中，它比其它99%的配置方式都要快。

另一家想加速深度学习技术普及的公司是Nervana Systems，它有自己的软件库，还计划发布专为深度神经网络研制的芯片。公司CEO Naveen Rao曾为太阳微系统公司及高通设计芯片，其目标不仅是加速深度学习，还要根据其机器学习方法设计计算机系统。

Minds.ai和Nervana现在应该有不少客户，但深度学习市场扩展和变化的很快。一些研究机器学习的大公司都开源了自己的软件架构和软件库，想建立行业标准。另外，随着技术的成熟和代码更新，很多公司也会更容易自己建立优化的深度学习网络。

开源终将消除技术低效的状况，但现在深度学习还是一个碎片化的初生市场。GPU能满足目前的需求，但像Google和Facebook这样对深度学习有很大投入的公司，很可能会开发自己的深度学习计算机芯片，或者会收购一家开发相应技术的公司。到时候技术的竞争又会延伸到不同的领域。

4.深度学习——初创公司、科技巨头、研究机构在角力

http://www.pingwest.com/guide-to-deep-learning-whos-doing-it-and-why-it-matters/

5.业界?|?Github十大深度学习项目

　Github十大深度学习项目，其中包含了大量的代码库，框架以及学习资料。看看Github上的人们都在使用哪些工具，都在从哪些资源那里进行学习。

　　最新KDnuggets软件调查结果表明，在过去12个月，73%的数据科学家都会使用免费的数据科学工具。不言而喻，Python和R语言（两者皆为开源）以及各自的生态系统，是这些免费的数据科学工具中，数据科学家们运用的最突出、最必不可少的。

　　Github已成为名副其实的开源软件交流中心，其上寄存了几乎所有想得到的项目类型。深度学习在学术、研究和兴趣方面的普及程度越来越高，并在数据科学方面越来越重要，我们将探索一下Github里出类拔萃的深度学习项目。

　　需要注意的是，大部分人认为属于深度学习的一些重要项目并没有出现在该名单上，原因在于在Github搜索「深度学习」时并没有涉及到这些项目。

　　1 Caffe

　　★ 7905

　　Caffe是利用Python和MATLAB两者结合创建的深度学习程序库。由伯克利大学的伯克利视觉与学习中心创办，如果人们仅把Caffe当做计算机视觉应用是情有可原的；事实上，这是一个通用的深度学习程序库，能够开发卷积网络，并创建其他视觉、语音等应用。

　　2 Data Science IPython Notebooks

　　★ 4386

　　这是由Donne Martin策划收集的IPython笔记本。话题涵盖大数据、Hadoop、scikit-learn和科学Python堆栈以及很多其他方面的内容。至于深度学习，像是TensorFlow、Theano和Caffe之类的框架也均被涵盖其中，当然还有相关的特定构架和概念等。

　　3 ConvNetJS

　　★ 3924

　　由斯坦福博士生Andrej Karpathy写就，他也一直维持着博客更新。ConvNetJS是一个由Java实现的神经网络及其通用模块，并且包括大量的基于浏览器的实例。这些文档和实例数不胜数，且非常完整。不要让java和神经网络结合在一起的想法把你吓跑了，这可是个非常受欢迎而且非常有用的项目。

　　4 Keras

　　★ 3852

　　Keras也是一种Python深度学习程序库，但它利用了TensorFlow和Theano，这也意味着它可以在目前已知最受欢迎的2个深度学习研发库中的任一个上运行。也是那些越来越多的被形容为非常高级的库之一，而所有这些高等级库都非常相似：抽象化底层的深度学习引擎，使使用者可以更快、更便捷以及更灵活地部署神经网络。Keras支持主流深度学习架构，自带30秒的快速入门指南，并有着完善的文档。

　　5 MXNet

　　★ 3278

　　作为一个深度学习框架，MXNet旨在灵活和高效，并且通过允许混合使用指令式编程及符号式编程的技巧来提高代码生产力。这个项目可以和多种语言绑定，如Python, R, 以及 Julia。同时MXNet还附带了一系列神经网络指南和蓝本。另外值得注意的是，一个相关项目用Java在浏览器环境中实现MXNet，有兴趣的朋友可以通过该链接（http://webdocs.cs.ualberta.ca/~bx3/mxnet/classify.html）对一个图形分类模型进行测试。

　　6 Qix

　　★ 2253

　　这是一个各种计算和编程主题有关资源（包括Node.Js, GoLang和深度学习）的Github版本库。

　　之所以说「似乎（appears）」，是因为Github版本库都是用中文写的，谷歌提供的翻译甚至会带来更多不解。不过，有许多链接，所以如果你能说中文或看得懂中文，或许这里有些有价值的东西。

　　7 Deeplearning4j

　　★ 1824

　　Deeplearning4j是为Java 和Scala打造的一款具有工业强度的深度学习框架。作为唯一值得研究的JVM深度学习解决方案之一，它在这个领域有着明显的优势。不仅可以很好地与Hadoop 以及Spark的结合，它还可以使用GPU。它的文档和指南也非常可靠。

　　8 Machine Learning Tutorials

　　★ 1759

　　这是一张机器学习和深度学习教程，文章和资源的名单。这张列表根据通过主题进行组织，包括了许多与深度学习有关的类别，包括计算机视觉，加强学习以及各种架构。由于内容广泛，几个月来，已经在社交媒体上小有名气，你也可以点击此处（https://github.com/ujjwalkarn/Machine-Learning-Tutorials/blob/master/contributing.md）做些贡献。

　　9 DeepLearn Toolbox

　　★ 1651

　　DeepLeanToolBox是一个供MATLAB和Octave使用的深度学习工具箱。很遗憾，这个项目现在已被废弃并停止维护。其Github版本库也指向了在修习深度学习方面颇具价值的其他选择：Theano和TensorFlow。

　　如果说这个已经废弃的云端版本库还有点什么价值，那就是这个链接（http://www.iro.umontreal.ca/~bengioy/papers/ftml_book.pdf）了，这本由Yoshua Bengio撰写的教程被包含在了这个版本库中以作为学习人工智能所使用的深度学习架构的学习资源。

　　10 LISA Lab Deep Learning Tutorials

　　★ 1555

　　这个Github版本库汇总了加拿大蒙特利尔大学的LISA实验室深度学习课程的练习材料。其介绍文档摘取如下：

　　这套练习材料将介绍你们了解一些最重要的深度学习算法，以及展示如何使用Theano运行这些算法。

　　Theano是一个使撰写深度学习模型变得简单，并允许用户选择GPU对他们进行训练的python库。

　　以上内容由于2015年1月10日东部时间晚10点，于Github搜索词条「deep learning」获取，并根据星值由高至低排序。

　　作者简历：

　　Matthew May是一位正在进行并行式机器学习算法研究的计算机硕士研究生，同时Matthew也是一位数据挖掘研习者，数据发烧友，热忱的机器学习科学家。

　　©本文由机器之心原创编译，转载请联系本公众号获得授权。

　　?------------------------------------------------

　　加入机器之心（全职记者/实习生）：hr@almosthuman.cn

　　投稿或寻求报道：editor@almosthuman.cn

　　广告&商务合作：bd@almosthuman.cn

　　

　　机器之心是Comet Labs旗下的前沿科技媒体。Comet Labs是由联想之星发起、独立运作的全球人工智能和智能机器加速投资平台，携手全球领先的产业公司和投资机构，帮助创业者解决产业对接、用户拓展、全球市场、技术整合、资金等关键问题。旗下业务还包括：Comet旧金山加速器、Comet北京加速器、Comet垂直行业加速器。