AI100_机器学习日报 2017-10-07
- 一文概览视频目标分割
- 谷歌等巨头机器学习面试题：从逻辑回归到智力测验
- GMIS 2017大会邓力演讲：无监督学习的前沿与SPDG方法的优良性
- 关系学习与深度表示学习文献/代码列表
- 适合入门的8个趣味机器学习项目
@好东西传送门 出品,由@AI100运营， 过往目录 见http://geek.ai100.com.cn
订阅：关注微信公众号 AI100（ID：rgznai100，扫二维码），回复“机器学习日报”，加你进日报群
本期话题有：
全部22 深度学习9 算法9 资源6 自然语言处理4 视觉4 经验总结4 公告板3 语音3 应用3
用日报搜索找到以前分享的内容： http://ml.memect.com/search/
今日焦点 (5)
机器之心Synced 网页版 2017-10-07 17:46
入门 Eddie Smolyansky
【入门 | 一文概览视频目标分割】近日 Visualead 研究主管 Eddie Smolyansky 在 Midum 网站撰文介绍视频目标分割的基础知识，同时介绍了 Visualead 最新发布的视频数据集 GyGO 和 2016 年以来两种主要的视频目标分割方法：MaskTrack 和 OSVOS。 http://t.cn/ROLrHW1
wx: 网页版 2017-10-07 20:04
公告板 会议活动 架构 算法 应用 语音 资源 Hadoop KNN PCA Python Spark SVM 分类 广告系统 行业动态 回归 会议 活动 集成学习 矩阵 聚类 决策树 神经网络 数据 数据科学 统计 推荐系统 熊笑 预测 主题模型
「【面试107问】谷歌等巨头机器学习面试题：从逻辑回归到智力测验」2017 年 11 月 8 日，在北京国家会议中心举办的 AI WORLD 2017 世界人工智能大会开放售票！早鸟票 5 折抢票最后1天！还记得去年一票难求的AI WORLD 2016盛况吗？今年，我们邀请了冷扑大师”之父 Tuomas 亲临现场，且谷歌、微软、亚马逊、BAT、讯飞、京东和华为等企业重量级嘉宾均已确认出席。 关于大会，请关注新智元微信公众号或访问活动行页面： http://www.huodongxing.com/event/2405852054900?td=4231978320026了解更多 1新智元翻译 来源：learndatasci.com 译者：熊笑 【新智元导读】很多人都想知道，谷歌、微软、Facebook 这样的顶级科技公司，在面试大数据机器学习工程师时会问些什么问题。可惜的是，这些公司的面试者事先都要签保密协议，不允许把面试题目泄露出去。不过美国一家做企业点评与职位搜索的职场社区 glassdoor 还是想方设法搞到了面试题目。让我们现在就揭开这层神秘的面纱吧! 一般性问题 苹果 1.假设你面临着数百万用户，每个用户有数百笔交易，涉及成千上万种产品。你如何对这些用户进行有意义的分类？ 微软 2.请描述一个你参与的项目，讲讲它有什么独特之处。3.如何用高基数（high-cardinality）处理类别特征（categorical feature）？4.如何 summarize 一个 Twitter feed?5.在应用于机器学习算法之前，清理数据的步骤是什么？6.如何测量数据点之间的距离？7.请定义方差（variance）。8.请描述箱形图（box plot）和直方图（histogram）之间的区别，并举出用例。 Twitter 9.你会用哪些 feature 来为用户构建一个推荐算法？ Uber 10.选一个你真正喜欢的产品或 app，说说你打算怎么改进它。11.如何在分布（distribution）中找到异常点（anomaly）？12.如果分布中的某种特定趋势是由于一个异常点，你将如何着手调查？13.你如何评估 Uber 对交通和驾驶状况的影响？14.你会用哪些参数来追踪 Uber 的付费广告是否真正获得了新客户？你会用什么办法来算出一个理想的新客户获取成本？ LinkedIn 15.大数据工程师，你能解释一下什么是 REST 吗？ 机器学习类问题 谷歌 16.你为什么要用特征选择？17.如果两个预测因子高度相关，对逻辑回归系数的影响是什么？系数的置信区间是多少？18.高斯混合模型（Gaussian Mixture Model）和 K-Means 的区别是什么？19.如何为 K-Means 拾取 k ？20.何时应用高斯混合模型？21.假设一个聚类模型的标签是已知的，如何评估该模型的性能？ 微软 22.举一个你自豪的机器学习项目的例子。23.描述任意一个机器学习算法。24.描述Gradient Boosting 是如何工作的。25.数据挖掘：描述一下决策树模型。26.数据挖掘：神经网络是什么？27.阐释一下偏差-方差权衡（Bias-Variance Tradeoff）。28.如何处理不平衡的二元分类？29.L1 和 L2 正则化有何不同？ Uber 30.你会用什么 feature 来预测 Uber 司机是否会接受一次乘车请求？你会用什么有监督学习算法来解决这一问题？如何比较算法的结果？ LinkedIn 31.给出并描述三种不同的核函数，及各自的应用条件。32.描述一种机器学习中使用的方法。33.如何处理稀疏数据？ IBM 34. 如何防止过拟合？35. 如何处理数据中的离群值（outlier）？36. 与分类模型相比，如何分析回归模型的预测性能？37. 与简单的线性回归模型相比，如何评估逻辑回归模型？38. 有监督学习和无监督学习的区别是什么？39. 交叉验证（cross-validation）是什么？为什么要使用交叉验证？40. 用于评估预测模型的矩阵（matrix）名称是什么？41. 逻辑回归系数和比值比（Odds Ratio）之间的关系是什么？42. 主成分分析（Principal Component Analysis，PCA）和线性和二次判别分析（Linear & Quadratic Discriminant Analysis ，LDA & QDA）之间的关系是什么？43. 如果你有一个分类变量（categorical dependent variable），以及一个混合分类和连续变量（a mixture of categorical and continuous independent variables），你会用什么算法、方法或工具来进行分析？44. 商业分析：逻辑和线性回归的区别是什么？如何避免局部极小值（localminima）？ Salesforce 45. 你会使用什么数据和模型来测量损耗/流失？如何测量模型的性能？46. 请尝试对非技术人员解释一种机器学习算法。 Capital One 47. 如何开发一个预测信用卡诈骗的模型？48. 如何处理缺失或不良数据？49. 如何从已有特征中得出新特征？50. 在客户性别预测中，如果你只有 100 个数据点，你的预测可能会出现什么问题？51. 假设已有两年的交易记录，你会用哪些特征来预测信用风险？52. 请设计一个会下三连棋（Tic-tac-toe）的AI 程序。 Zilow 53. 请解释一下什么是过拟合，以及如何避免。54. 为什么 SVM 需要在支持向量间最大化margin？ Hadoop Twitter 55. 如何用 Map/Reduce 将大图形分割成小块，并根据数据的快速/动态变化并行边缘计算？ 56. 数据工程师：给定一个粉丝list，格式为：123, 345234, 678345, 123…其中第一列是粉丝 ID，第二列是被粉者 ID。目标是找到所有互粉组（如上例中的 123，345）。当 list 超出内存时，如何使用 Map / Reduce 解决问题？ Capital One 57. 数据工程师：Hadoop 序列化（serialization）是什么？Explain a simple Map/Reduce problem.58. 阐释一个简单的 Map / Reduce 问题。 Hive LinkedIn 59. 数据工程师：请写一个输出情感分数的 Hive UDF。例如，假如好=1，坏=-1，平均数=0，那么餐厅得到的「食物好，服务差」的评价，得分可能为 1 – 1 = 0 Spark Capital One 60. 数据工程师：请阐述在 Spark 中，RDD 如何使用 Scala 语言工作？ 统计和概率问题 谷歌 61. 请向非技术人员解释交叉验证（Cross-validation）。Describe a non-normal probability distribution and how to applyit.62. 请描述非正态概率分布（non-normal probability distribution）以及如何应用。 微软 63. 数据挖掘：什么是异方差（heteroskedasticity），如何解决？ Twitter 64. 已有 Twitter 用户数据，如何测量参与度（engagement）？ Uber 65. 时间序列（Time Series）预测技术是什么？66. 阐释主成分分析（PCA）及其使用的方程。67. 如何解决多重共线性（Multicollinearity）？68. 请写出推特和Facebook 上优化广告费用支出的方程。 Facebook 69. 从一副牌中抽取两张，同一花色的出现概率是多少？ IBM 70. p-value 和置信区间是什么？ Capital One 71. 数据分析师：假设你有 70 颗红色弹珠，绿色和红色弹珠的比例是 2 ：7，请问绿色弹珠有多少颗？72. 纽约市的日常上下班交通数据分布应该是什么样子的？73. 一个骰子，扔 6 次出现 1 个 6 的几率，与扔 12 次至少出现两个 6 的几率，以及扔 600 次至少出现 100 次 6 的几率，哪个最大？ PayPal 74. 中心极限定理（Central Limit Theorem）是什么，如何证明？有何应用？ 编程和算法 谷歌 75. 数据分析师：请写一个判定任意二进制树height 的程序。 微软 76. 请创建一个检查某个词是否是回文的函数。 Twitter 77. 请构建一个幂集（power set）。How do you find the median of a very large dataset?78. 如何在一个巨大的数据集中找到中位数？ Uber 79. 数据工程师：编写一个计算给定数字平方根（精确到百分位）的函数。然后用缓存机制优化函数，避免冗余计算。 Facebook 80. 假设有两个二进制字符串，写一个将它们加在一起的函数，不使用任何内置的字符串到 int 的转换或解析工具。例如：如果给你的函数二进制字符串 100 和 111，它应该return 1011。你的解决方案的空间和时间复杂性是怎样的？81. 写一个函数，输入两个已排序的 list，在一个排序 list 中输出其并集。 LinkedIn 82.数据工程师：编写代码，确定一个字符串中的括号是否平衡？83. 如何在一个二进制搜索树中找到第二大element？84. 写一个函数，输入两个排序的向量，输出一个排序的向量。85. 面对一个数字流输入，如何在运行中找到最频繁出现的数字？86. 写一个函数，可以将一个数字加到另一个数字上，就像 pow（）函数一样。87. 将一个大字符串拆分成有效字段，存储在字典中。如果字符串无法拆分，return “false”。你的解决方案的复杂性是怎样的？ Salesforce 88. 查找文档最常用的词的计算复杂性是什么？89. 面对10 TBs 的非结构化客户数据,如何发现并提取有价值的信息? Capital One 90.数据工程师：如何「拆散」两个数列（就像 SQL 中的 JOIN 一样，只不过是反过来）？91. 创建一个可以做添加的函数，数字表示为两个linked list。92. 创建一个计算矩阵和的函数。93. 如何用 Python 读取一个非常大的制表符分隔的数字文件，以计算每个数字出现的频率？ Paypal 94. 写一个函数，让它能在 O（n）时间内读取一个句子并逆向打印出来。95. 写一个函数，输入一个数列，可以在O(n) 时间内将其按所有可能性分成两列数组，然后打印出这两个数组之间可能的最大差值。96. 写一个执行合并排序的程序。 SQL 问题 微软 97. 数据分析师：定义和解释聚集索引和非聚集索引之间的不同。98. 数据分析师：return 表的行计数有哪些不同的方法？ Facebook 99. 数据工程师：给定一个原始数据表，如何用 SQL 执行 ETL（Extract，Transform，Load）以获取所需格式的数据？100. 如何编写一个 SQL 查询，计算涉及两个连接的某个确定属性的频率表？如果希望 ORDER BY 或 GROUP BY 某些属性，需要做哪些变化？如何描述 NULL？ LinkedIn 101.数据工程师：如何提高 ETL（Extract, Transform, Load）的吞吐量（throughput）？ 智力和文字游戏 谷歌 102. 有 10 包弹珠，每包里有 10 个弹珠。其中一包和其他包重量不同，如果只能进行一次称重，如何找出这一包？ Facebook 103. 你准备坐飞机去西雅图，想知道要不要带伞。你给西雅图的三位朋友分别打电话。每个朋友都有 2/3 的几率说真话，1/3 的几率在骗你。如果他们都说「会下雨」，西雅图下雨的概率是多少？ 104. 假设有一个等边三角形，三个角上都有一只蚂蚁，每只随机选择方向，沿着三角形的边走，那么这些蚂蚁不发生碰撞的几率是多少？如果有 n 只蚂蚁在一个有 n 个角的多边形中，概率又是多少？ 105. 在 100 阶乘（即 100!）里有多少个零？ Uber 106. 假设你在一家医院工作。患者就诊的频率符合泊松分布（Poisson Distribution），而医生照顾患者的频率符合均匀分布（Uniform Distribution）。请写一个函数或一段代码，能够给出患者的平均等待时间和医生在任意一天所照顾到的患者总数。 LinkedIn 107. 你在爬一个有 n 阶台阶的楼梯，你可以用任何 k 数量的步骤。那么，到达楼梯顶部有多少不同的方式？（这是楼梯问题的修改版） 原文链接： http://www.learndatasci.com/data-science-interview-questions/ 【扫一扫或点击阅读原文抢购五折“早鸟票”】AI WORLD 2017 世界人工智能大会购票二维码： via: http://mp.weixin.qq.com/s?__biz=MzI3MTA0MTk1MA==&mid=2652005833&idx=1&sn=3932b9ecd244179951e8e611e812b5df&scene=0#wechat_redirect
公告板 会议活动 架构 算法 应用 语音 资源 Hadoop KNN PCA Python Spark SVM 分类 广告系统 行业动态 回归 会议 活动 集成学习 矩阵 聚类 决策树 神经网络 数据 数据科学 统计 推荐系统 熊笑 预测 主题模型
「【面试107问】谷歌等巨头机器学习面试题：从逻辑回归到智力测验」2017 年 11 月 8 日，在北京国家会议中心举办的 AI WORLD 2017 世界人工智能大会开放售票！早鸟票 5 折抢票最后1天！还记得去年一票难求的AI WORLD 2016盛况吗？今年，我们邀请了冷扑大师”之父 Tuomas 亲临现场，且谷歌、微软、亚马逊、BAT、讯飞、京东和华为等企业重量级嘉宾均已确认出席。 关于大会，请关注新智元微信公众号或访问活动行页面： http://www.huodongxing.com/event/2405852054900?td=4231978320026了解更多 1新智元翻译 来源：learndatasci.com 译者：熊笑 【新智元导读】很多人都想知道，谷歌、微软、Facebook 这样的顶级科技公司，在面试大数据机器学习工程师时会问些什么问题。可惜的是，这些公司的面试者事先都要签保密协议，不允许把面试题目泄露出去。不过美国一家做企业点评与职位搜索的职场社区 glassdoor 还是想方设法搞到了面试题目。让我们现在就揭开这层神秘的面纱吧! 一般性问题 苹果 1.假设你面临着数百万用户，每个用户有数百笔交易，涉及成千上万种产品。你如何对这些用户进行有意义的分类？ 微软 2.请描述一个你参与的项目，讲讲它有什么独特之处。3.如何用高基数（high-cardinality）处理类别特征（categorical feature）？4.如何 summarize 一个 Twitter feed?5.在应用于机器学习算法之前，清理数据的步骤是什么？6.如何测量数据点之间的距离？7.请定义方差（variance）。8.请描述箱形图（box plot）和直方图（histogram）之间的区别，并举出用例。 Twitter 9.你会用哪些 feature 来为用户构建一个推荐算法？ Uber 10.选一个你真正喜欢的产品或 app，说说你打算怎么改进它。11.如何在分布（distribution）中找到异常点（anomaly）？12.如果分布中的某种特定趋势是由于一个异常点，你将如何着手调查？13.你如何评估 Uber 对交通和驾驶状况的影响？14.你会用哪些参数来追踪 Uber 的付费广告是否真正获得了新客户？你会用什么办法来算出一个理想的新客户获取成本？ LinkedIn 15.大数据工程师，你能解释一下什么是 REST 吗？ 机器学习类问题 谷歌 16.你为什么要用特征选择？17.如果两个预测因子高度相关，对逻辑回归系数的影响是什么？系数的置信区间是多少？18.高斯混合模型（Gaussian Mixture Model）和 K-Means 的区别是什么？19.如何为 K-Means 拾取 k ？20.何时应用高斯混合模型？21.假设一个聚类模型的标签是已知的，如何评估该模型的性能？ 微软 22.举一个你自豪的机器学习项目的例子。23.描述任意一个机器学习算法。24.描述Gradient Boosting 是如何工作的。25.数据挖掘：描述一下决策树模型。26.数据挖掘：神经网络是什么？27.阐释一下偏差-方差权衡（Bias-Variance Tradeoff）。28.如何处理不平衡的二元分类？29.L1 和 L2 正则化有何不同？ Uber 30.你会用什么 feature 来预测 Uber 司机是否会接受一次乘车请求？你会用什么有监督学习算法来解决这一问题？如何比较算法的结果？ LinkedIn 31.给出并描述三种不同的核函数，及各自的应用条件。32.描述一种机器学习中使用的方法。33.如何处理稀疏数据？ IBM 34. 如何防止过拟合？35. 如何处理数据中的离群值（outlier）？36. 与分类模型相比，如何分析回归模型的预测性能？37. 与简单的线性回归模型相比，如何评估逻辑回归模型？38. 有监督学习和无监督学习的区别是什么？39. 交叉验证（cross-validation）是什么？为什么要使用交叉验证？40. 用于评估预测模型的矩阵（matrix）名称是什么？41. 逻辑回归系数和比值比（Odds Ratio）之间的关系是什么？42. 主成分分析（Principal Component Analysis，PCA）和线性和二次判别分析（Linear & Quadratic Discriminant Analysis ，LDA & QDA）之间的关系是什么？43. 如果你有一个分类变量（categorical dependent variable），以及一个混合分类和连续变量（a mixture of categorical and continuous independent variables），你会用什么算法、方法或工具来进行分析？44. 商业分析：逻辑和线性回归的区别是什么？如何避免局部极小值（localminima）？ Salesforce 45. 你会使用什么数据和模型来测量损耗/流失？如何测量模型的性能？46. 请尝试对非技术人员解释一种机器学习算法。 Capital One 47. 如何开发一个预测信用卡诈骗的模型？48. 如何处理缺失或不良数据？49. 如何从已有特征中得出新特征？50. 在客户性别预测中，如果你只有 100 个数据点，你的预测可能会出现什么问题？51. 假设已有两年的交易记录，你会用哪些特征来预测信用风险？52. 请设计一个会下三连棋（Tic-tac-toe）的AI 程序。 Zilow 53. 请解释一下什么是过拟合，以及如何避免。54. 为什么 SVM 需要在支持向量间最大化margin？ Hadoop Twitter 55. 如何用 Map/Reduce 将大图形分割成小块，并根据数据的快速/动态变化并行边缘计算？ 56. 数据工程师：给定一个粉丝list，格式为：123, 345234, 678345, 123…其中第一列是粉丝 ID，第二列是被粉者 ID。目标是找到所有互粉组（如上例中的 123，345）。当 list 超出内存时，如何使用 Map / Reduce 解决问题？ Capital One 57. 数据工程师：Hadoop 序列化（serialization）是什么？Explain a simple Map/Reduce problem.58. 阐释一个简单的 Map / Reduce 问题。 Hive LinkedIn 59. 数据工程师：请写一个输出情感分数的 Hive UDF。例如，假如好=1，坏=-1，平均数=0，那么餐厅得到的「食物好，服务差」的评价，得分可能为 1 – 1 = 0 Spark Capital One 60. 数据工程师：请阐述在 Spark 中，RDD 如何使用 Scala 语言工作？ 统计和概率问题 谷歌 61. 请向非技术人员解释交叉验证（Cross-validation）。Describe a non-normal probability distribution and how to applyit.62. 请描述非正态概率分布（non-normal probability distribution）以及如何应用。 微软 63. 数据挖掘：什么是异方差（heteroskedasticity），如何解决？ Twitter 64. 已有 Twitter 用户数据，如何测量参与度（engagement）？ Uber 65. 时间序列（Time Series）预测技术是什么？66. 阐释主成分分析（PCA）及其使用的方程。67. 如何解决多重共线性（Multicollinearity）？68. 请写出推特和Facebook 上优化广告费用支出的方程。 Facebook 69. 从一副牌中抽取两张，同一花色的出现概率是多少？ IBM 70. p-value 和置信区间是什么？ Capital One 71. 数据分析师：假设你有 70 颗红色弹珠，绿色和红色弹珠的比例是 2 ：7，请问绿色弹珠有多少颗？72. 纽约市的日常上下班交通数据分布应该是什么样子的？73. 一个骰子，扔 6 次出现 1 个 6 的几率，与扔 12 次至少出现两个 6 的几率，以及扔 600 次至少出现 100 次 6 的几率，哪个最大？ PayPal 74. 中心极限定理（Central Limit Theorem）是什么，如何证明？有何应用？ 编程和算法 谷歌 75. 数据分析师：请写一个判定任意二进制树height 的程序。 微软 76. 请创建一个检查某个词是否是回文的函数。 Twitter 77. 请构建一个幂集（power set）。How do you find the median of a very large dataset?78. 如何在一个巨大的数据集中找到中位数？ Uber 79. 数据工程师：编写一个计算给定数字平方根（精确到百分位）的函数。然后用缓存机制优化函数，避免冗余计算。 Facebook 80. 假设有两个二进制字符串，写一个将它们加在一起的函数，不使用任何内置的字符串到 int 的转换或解析工具。例如：如果给你的函数二进制字符串 100 和 111，它应该return 1011。你的解决方案的空间和时间复杂性是怎样的？81. 写一个函数，输入两个已排序的 list，在一个排序 list 中输出其并集。 LinkedIn 82.数据工程师：编写代码，确定一个字符串中的括号是否平衡？83. 如何在一个二进制搜索树中找到第二大element？84. 写一个函数，输入两个排序的向量，输出一个排序的向量。85. 面对一个数字流输入，如何在运行中找到最频繁出现的数字？86. 写一个函数，可以将一个数字加到另一个数字上，就像 pow（）函数一样。87. 将一个大字符串拆分成有效字段，存储在字典中。如果字符串无法拆分，return “false”。你的解决方案的复杂性是怎样的？ Salesforce 88. 查找文档最常用的词的计算复杂性是什么？89. 面对10 TBs 的非结构化客户数据,如何发现并提取有价值的信息? Capital One 90.数据工程师：如何「拆散」两个数列（就像 SQL 中的 JOIN 一样，只不过是反过来）？91. 创建一个可以做添加的函数，数字表示为两个linked list。92. 创建一个计算矩阵和的函数。93. 如何用 Python 读取一个非常大的制表符分隔的数字文件，以计算每个数字出现的频率？ Paypal 94. 写一个函数，让它能在 O（n）时间内读取一个句子并逆向打印出来。95. 写一个函数，输入一个数列，可以在O(n) 时间内将其按所有可能性分成两列数组，然后打印出这两个数组之间可能的最大差值。96. 写一个执行合并排序的程序。 SQL 问题 微软 97. 数据分析师：定义和解释聚集索引和非聚集索引之间的不同。98. 数据分析师：return 表的行计数有哪些不同的方法？ Facebook 99. 数据工程师：给定一个原始数据表，如何用 SQL 执行 ETL（Extract，Transform，Load）以获取所需格式的数据？100. 如何编写一个 SQL 查询，计算涉及两个连接的某个确定属性的频率表？如果希望 ORDER BY 或 GROUP BY 某些属性，需要做哪些变化？如何描述 NULL？ LinkedIn 101.数据工程师：如何提高 ETL（Extract, Transform, Load）的吞吐量（throughput）？ 智力和文字游戏 谷歌 102. 有 10 包弹珠，每包里有 10 个弹珠。其中一包和其他包重量不同，如果只能进行一次称重，如何找出这一包？ Facebook 103. 你准备坐飞机去西雅图，想知道要不要带伞。你给西雅图的三位朋友分别打电话。每个朋友都有 2/3 的几率说真话，1/3 的几率在骗你。如果他们都说「会下雨」，西雅图下雨的概率是多少？ 104. 假设有一个等边三角形，三个角上都有一只蚂蚁，每只随机选择方向，沿着三角形的边走，那么这些蚂蚁不发生碰撞的几率是多少？如果有 n 只蚂蚁在一个有 n 个角的多边形中，概率又是多少？ 105. 在 100 阶乘（即 100!）里有多少个零？ Uber 106. 假设你在一家医院工作。患者就诊的频率符合泊松分布（Poisson Distribution），而医生照顾患者的频率符合均匀分布（Uniform Distribution）。请写一个函数或一段代码，能够给出患者的平均等待时间和医生在任意一天所照顾到的患者总数。 LinkedIn 107. 你在爬一个有 n 阶台阶的楼梯，你可以用任何 k 数量的步骤。那么，到达楼梯顶部有多少不同的方式？（这是楼梯问题的修改版） 原文链接： http://www.learndatasci.com/data-science-interview-questions/ 【扫一扫或点击阅读原文抢购五折“早鸟票”】AI WORLD 2017 世界人工智能大会购票二维码： via: http://mp.weixin.qq.com/s?__biz=MzI3MTA0MTk1MA==&mid=2652005833&idx=1&sn=3932b9ecd244179951e8e611e812b5df&scene=0#wechat_redirect
蚁工厂 网页版 2017-10-07 13:25
经验总结 博客 邓力
#技术博客推荐# GMIS 2017大会邓力演讲：无监督学习的前沿与SPDG方法的优良性 邓力今天跟大家介绍的一个主流的观点就是，以预测为中心的无监督的学习的范式，在这个范式里面我们能够直接完成机器学习的目标，无论是预测还是其他的任务。因为，我们能够直接把输入放到系统里面，然后利用无监督学习的机…全文： http://m.weibo.cn/2194035935/4160206151293294
爱可可-爱生活 网页版 2017-10-07 06:08
深度学习
【关系学习与深度(表示)学习(文献/代码列表)】《Bridging Relational and Deep Learning》 http://t.cn/ROAmVRR
爱可可-爱生活 网页版 2017-10-07 05:28
数据科学
【适合入门的8个趣味机器学习项目】《8 Fun Machine Learning Projects for Beginners》 http://t.cn/RSMumQf
最新动态
2017-10-07 (12)
wx: 网页版 2017-10-07 20:04
公告板 会议活动 经验总结 深度学习 算法 语音 Carlos Guestrin GPU Haichen Shen Joaquin Candela Leyuan Wang Luis Ceze Yuwei Hu Ziheng Jiang 博客 陈天奇 行业动态 会议 活动 李沐 神经网络
「【深度学习框架的未来】李沐：AWS开源端到端AI框架编译器NNVM」2017 年 11 月 8 日，在北京国家会议中心举办的 AI WORLD 2017 世界人工智能大会开放售票！早鸟票 5 折抢票最后1天！还记得去年一票难求的AI WORLD 2016盛况吗？今年，我们邀请了冷扑大师”之父 Tuomas 亲临现场，且谷歌、微软、亚马逊、BAT、讯飞、京东和华为等企业重量级嘉宾均已确认出席。 关于大会，请关注新智元微信公众号或访问活动行页面： http://www.huodongxing.com/event/2405852054900?td=4231978320026了解更多1新智元翻译 来源：AWS AI Blog 作者：李沐 译者：费欣欣 【新智元导读】AWS AI主任科学家李沐今天在官博发表文章，介绍了一种新的编译器NNVM，可以大大简化新的AI前端框架和后端硬件的设计，在各种前端和后端为用户提供一致的结果。NNVM编译器将高级计算图编译成优化的机器代码，只需花费很少的精力，就可以匹配甚至超过两个完全不同的硬件（ARM CPU和Nvidia GPU）上的state-of-the-art性能。 有很多个人工智能（AI）框架供你选择来开发AI算法。同样你也可以选择各种硬件来训练和部署AI模型。框架和硬件的多样性对于保持AI生态系统的健康至关重要。但是，这种多样性也为AI开发人员带来了几个挑战。本文将简要介绍这些挑战，并引入一个编译器解决方案来辅助解决这些问题。 下面，我们首先回顾挑战，介绍华盛顿大学和AWS研究团队，然后介绍编译器的工作原理。 首先，由于前端接口和后端实现之间的差异，从一个AI框架切换到另一个AI框架是很麻烦的。此外，算法开发人员在开发和交付流程中可能会使用多个框架。在AWS，我们有客户希望在MXNet上部署其Caffe模型，从而享受Amazon EC2上的加速性能。根据Joaquin Candela最近的博客，用户可能会使用PyTorch快速开发，然后在Caffe2上部署。但是，我们也听到有人表示在将模型从一个框架转换到另一个框架之后调试结果差异十分困难。 其次，框架开发人员需要维护多个后端，才能确保从智能手机芯片到数据中心GPU的各种硬件的性能。以MXNet为例，MXNet有一个从头构建的便携式C++实现，还附带了专门的后端支持，比如英伟达GPU的CuNNN和英特尔CPU的MKLML。确保这些不同的后端为用户提供一致的数值结果十分具有挑战性。 最后，芯片厂商制造的每款新芯片也需要支持多个AI框架。每个框架中的workload都以独特的方式进行表征和执行，因此即使像卷积一样的运算也可能需要以不同的方式进行定义。因此，在芯片设计和制造方面，支持多个框架也需要大量的工程设计。 不同的AI框架和硬件为用户带来巨大的收益，但AI开发人员为终端用户提供一致性却是非常具有挑战性的事情。幸运的是，我们并不是第一个面对这种问题的人。计算机科学在不同硬件上运行各种编程语言的历史由来已久。解决这个问题的一个关键技术是编译器。由编译技术驱动，来自华盛顿大学（UW）计算机科学与工程系保罗·艾伦学院的陈天奇，Thierry Moreau，Haichen Shen，Luis Ceze，Carlos Guestrin和Arvind Krishnamurth等一批研究人员，与AWS AI团队的Ziheng Jiang，提出了TVM堆栈来简化这个问题。 今天，AWS很高兴与UW研究团队一起宣布基于TVM堆栈的端到端编译器，它将workload直接从各种深度学习前端编译成优化的机器代码。 下面，我们先来看这个编译器架构。 我们可以注意到，典型的AI框架大致分为三部分： 前端开放一个易于使用的界面给用户；从前端收到的workload通常被表示为由数据变量（a，b和c）和运算符（*和+）组成的计算图；从基本的算术运算到神经网络层的运算符都可以针对多个硬件进行实现和优化。 新的编译器，NNVM编译器，基于TVM堆栈中的两个组件：用于计算图的NNVM和用于张量运算符的TVM。 NNVM – 计算图中间表示（IR）堆栈 NNVM的目标是将不同框架的workload表示为标准计算图，然后将这些高级图转换为执行图。这种计算图的灵感来自Keras中的层定义和numpy的张量运算符。 NNVM还随附例程，名叫Pass，遵循LLVM约定。这些例程可以向图中添加新属性来执行它们或修改图以提高效率。 TVM – 张量IR堆叠 源自Halide的TVM实现了计算图中使用的运算符，并针对目标后端硬件进行了优化。与NNVM不同，TVM提供了一种独立于硬件的域特定语言，简化张量索引级别中的操作符实现。TVM还提供调度原语（如多线程，平铺和高速缓存）来优化计算以充分利用硬件资源。这些计划与硬件有关，可以手动编码，也可以自动搜索优化的模式。 支持的前端和后端如下图所示。 MXNet直接将其计算图转换为NNVM图得到支持，Keras也以类似的方式得到支持，不过正在开发中。NNVM编译器也可以采用模型格式，如CoreML。因此，凡是能够使用这些格式框架都可以使用此编译堆栈。 TVM目前随附多个代码生成器，支持各种后端硬件。例如，TVM为CPU（如X86和ARM）生成LLVM IR，也可以为各种GPU输出CUDA，OpenCL和Metal内核。 添加新的支持的操作也很简单。对于新的前端，我们只需要将其workload转换为定义计算图和运算符规范的NNVM即可。要添加新的硬件，我们可以重复使用TVM的运算符实现，只需要指定有效schedule即可。 我们使用MXNet展示NNVM编译器性能，前端硬件配置是：ARM上的Raspberry PI和AWS上的英伟达GPU。虽然这两种芯片间的架构差异巨大，但代码上的唯一差异在于调度部分。 GPU的schedule主要由Leyuan Wang（AWS）和Yuwei Hu（TuSimple）在实习期间编写。比较NNVM编译器与MXNet，英伟达K80的cuDNN后端。像深度卷积的运算符这样在cuDNN中没有有效支持的，通过手动优化的CUDA内核来实现。可以看出，NNVM编译器运行ResNet18和MobileNet比cuDNN后端略好（1.2倍快）。 在Raspberry PI的情况下，我们通过自动调谐器选择最佳schedule。我们通过在Raspberry Pi上对运算符性能进行基准测试，给出了每个运算符在给定形状的最佳schedule。 还是比较NNVM编译器与MXNet。MXNet默认启用OpenBLAS和NNPACK，我们还手动打开了NNPACK中的winograd卷积以获得最佳性能。 可以看出，NNVM编译器在Resnet18上快了2.2倍。而MobileNet上更有11.5倍的差异。这主要是由于在MXNet中没有优化深度卷积（因为dnn库中缺少这样的运算符），而NNVM编译器则受益于直接生成高效的代码。 我们介绍了NNVM编译器，它将高级计算图编译成优化的机器代码。NNVM编译器基于TVM堆栈中的两个组件：NNVM使用图优化例程提供计算图和运算符的specification，运算符通过使用TVM针对目标硬件实现和优化。我们证明，只需花费很少的精力，这种编译器可以匹配甚至超过两个完全不同的硬件（ARM CPU和Nvidia GPU）上的state-of-the-art性能。 我们希望NNVM编译器可以大大简化新的AI前端框架和后端硬件的设计，并帮助在各种前端和后端为用户提供一致的结果。 原文链接： https://amazonaws-china.com/cn/blogs/ai/introducing-nnvm-compiler-a-new-open-end-to-end-compiler-for-ai-frameworks/ 【扫一扫或点击阅读原文抢购五折“早鸟票”】AI WORLD 2017 世界人工智能大会购票二维码： via: http://mp.weixin.qq.com/s?__biz=MzI3MTA0MTk1MA==&mid=2652005833&idx=2&sn=ea2a3c08d1786db6b8def502456f12ee&scene=0#wechat_redirect
公告板 会议活动 经验总结 深度学习 算法 语音 Carlos Guestrin GPU Haichen Shen Joaquin Candela Leyuan Wang Luis Ceze Yuwei Hu Ziheng Jiang 博客 陈天奇 行业动态 会议 活动 李沐 神经网络
「【深度学习框架的未来】李沐：AWS开源端到端AI框架编译器NNVM」2017 年 11 月 8 日，在北京国家会议中心举办的 AI WORLD 2017 世界人工智能大会开放售票！早鸟票 5 折抢票最后1天！还记得去年一票难求的AI WORLD 2016盛况吗？今年，我们邀请了冷扑大师”之父 Tuomas 亲临现场，且谷歌、微软、亚马逊、BAT、讯飞、京东和华为等企业重量级嘉宾均已确认出席。 关于大会，请关注新智元微信公众号或访问活动行页面： http://www.huodongxing.com/event/2405852054900?td=4231978320026了解更多1新智元翻译 来源：AWS AI Blog 作者：李沐 译者：费欣欣 【新智元导读】AWS AI主任科学家李沐今天在官博发表文章，介绍了一种新的编译器NNVM，可以大大简化新的AI前端框架和后端硬件的设计，在各种前端和后端为用户提供一致的结果。NNVM编译器将高级计算图编译成优化的机器代码，只需花费很少的精力，就可以匹配甚至超过两个完全不同的硬件（ARM CPU和Nvidia GPU）上的state-of-the-art性能。 有很多个人工智能（AI）框架供你选择来开发AI算法。同样你也可以选择各种硬件来训练和部署AI模型。框架和硬件的多样性对于保持AI生态系统的健康至关重要。但是，这种多样性也为AI开发人员带来了几个挑战。本文将简要介绍这些挑战，并引入一个编译器解决方案来辅助解决这些问题。 下面，我们首先回顾挑战，介绍华盛顿大学和AWS研究团队，然后介绍编译器的工作原理。 首先，由于前端接口和后端实现之间的差异，从一个AI框架切换到另一个AI框架是很麻烦的。此外，算法开发人员在开发和交付流程中可能会使用多个框架。在AWS，我们有客户希望在MXNet上部署其Caffe模型，从而享受Amazon EC2上的加速性能。根据Joaquin Candela最近的博客，用户可能会使用PyTorch快速开发，然后在Caffe2上部署。但是，我们也听到有人表示在将模型从一个框架转换到另一个框架之后调试结果差异十分困难。 其次，框架开发人员需要维护多个后端，才能确保从智能手机芯片到数据中心GPU的各种硬件的性能。以MXNet为例，MXNet有一个从头构建的便携式C++实现，还附带了专门的后端支持，比如英伟达GPU的CuNNN和英特尔CPU的MKLML。确保这些不同的后端为用户提供一致的数值结果十分具有挑战性。 最后，芯片厂商制造的每款新芯片也需要支持多个AI框架。每个框架中的workload都以独特的方式进行表征和执行，因此即使像卷积一样的运算也可能需要以不同的方式进行定义。因此，在芯片设计和制造方面，支持多个框架也需要大量的工程设计。 不同的AI框架和硬件为用户带来巨大的收益，但AI开发人员为终端用户提供一致性却是非常具有挑战性的事情。幸运的是，我们并不是第一个面对这种问题的人。计算机科学在不同硬件上运行各种编程语言的历史由来已久。解决这个问题的一个关键技术是编译器。由编译技术驱动，来自华盛顿大学（UW）计算机科学与工程系保罗·艾伦学院的陈天奇，Thierry Moreau，Haichen Shen，Luis Ceze，Carlos Guestrin和Arvind Krishnamurth等一批研究人员，与AWS AI团队的Ziheng Jiang，提出了TVM堆栈来简化这个问题。 今天，AWS很高兴与UW研究团队一起宣布基于TVM堆栈的端到端编译器，它将workload直接从各种深度学习前端编译成优化的机器代码。 下面，我们先来看这个编译器架构。 我们可以注意到，典型的AI框架大致分为三部分： 前端开放一个易于使用的界面给用户；从前端收到的workload通常被表示为由数据变量（a，b和c）和运算符（*和+）组成的计算图；从基本的算术运算到神经网络层的运算符都可以针对多个硬件进行实现和优化。 新的编译器，NNVM编译器，基于TVM堆栈中的两个组件：用于计算图的NNVM和用于张量运算符的TVM。 NNVM – 计算图中间表示（IR）堆栈 NNVM的目标是将不同框架的workload表示为标准计算图，然后将这些高级图转换为执行图。这种计算图的灵感来自Keras中的层定义和numpy的张量运算符。 NNVM还随附例程，名叫Pass，遵循LLVM约定。这些例程可以向图中添加新属性来执行它们或修改图以提高效率。 TVM – 张量IR堆叠 源自Halide的TVM实现了计算图中使用的运算符，并针对目标后端硬件进行了优化。与NNVM不同，TVM提供了一种独立于硬件的域特定语言，简化张量索引级别中的操作符实现。TVM还提供调度原语（如多线程，平铺和高速缓存）来优化计算以充分利用硬件资源。这些计划与硬件有关，可以手动编码，也可以自动搜索优化的模式。 支持的前端和后端如下图所示。 MXNet直接将其计算图转换为NNVM图得到支持，Keras也以类似的方式得到支持，不过正在开发中。NNVM编译器也可以采用模型格式，如CoreML。因此，凡是能够使用这些格式框架都可以使用此编译堆栈。 TVM目前随附多个代码生成器，支持各种后端硬件。例如，TVM为CPU（如X86和ARM）生成LLVM IR，也可以为各种GPU输出CUDA，OpenCL和Metal内核。 添加新的支持的操作也很简单。对于新的前端，我们只需要将其workload转换为定义计算图和运算符规范的NNVM即可。要添加新的硬件，我们可以重复使用TVM的运算符实现，只需要指定有效schedule即可。 我们使用MXNet展示NNVM编译器性能，前端硬件配置是：ARM上的Raspberry PI和AWS上的英伟达GPU。虽然这两种芯片间的架构差异巨大，但代码上的唯一差异在于调度部分。 GPU的schedule主要由Leyuan Wang（AWS）和Yuwei Hu（TuSimple）在实习期间编写。比较NNVM编译器与MXNet，英伟达K80的cuDNN后端。像深度卷积的运算符这样在cuDNN中没有有效支持的，通过手动优化的CUDA内核来实现。可以看出，NNVM编译器运行ResNet18和MobileNet比cuDNN后端略好（1.2倍快）。 在Raspberry PI的情况下，我们通过自动调谐器选择最佳schedule。我们通过在Raspberry Pi上对运算符性能进行基准测试，给出了每个运算符在给定形状的最佳schedule。 还是比较NNVM编译器与MXNet。MXNet默认启用OpenBLAS和NNPACK，我们还手动打开了NNPACK中的winograd卷积以获得最佳性能。 可以看出，NNVM编译器在Resnet18上快了2.2倍。而MobileNet上更有11.5倍的差异。这主要是由于在MXNet中没有优化深度卷积（因为dnn库中缺少这样的运算符），而NNVM编译器则受益于直接生成高效的代码。 我们介绍了NNVM编译器，它将高级计算图编译成优化的机器代码。NNVM编译器基于TVM堆栈中的两个组件：NNVM使用图优化例程提供计算图和运算符的specification，运算符通过使用TVM针对目标硬件实现和优化。我们证明，只需花费很少的精力，这种编译器可以匹配甚至超过两个完全不同的硬件（ARM CPU和Nvidia GPU）上的state-of-the-art性能。 我们希望NNVM编译器可以大大简化新的AI前端框架和后端硬件的设计，并帮助在各种前端和后端为用户提供一致的结果。 原文链接： https://amazonaws-china.com/cn/blogs/ai/introducing-nnvm-compiler-a-new-open-end-to-end-compiler-for-ai-frameworks/ 【扫一扫或点击阅读原文抢购五折“早鸟票”】AI WORLD 2017 世界人工智能大会购票二维码： via: http://mp.weixin.qq.com/s?__biz=MzI3MTA0MTk1MA==&mid=2652005833&idx=2&sn=ea2a3c08d1786db6b8def502456f12ee&scene=0#wechat_redirect
IT技术头条 网页版 2017-10-07 17:48
统计
【机器学习之概率与统计（一）- 随机变量及其分布】1目录 一、 概率公理及推论… 2 1. 联合概率… 2 2. 条件概率… 2 3. 全概率公式… 2 4. 贝叶斯公式… 2 二、 随机变量及其分布… 2 1. 随机变量… … 详戳→ http://t.cn/ROLdVVb 作者→ (tanv)
网路冷眼 网页版 2017-10-07 17:00
经验总结 算法 博客 神经网络
【Lessons learned from building a Hello World Neural Network】 http://t.cn/ROLQlGJ 从建立Hello World神经网络中吸取的经验教训。
机器之心Synced 网页版 2017-10-07 16:19
深度学习 GPU Python
【这是一份你们需要的Windows版深度学习软件安装指南】 http://t.cn/ROLpndj 本文从最基本的依赖项开始，依次配置了 VS 2015、Anaconda 4.4.0、CUDA 8.0.61 和 cuDNN v5.1 等基本环境，然后再从 Keras 出发安装 Theano、TensorFlow 和 CNTK 以作为其后端。在完成配置深度学习框架后，本文分别利用这三个…全文： http://m.weibo.cn/3996876140/4160250179333857
陈天奇怪 网页版 2017-10-07 06:52
深度学习 GPU
我们今天发布了基于TVM工具链的深度学习编译器 NNVM compiler http://t.cn/ROAunla 。支持将包括mxnet，pytorch，caffe2, coreml等在内的深度学习模型编译部署到硬件上并提供多级别联合优化。速度更快，部署更加轻量级。 支持包括树莓派，服务器和各种移动式设备和 cuda, opencl, metal, javascript以…全文： http://m.weibo.cn/2397265244/4160107270386180
爱可可-爱生活 网页版 2017-10-07 06:23
深度学习 算法 Christopher Manning 神经网络
【(TensorFlow)RNN入门】《Recurrent Neural Networks | Manning》by Nishant Shukla http://t.cn/ROAmnWu
爱可可-爱生活 网页版 2017-10-07 06:14
会议活动 NIPS 会议
“DISCML – NIPS Workshop on Discrete Structures in Machine Learning” http://t.cn/ROAmoAX
爱可可-爱生活 网页版 2017-10-07 05:43
资源 自然语言处理 Steven Hewitt 课程 书籍 问答系统
【教程：用TensorFlow实现自动问答(QA)】《Question answering with TensorFlow | O’Reilly Media》by Steven Hewitt http://t.cn/ROAnQDI
爱可可-爱生活 网页版 2017-10-07 05:40
算法 资源 KNN Python 聚类 课程
【(Python)K-Means聚类基础教程】《K-Means Clustering in Python》by Mubaris NK http://t.cn/R0d64Nd
爱可可-爱生活 网页版 2017-10-07 05:38
深度学习 Python
【Theano到Chainer的平滑迁移】《How to use Chainer for Theano users》 http://t.cn/ROwG2q1
爱可可-爱生活 网页版 2017-10-07 05:32
视觉 Kaggle
【Kaggle新赛：犬只(图像)品种鉴定】《Dog Breed Identification – Determine the breed of a dog in an image | Kaggle》 http://t.cn/ROAno5h
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
