大数据时代的机器学习

原创 2014年07月24日 16:04:01

本文参考CCF YOCSEF的“大数据时代的机器学习报告会”的相关内容


张长水:大数据时代的机器学习 VS 传统机器学习

从机器学习角度看,“大数据”指的是数据量大,数据本身不够精确,数据混杂,数据自然产生。机器学习对大数据的处理的两个挑战:

  • 数据量大导致计算困难
  • 分布在不同服务器上的数据存在一定联系,这些数据基本上不满足“独立同分布”假设,传统的模型和算法很难适应。
大数据时代给机器学习带来新的机遇:
  • 在某些应用条件下,高维空间中的局部数据变得稠密。这个现象可以为分类器的设计提供更丰富的信息。甚至使分类器在性能上接近理论极限性能。
  • 大数据使样本空间原本“空旷”的区域出现样本,这也为提升分类器性能提供潜在基础。


于剑:从认知角度看待大数据
该报告从认知角度分析数据与知识的联系。目前机器学习的知识主要是概念,传统的小数据很难反映领域的复杂知识,大数据提供了学习复杂知识的机会。在大数据时代,未来的机器学习可以超越概念学习,进入复杂知识学习时代。


李沐:深度学习在统计机器学习领域的应用
深度学习在图像,视频领域已经取得很大的进展。但是在自然语言处理方面,还有很多的问题需要解决。包括如何用深度学习的方法处理:
  • 双词语对齐
  • 层次化机器翻译解码
  • 主题建模
  • 提升机器翻译质量
  • ...
当前该领域的一些进展:
  • 自动编码机和Recursive自动编码机用于实现从单词和短语到实空间的映射
  • 上下文相关的DNN-HMM模型能够自动发现双语语料中短语和单词的相似性,从而实现词语对齐
  • Recursive Recurrent Neural Network (R2NN)能将不同信息集成起来,建立树结构的翻译候选集

 徐盈辉:大规模机器学习在阿里电子商务中的应用
当前,阿里数据平台事业部的服务器上,积攒下超过100PB的多元异构数据。电子商务环境下的机器学习课题包括:
  • 点击率预估
  • 转换率预估
  • 个性化搜索
  • 个性化推荐
  • 商品自动聚类
  • 销量预测

李沐:大规模分布式机器学习系统及其应用
该报告主要介绍由百度,Google以及CMU合作建立的开源计算平台---参数服务器(Parameter Server)。该项目产生的背景是由于工业领域产生的数据已达到千亿样本,百亿特征。这导致对于复杂的非线性多分类任务,模型参数的计算量是非常巨大的。这就需要通过分布式系统来解决这个问题。需要探索在不同机器上分配计算负荷、共享内存计算模型、并行化学习策略以及降低通讯开销的策略和方法。

PS:人物介绍
张长水:清华大学教授
于剑:北京交通大学教授
李沐:微软亚洲研究院研究员,百度深度学习研究院少帅学者
徐盈辉:淘宝搜索算法高级研发专家

大数据时代的算法 机器学习、人工智能及其典型实例-刘凡平-PDF

  • 2018年01月15日 22:48
  • 34.06MB
  • 下载

大数据时代的算法 机器学习、人工智能及其典型实例

  • 2017年12月21日 23:48
  • 34.12MB
  • 下载

大数据时代的机器学习

张长水:大数据时代的机器学习 VS 传统机器学习 从机器学习角度看,“大数据”指的是数据量大,数据本身不够精确,数据混杂,数据自然产生。机器学习对大数据的处理的两个挑战: 数据量大导致计算困难 分布在...
  • Hipercomer
  • Hipercomer
  • 2014-07-24 16:04:01
  • 1976

人工智能之机器学习算法体系汇总

目录(?)[+] 1.人工智能之机器学习体系汇总2.人工智能相关趋势分析  2.1.人工智能再次登上历史舞台2.2.Python才是王道2.3.深度学习趋势大热2.4.中国...
  • qq_34424731
  • qq_34424731
  • 2017-07-31 15:26:04
  • 1855

大数据,人工智能,深度学习,机器学习课程收集

课程分享涵盖内容 大数据处理工具:Hadoop、Spark、Storm、Hive等配套基础及项目课程; 机器学习类课程:机器学习算法、深度学习算法基础及项目 深度学习类课程:Tens...
  • woxxq
  • woxxq
  • 2017-05-19 14:08:30
  • 4016

机器学习之-决策树算法【人工智能工程师--AI转型必修课】

【咱们的目标】系列算法讲解旨在用最简单易懂的故事情节帮助大家掌握晦涩无趣的机器学习,适合对数学很头疼的同学们,小板凳走起!决策树模型是机器学习中最经典的算法之一啦,用途之广泛我就不多吹啦,其实很多机器...
  • CSDNedu
  • CSDNedu
  • 2017-12-11 17:25:13
  • 1923

机器学习大数据时代2

  • 2017年12月30日 18:54
  • 12MB
  • 下载

每周一本书之《大数据时代的算法:机器学习、人工智能及其典型实例》

中国在很早就开始了算法研究,如《周髀算经》《九章算术》这类最具历史的算法书籍,后来的唐宋元明清各历史朝代也出现了《一位算法》《算法绪论》《算法全书》《算法统宗》等一系列算法名著,算法已经成为各行各业的...
  • qq646748739
  • qq646748739
  • 2017-05-23 00:05:46
  • 292

终极算法:机器学习和人工智能如何重塑世界pdf

下载地址:网盘下载   内容简介  · · · · · ·算法已在多大程度上影响我们的生活?购物网站用算法来为你推荐商品,点评网站用算法来帮你选择餐馆,GPS系统用算法来帮你选择最佳路线,公司用算法来...
  • cf406061841
  • cf406061841
  • 2018-02-05 20:48:11
  • 274

终极算法:机器学习和人工智能如何重塑世界笔记

弗雷德·贾里尼克(IBM语音研究组的领导)说过一句著名的俏皮话:“每开除一名语言学家,我的语音识别系统的错误率就降低一个百分点。” 《终极算法:机器学习和人工智能如何重塑世界》作者: [美]佩德罗·多...
  • Notzuonotdied
  • Notzuonotdied
  • 2017-08-17 11:00:38
  • 2070
收藏助手
不良信息举报
您举报文章:大数据时代的机器学习
举报原因:
原因补充:

(最多只允许输入30个字)