2017年10月_Hadoop技术博文

原创干货 | Apache Spark最佳实践

本PPT来自 Spark summit EUROPE 2017（其他ppt资料正在整理中，请关注本公众号iteblog_hadoop，或https://www.iteblog.com）Apache Spark不管是在 ETL、机器学习还是数据仓库等方面都是很不错的工具。但是真正想充分利用好 Spark 需要你了解数据存储、文件格式以及查询优化等工作。本演讲作者将介绍其多年来使用Sp

2017-10-31 00:00:00 1693

转载放弃Caffe转向TensorFlow，从0到1只需两步

移动互联网的竞争现在已进入了下半场，互联网时代下造就的如Google、Facebook、微软以及国内的百度、阿里巴巴、腾讯等等巨无霸企业，都在布局下一个将要席卷全球而来的时代：人工智能时代。而加速人工智能时代来临的力量之一，正是深度学习技术。短短十年，深度学习技术颠覆了语音识别、图像分类、文本理解等众多领域的算法设计思路。可以说，深度学习正在改变着我们生活的世界。而

2017-10-26 00:00:00 2437

原创 [干货]大规模数据处理的演变(2003-2017)

本PPT介绍了大规模数据处理的演变，从最早的Mapreduce、Hadoop介绍到最新的Beam；并最后得出结论：The future of streaming and batch is Apache Beam。值得一看。本PPT由Google的大神泰勒•阿克道（Tyler Akidau）分享，他是谷歌的一名高级软件工程师。是谷歌内部流计算数据处理系统（如MillWheel、Bea

2017-10-25 00:00:00 1054

原创 MMLSpark：微软开源的用于Spark的深度学习库

如果下面文档格式错乱，请参见https://www.iteblog.com/archives/1899.html，或点击下面阅读原文进行阅读MMLSpark为Apache Spark提供了大量深度学习和数据科学工具，包括将Spark Machine Learning管道与Microsoft Cognitive Toolkit（CNTK）和OpenCV进行无缝集成，使您能够快速创建功能强大，高

2017-10-24 00:00:00 1147

转载 LogDevice：Facebook开发的分布式日志数据存储系统

本文转载自：http://www.infoq.com/cn/news/2017/10/LogDevice-Facebook，点击下面阅读原文即可进入写在前面做过分布式系统的人都知道，想要在大规模集群下处理高并发事务时同时满足CAP（一致性、可用性、分区容错），从理论上来说不可能，当然听说最近谷歌已经实现了这样的分布式系统，但是总的来说确实非常难。对于社交媒体的海量日志文件，如

2017-10-23 00:00:00 1001

转载如何高效地合并Spark社区PR到自己维护的分支

本文原文：https://zhuanlan.zhihu.com/p/30004169，点击下面阅读原文即可进入最近刚刚忙完Spark 2.2.0的性能测试及Bug修复，社区又要发布2.1.2了，国庆期间刚好有空，过了一遍2.1.2的相关JIRA，发现有不少重要修复2.2.0也能用上，接下来需要将有用的PR合到我们内部维护的2.2.0分支上了。经常有朋友问我是怎么把社区的PR合到自己分

2017-10-20 00:00:00 810

原创 Flink Forward 201709所有PPT资料下载

这次整理的PPT来自于2017年09月11日至13日在 Berlin 进行的 Flink forward 会议，这种性质的会议和大家熟知的 Spark summit 类似。本次会议的官方日程参见：https://berlin-2017.flink-forward.org/kb_day/day-1/。因为原始的PPT是在 http://www.slideshare.net/ 网站，这个网站需要翻

2017-10-19 00:00:00 676

转载平均年薪30万的深度学习算法工程师，正面临100万的人才缺口

深度学习的突破极大推动了人工智能的发展，并广泛应用在计算机视觉、自然语言处理等领域中。谷歌、百度的IDL、腾讯的AI lab、华为等都在重金布局人工智能，同时，以深度学习为核心技术的人工智能企业不断涌现，我们耳熟能详的有：格林深瞳、商汤科技、Face++、地平线、图森未来、依图科技、云从科技、极视角、中科慧眼、中科视拓、银河水滴等。据领英近日发布的《全球AI领域人才报告》显示，截至20

2017-10-18 00:00:00 8060 1

原创 Apache Hadoop 3.0.0-beta1 正式发布，2017-11-01发布GA版即可在线上使用

下面内容如有不清晰请参见https://www.iteblog.com/archives/2270.html，或点击下面阅读原文即可就在前几天，Apache Hadoop 3.0.0-beta1 正式发布了，这是3.0.0的第一个 beta 版本。本版本基于 3.0.0-alpha4 版本进行了Bug修复、性能提升以及其他一些加强。好消息是，这个版本之后会正式发行 Apache Hadoop

2017-10-12 00:00:00 1531

转载【福利】3980元的Hadoop大数据视频教程限量领取！！！

近期很多人都在说想学习hadoop大数据，马云也说了：“未来最大的资源就是数据，不参与大数据十年后一定会后悔！”目前腾讯的社交数据，百度的搜索数据以及阿里的交易数据每天都是PB级别，都是公司最重要的资产。鉴于此，推荐一位非常牛逼的Hadoop技术牛人：林中天，花名：铁匠。原百度hadoop核心架构师，大数据团队Leader，在百度负责互联网广告，个性化推荐，算法，模

2017-10-11 00:00:00 432

原创美团点评数据平台融合实践

本文PPT来源于2017年ArchSummit全球架构师峰会。美团点评两家公司合并以来，经历了组织架构融合、线上业务融合、数据与基础设施融合的三个大阶段。本次分享介绍第三阶段，美团点评整个数据平台融合项目推进经验，及相关技术突破，期望对有大的数据平台技术产品重构或底层技术架构调整需求的架构师进行参考。平台项目分为三个阶段：1、数据流打通；2、离线集群透明迁移

2017-10-10 00:00:00 1373

Hadoop技术博文