Hadoop学习路线

随着大数据的盛行，Hadoop也流行起来。面过一些公司，包括开发Hadoop :如Cloudera, Hortonworks, MapR, Teradata, Greenplum, Amazon EMR, 使用Hadoop的除了Google，数不胜数了.

Hadoop 2.0转型基本无可阻挡，今年下半年要正式发布了，它的出现让大家知识体系都 要更新了。Hadoop1.0搞了8年才发布，2.0不到2年就出来了。2.0的核心是YARN，它的 诞生还是有趣的故事

YARN介绍

• Yarn from Hortonworks
• Yarn from IBM developerworks

Hadoop 生态系统

• Hadoop Ecosystem at a Glance

SQL on Hadoop

• SQL is what’s next for Hadoop: Here’s who’s doing it

• All SQL-on-Hadoop Solutions are missing the point of Hadoop

Hadoop Summit

• Hadoop Summit, San Jose

书籍和Paper

“Hadoop: The Definitive Guide”: 里面内容非常好，既有高屋建瓴，又有微观把握，基本适用于1.X版本。比如mapreduce各个子阶段，Join在里面也有代码实现，第三版

• Hadoop: The Definitive Guide, 3rd Edition
• tomwhite/hadoop-book · GitHub

Google的三辆马车，GFS, MapReduce, BigTable Google的新三辆马车：Caffeine、Pregel、Dremel

• Big Data beyond MapReduce: Google’s Big Data papers

SIGMOD, VLDB Top DB conference

入门：

1. 知道MapReduce大致流程，Map, Shuffle, Reduce
2. 知道Combiner, partition作用，设置Compression
3. 搭建Hadoop集群，Master/Slave 都运行那些服务 NameNode, DataNode, JobTracker, TaskTracker
4. Pig, Hive 简单语法，UDF写法

• When to use Pig Latin versus Hive SQL?
• Online Feedback Publishing System
• Introduction to Apache Hive Online Training
• http://i.stanford.edu/~ragho/hive-icde2010.pdf

Hadoop 2.0新知识; HDFS2 HA，Snapshot, ResourceManager,ApplicationsManager, NodeManager

进阶:

• HDFS，Replica如何定位

• HDFS Design

• Hadoop 参数调优，性能优化，Cluster level: JVM, Map/Reduce Slots, Job level: Reducer #, Memory, use Combiner? use Compression?

• 7 Tips for Improving MapReduce Performance

• Hadoop Summit 2010 Tuning Hadoop To Deliver Performance To Your Application

• HBase 搭建，Region server, key如何选取?
• 数据倾斜怎么办？

算法：

• 字典同位词
• 翻译SQL语句 select count(x) from a group by b;
• MapReduce Algorithms
• Designing algorithms for Map Reduce

Blog

关注Cloudera, Hortonworks, MapR

• 董的博客

• Hadoop学习资料

相关系统

• 数据流系统: Storm

• 内存计算系统: Spark and Shark

• 交互式实时系统：Cloudera Impala， Apache Drill (Dremel开源实现），Tez (Hortonworks)

公司列表：

• Powered by

其他

• Hadoop进化目标：开发部署傻瓜化，性能更强劲，最后为程序员标配。
• 核心都是被寡头控制的，记得一边文章说一流的公司卖标准，二流的公司卖技术，三 流的公司卖产品，H和C有最多的committer，自然就影响着整个Hadoop社区。
• 技术就是日新月异，还是多看看那些公司的博客，关注感兴趣的新产品，Hortonworks Stack
• 在Hadoop系统中从头裸写MapReduce不现实了，ETL基本靠Hive,Pig, 还有Cascading,Scalding
• MapReduce并不是最优的，仅适合批处理，很多问题：JVM的启动overhead很大，小 Job更明显，数据必须先存储，不适合迭代计算，延迟高。DB学术圈讨论很久tradeoff 了,MapReduce: 一个巨大的倒退

转载于:https://www.cnblogs.com/gala1021/p/8552137.html