大数据入门篇

大数据学习之路

首先在学习大数据的开始，一定要学会几个操作。（java和linux基本操作是学习的基础）

1. 看官网，比如
   
   学会自己去官网查看使用文档。
2. 看日志，比如
   
   搭建分布式或者在学习过程中可能会出现非常多的问题，我们要做到的就是遇到问题自己解决，查看日志报错信息，根据日志中的错误来解决这个问题。
3. 看源码，比如
   这个的话就比较重要了，就拿mapreduce过程中的分片，我们去查看源码的话很容易就可以查看他的分片规则。
   进入FileInputFormat查看getSplits方法就可以清晰的指导分片规则。

大数据的工具

hdfs：分布式存储系统
yarn：分布式资源调度
mapreduce：分布式计算框架
hive：数据仓库工具
hbase：分布式海量存储数据库
zookeeper：分布式协调服务
flume：分布式日志采集工具
sqoop：数据导入导出工具
mahout：机器学习算法库
oozie/azkaban:工作流调度平台

分布式思想

分而治之，处理海量数据。比如，hdfs文件系统，通过多台机器存储文件。后续在学习中需要逐渐培养这种思维方式。