（一）Hadoop基础概念、框架、体系

1、hadoop1.x和hadoop2.x区别

 

2、Hadoop的架构组成：

• Namenode：存储文件的元数据（如：文件名、文件目录结构、文件属性（生成时间、副本数、文件权限）），以及每个文件的块列表和块所在的Datanode等。
• Datanode：在本地文件系统存储文件块数据，以及块数据的校验和。
• SecondaryNamenode：用来监控HDFS状态的辅助后台程序，每隔一段时间获取HDFS元数据的快照。

 

3、Yarn架构：

 

• ResourceManager整个集群资源的老大；
• NodeManager单个节点资源的老大；

 

4、大数据技术生态体系：

 

• Sqoop传递结构化数据入HDFS；
• Flume专门用于日志收集入HDFS；
• 离线计算：MapReduce离线计算和Spark Core内存计算；
• 实时计算：Storm实时计算（真实时计算）和Spark Streaming实时计算（准实时计算，批处理的方式）；
• Oozie用于复杂任务调度，而Azkaban用于小任务调度；
• Zookeeper：用于统一的配置修改一些需要经常变化的组件的参数，这样就可以实现在一处修改，然后对集群分发，不需要一台一台机器的去修改配置；

 

5、推荐系统框架图：

 

• 推荐系统流程：用户购买商品后-->Ngin负载均衡分到服务器-->服务器收集访问日志-->Flume做日志收集-->存储到HDFS或Hbase-->Yarn做资源调度-->调用Spark Streaming做实时计算-->计算的结果存储到结果数据库或结果文件-->服务器做推荐业务返回给用户