(1)大数据hadoop

来源 非常感谢
https://www.bilibili.com/video/BV1Qp4y1n7EN?p=9&spm_id_from=pageDriver
共178集 预计一周看完 每天30集

大数据特点
大量
高速
多样
低价值密度

hadoop框架
一、 概念
1 是什么
由apache基金会所开发的分布式系统基础架构
主要解决海量的数据的存储和分析计算问题
广义上来说是hadoop生态圈,例如hbase hive

2 发展历史
3 三大版本
apache cloudera（CDH）收费 hortonworks(HDP)之前免费 现在收费。免费版hadoop3.0

4 优势
高可靠性——底层维护多个数据副本，保证数据不丢失
高扩展性——动态增加删除服务器
高效性——并行工作，加快处理速度
高容错性——自动将失败的任务重新分配

5 组成
hadoop1.0
common(辅助工具)
HDFS
MapReduce(计算+资源调度)

hadoop2.0
MapReduce(计算+资源调度) 变成 MapReduce(计算)+YARN(资源调度)

HDFS

namenode 数据都存在什么位置
datanode 具体存储数据
2NN 辅助namenode


YARN
resourceManager
nodeManager
applicationMaster
container

客户端可以有多个
集群上可以运行多个application
每个nodemanager可以有多个container


MapReduce

三者关系

6 大数据技术生态体系

7 推荐系统案例

二、 环境准备
1 模拟虚拟机准备
2 克隆
3 安装JDK,hadoop

三、 生产环境搭建
1 本地模式
2 完全分布式集群

四、 常见错误解决方案