1.Hadoop
广义: 以apache hadoop软件为主的生态圈(hive sqoop spark flink…)
狭义: apache hadoop软件
查询资料到以下官网
hadoop.apache.org
hive.apache.org
spark.apache.org
2.hadoop软件版本的选取:
1.x 版本太旧,企业不用
2.x 主流使用
3.x 很少敢用,很多坑,只能自己踩
但是CDH(www.cloudera.com) 版本兼容统一的部署管理,很受企业欢迎,HDP拿apache hadoop源代码(开源免费),封装成自己的hadoop版本,且自己打补丁。
3.Hadoop软件
hdfs: 存储,分布式计算
mapreduce:计算,java编码,企业不用(开发难度大,代码量大,速度慢)
yarn:资源(CPU memory)和作业调度
本课程运用:hadoop-2.6.0-cdh5.7.0