Hadoop
狭义:hadoop软件 hadoop.apache.org
广义:hadoop生态圈(hive zookeeper spark)
版本
用2.x
3.x 需要踩坑
主要用CDH5.x 部署大数据环境
用的是 hadoop2.6.0-cdh5.7.0
baidu : cdh tar
ctrl + f 搜索 cdh5.7.0
hadoop组件
hdfs : 存储 分布式文件系统
mapreduce:计算
yarn:资源(CPU和内存)和作业调度
大数据组件的目录特点
进入组件目录 会发现一些共有的特点:
bin 为可执行脚本
etc 为配置目录 (conf)
lib 为jar包目录 jar包升级时需要替换
sbin 组件的启动 停止脚本