大数据工具使用纪实

 

1.hadoop

主从式hadoop配置主要包含：

1.环境准备：java环境，免密登陆，主机名映射（可选），环境变量

2.配置文件：

• core-site.xml
• hdfs-site.xml
• slaves

3.操作

• hdfs namenode –format     #格式化hdfs
• start-dfs.sh
• stop-dfs.sh
• hdfs dfs -put /file/path   /   #上传本地文件到hdfs根目录
• 浏览器访问50070端口（default）

附启动后状态图示

2.yarn

hadoop资源管理和作业调度组件

1.配置文件

• mapred-site.xml
• yarn-site.xml

2.操作

• start-yarn.sh
• stop-yarn.sh
• 浏览器8808端口

3.spark

1.配置文件

• spark-env.sh

2.操作

• start-master.sh
• start-slaves.sh
• stop-master.sh
• stop-slaves.sh
• spark-shell --master spark://master:7077
• 浏览器端口8080

4.hbase & zookeeper

5.hive

6.storm

1.配置文件

• storm.yaml
• storm nimbus &
• storm supervisor &
• storm ui &