【无标题】Linux下hadoop大数据处理环境的一些命令操作

1.展示linux版本
uname -a

2.展示创建了什么用户
cat /etc/passwd|grep -v nologin|grep -v halt|grep -v shutdown|awk -F":" ‘{ print $1"|“$3”|"$4 }’|more

3.展示安装的java版本
java -version

4.展示java配置变量
vim /etc/profile
Java_home是环境变量 path是路径变量

5.展示主机名和ip地址
看ip
sudo apt install net-tools 先下载命令
ifconfig -a 查看ip
看主机名
hostname

6.展示ssh的配置
sudo vim /etc/ssh/sshd_config

7.展示ssh可用
ssh localhost

8.展示hadoop 已安装及安装位置
cd /usr/local/
ls

9.展示Hadoop配置
配置core-site.xml
cd /usr/local/hadoop/etc/hadoop
vim core-site.xml
配置hdfs-site.xml
vim hdfs-site.xml
10.格式化HDFS
cd /usr/local/hadoop/bin/
ls
./hdfs namenode -format

11…展示如何启动hadoop
cd /usr/local/ hadoop/sbin/
./start-all.sh
12.展示hadoop 相关进程已启动
jps 查看三个节点（slave1 hadopp 111111 也要敲jps）
13.展示HDFS有哪些文件和目录

14.展示在HDFS建立两个目录myinput和myoutput，分别作为输入和输出目录
hdfs dfs -ls
15.展示将本地的两个文本文件上传到hdfs的输入文件夹myinput
hdfs fs -mkdir -p /data/wordcount 创建input文件夹
hdfs fs -mkdir /output

创建txt文件
Cd ~
Vim myword.txt

查看创建的文件
Cat myword.txt

将txt文件上传到hdfs
Hadoop fs -put myword.txt /data/wordcount

查看是否上传成功
hadoop fs -ls /data/wordcount
hadoop fs -cat /data/wordcount/myword.txt
//hdfs dfs -put /usr/local/hadoop/etc/hadoop/*.xml input 上传到input文件夹
16.展示前两步操作已成功

17.展示运行Hadoop自带的单词统计程序，刚才的两个文本文件是输入文件，刚才创建的输出目录存放结果
查看hadoop自带的单词统计程序
cd /usr/local/hadoop/shar/hadoop/mapreduce/
ls
hadoop jar/usr/local/hadoop/share/hadoop/mapreduce/
hadoop-mapreduce-examples-3.1.3.jar wordcount /data/wordcount /output/wordcount

18.展示统计结果正常
Hdfs dfs -ls myoutput
Hdfs dfs -cat myoutput/part-r-00000
19.展示如何停止Hadoop
cd /usr/local/hadoop/sbin
./stop-all.sh