1、简单的指令
查看有没连接到网络,先ping一下
[root@hadoop102 ~]#ping www.baidu.com
查看IP
[root@hadoop102 ~]#ifconfig
重启network
[root@hadoop102 ~]#service network restart
编辑文本
[root@hadoop102 ~]#vi 文件
首先按下“i”,开始进行编辑
编辑完后保存退出
“esc”
:wq
查看文件
[root@hadoop102 ~]#cat 文件
跳转到指定目录
[root@hadoop102 ~]#cd 路径
返回上一级目录
[root@hadoop102 ~]#cd ..
查看该目录下的所有文件
[root@hadoop102 ~]#ls
或者
[root@hadoop102 ~]#ll
创建新的文件夹
[root@hadoop102 ~]#mkdir 文件夹名
修改权限
[root@hadoop102 ~]#chmod 777 文件
删除文件
[root@hadoop102 ~]#rm -rf 文件名
激活环境变量
[root@hadoop102 ~]#source /etc/profile
如果安装了jdk或其他,需要添加环境变量,先要知道路径
[root@hadoop102 hadoop-2.7.2]#pwd
/hadoop/hadoop-2.7.2
查看进程端口号
[root@hadoop102 ~]#jps
复制文件到另一个文件夹
[root@hadoop102 ~]#cp 文件1 输出地址2
创建一个文件
[root@hadoop102 ~]#touch data.txt
解压文件
[root@hadoop102 software]#tar -zxvf hadoop-2.7.2.tar.gz -C /opt/module/
从Windows本地上传文件到虚拟机中
[root@hadoop102 software]#rz
2、Hadoop的一些指令操作
启动namenode
[root@hadoop102 hadoop-2.7.2]#sbin/hadoop-daemon.sh start namenode
启动datanode
[root@hadoop102 hadoop-2.7.2]#sbin/hadoop-daemon.sh start datanode
启动ResourceManager
[root@hadoop103 hadoop-2.7.2]#sbin/yarn-daemon.sh start resourcemanager
启动NodeManager
[root@hadoop103 hadoop-2.7.2]#sbin/yarn-daemon.sh start nodemanager
启动集群的时候,由于ResourceManager和namenode不在同一个节点,此时并不能通过启动namenode去启动yarn。
启动hdfs
[root@hadoop102 hadoop-2.7.2]#sbin/start-dfs.sh
启动yarn
[root@hadoop102 hadoop-2.7.2]# sbin/start-yarn.sh
启动历史服务器
[root@hadoop102 hadoop-2.7.2]#sbin/mr-jobhistory-daemon.sh start historyserver
创建一个hdfs上的文件夹
[root@hadoop102 hadoop-2.7.2]#bin/hdfs dfs -mkdir -p /input
将测试内容上传到hdfs上的文件夹内
[root@hadoop102 hadoop-2.7.2]#bin/hdfs dfs -put 测试内容所在地址 /input
在运行程序前需要先删除之前存在的output文件
[root@hadoop102 hadoop-2.7.2]#bin/hdfs dfs -rm -R /output
不过我的操作比较粗暴一点,直接
[root@hadoop102 hadoop-2.7.2]#hdfs dfs -rm -r /output
运行官方示例wordcount
[root@hadoop102 hadoop-2.7.2]#bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.2.jar wordcount /input /output
查看输出文件
[root@hadoop102 hadoop-2.7.2]#hadoop fs -ls /output
查看输出结果
[root@hadoop102 hadoop-2.7.2]#bin/hdfs dfs -cat /output/part-r-00000
关闭安全模式
[root@hadoop102 hadoop-2.7.2]#bin/hadoop dfsadmin -safemode leave
修改hdfs上的文件的权限
[root@hadoop102 hadoop-2.7.2]#hadoop fs -Chmod -R 777 /user/output
这一步有一个好处,就是尽管是在Hadoop集群跑的程序,
但是如果eclipse也配置好了Hadoop的开发环境,
连接到了Hadoop集群,可以在eclipse上直接进行文件的上传和下载