shell命令行的一些基本指令操作

1、简单的指令

查看有没连接到网络,先ping一下

[root@hadoop102 ~]#ping www.baidu.com

查看IP

[root@hadoop102 ~]#ifconfig

重启network

[root@hadoop102 ~]#service network restart

编辑文本

[root@hadoop102 ~]#vi 文件
首先按下“i”,开始进行编辑
编辑完后保存退出
“esc”
:wq

查看文件

[root@hadoop102 ~]#cat 文件

跳转到指定目录

[root@hadoop102 ~]#cd 路径

返回上一级目录

[root@hadoop102 ~]#cd ..

查看该目录下的所有文件

[root@hadoop102 ~]#ls
或者
[root@hadoop102 ~]#ll

创建新的文件夹

[root@hadoop102 ~]#mkdir 文件夹名

修改权限

[root@hadoop102 ~]#chmod 777 文件

删除文件

[root@hadoop102 ~]#rm -rf 文件名

激活环境变量

[root@hadoop102 ~]#source /etc/profile

如果安装了jdk或其他,需要添加环境变量,先要知道路径

[root@hadoop102 hadoop-2.7.2]#pwd
/hadoop/hadoop-2.7.2

查看进程端口号

[root@hadoop102 ~]#jps

复制文件到另一个文件夹

[root@hadoop102 ~]#cp 文件1 输出地址2

创建一个文件

[root@hadoop102 ~]#touch data.txt

解压文件

[root@hadoop102 software]#tar -zxvf hadoop-2.7.2.tar.gz -C /opt/module/

从Windows本地上传文件到虚拟机中

[root@hadoop102 software]#rz

2、Hadoop的一些指令操作

启动namenode

[root@hadoop102 hadoop-2.7.2]#sbin/hadoop-daemon.sh start namenode

启动datanode

[root@hadoop102 hadoop-2.7.2]#sbin/hadoop-daemon.sh start datanode

启动ResourceManager

[root@hadoop103 hadoop-2.7.2]#sbin/yarn-daemon.sh start resourcemanager

启动NodeManager

[root@hadoop103 hadoop-2.7.2]#sbin/yarn-daemon.sh start nodemanager

启动集群的时候,由于ResourceManager和namenode不在同一个节点,此时并不能通过启动namenode去启动yarn。
启动hdfs

[root@hadoop102 hadoop-2.7.2]#sbin/start-dfs.sh

启动yarn

[root@hadoop102 hadoop-2.7.2]# sbin/start-yarn.sh

启动历史服务器

[root@hadoop102 hadoop-2.7.2]#sbin/mr-jobhistory-daemon.sh start historyserver

创建一个hdfs上的文件夹

[root@hadoop102 hadoop-2.7.2]#bin/hdfs dfs -mkdir -p /input

将测试内容上传到hdfs上的文件夹内

[root@hadoop102 hadoop-2.7.2]#bin/hdfs dfs -put 测试内容所在地址 /input

在运行程序前需要先删除之前存在的output文件

[root@hadoop102 hadoop-2.7.2]#bin/hdfs dfs -rm -R /output
不过我的操作比较粗暴一点,直接
[root@hadoop102 hadoop-2.7.2]#hdfs dfs -rm -r /output

运行官方示例wordcount

[root@hadoop102 hadoop-2.7.2]#bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.2.jar wordcount /input /output

查看输出文件

[root@hadoop102 hadoop-2.7.2]#hadoop fs -ls /output

查看输出结果

[root@hadoop102 hadoop-2.7.2]#bin/hdfs dfs -cat /output/part-r-00000

关闭安全模式

[root@hadoop102 hadoop-2.7.2]#bin/hadoop dfsadmin -safemode leave

修改hdfs上的文件的权限

[root@hadoop102 hadoop-2.7.2]#hadoop fs -Chmod -R 777 /user/output
这一步有一个好处,就是尽管是在Hadoop集群跑的程序,
但是如果eclipse也配置好了Hadoop的开发环境,
连接到了Hadoop集群,可以在eclipse上直接进行文件的上传和下载
  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值