Linux命令

cd  /usr/local    回车,就到/usr/local目录了
判断系统是32位还是64位 getconf LONG_BIT

vi 保存并退出 先Esc,然后:wq!
   不保存退出 先Esc 然后:q!

打印当前工作目录:pwd 
cd ..                  返回上一级目录
cd ../..               返回上两级目录
cd /        返回根目录(root)
cd或cd ~           返回home目录
cd - 目录名       返回指定目录
.是当前目录
..是上级目录

查看防火墙状态 firewall-cmd --state
关闭防火墙systemctl stop firewalld.service
禁用防火墙systemctl disable firewalld.service


运行hadoop 进入到hadoop的sbin目录下,执行 ./start-all.sh

配置主机名 vi /etc/hostname
映射主机名ip地址 vi /etc/hosts

格式化namenode:进入hadoop的bin目录下,./hdfs namenode -format

如果主机ip地址变动的话,先改变根目录下的/etc/hosts,然后把集群中每个datanode的
/hdfs/data/current中的VERSION删掉,
再重新format一下namenode,但是有时候要检查下core-site.xml文件,
可能配置的ip地址而不是主机名,所以也要把这个ip地址也改过来


Hadoop所有的jar包都在share/hadoop/下
/hadoop-2.6.4/share/hadoop/common/lib
/hadoop-2.6.4/share/hadoop/common/
/hadoop-2.6.4/share/hadoop/hdfs/lib
/hadoop-2.6.4/share/hadoop/hdfs/
secureCRT上传到主机
rz
上传到主机的路径为命令的当前目录
secureCRT从主机下载文件到本地
sz 文件名
下载保存的路径,在secureCRT里面设置,Options->Session Options->X/Y/Zmodem

查找日志文件 
find . -name edits*

查找fsimage文件(HDFS的元信息)
find . -name fsimage*

查找数据块在操作系统的位置
find . -name blk*

将edits日志文件转为xml文件查看
hdfs oev -i edits_inprogress_0000000000000002671 -o ~/a.xml

将fsimage文件转为xml或者txt文件查看
hdfs oiv -i fsimage_0000000000000001599 -o ~/fsimage.txt
hdfs oiv -i fsimage_0000000000000001990 -o ~/fsimage.xml -p XML

编译
javac -classpath /usr/local/hadoop/hadoop-2.6.4/share/hadoop/common/hadoop-common-2.6.4.jar:
/usr/local/hadoop/hadoop-2.6.4/share/hadoop/mapreduce/hadoop-mapreduce-client-core-2.6.4.jar:
/usr/local/hadoop/hadoop-2.6.4/share/hadoop/common/lib/commons-cli-1.2.jar -d playground/
classes playground/src/WordCount.java
或者
javac -classpath /usr/local/hadoop/hadoop-2.6.4/share/hadoop/common/hadoop-common-2.6.4.jar:/usr/local/hadoop/hadoop-2.6.4/share/hadoop/mapreduce/hadoop-mapreduce-client-core-2.6.4.jar:/usr/local/hadoop/hadoop-2.6.4/share/hadoop/common/lib/commons-cli-1.2.jar *.java

打jar包
jar cvf ./playground/wordcount.jar ./playground/classes/WordCount.class
 打包多个class文件:jar cvf localfile2hdfs.jar LocalFile2Hdfs*.class     
执行hadoop自带的例子
hadoop jar ./hadoop-2.6.4/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.6.4.jar wordcount  /input /output 

执行自己打包的程序
hadoop jar ~/playground/wordcount.jar org.apache.hadoop.examples.WordCount /input /output 

把software文件下的apache-hive-1.2.1-bin.tar.gz,解压到module目录下
tar -xzf ./software/apache-hive-1.2.1-bin.tar.gz -C ./module/

在linux下创建shell脚本并运行
1、创建shell脚本:touch test.sh
2、编辑shell代码:vi test.sh(举例)
                                   #!/bin/bash
                                   echo "Hello World !"
3、使脚本具有执行权限:chmod +x ./test.sh
4、执行: ./test.sh   

hadoop访问页面端口
HDFS      http://192.168.198.139:50070/ 
YARN的管理界面    http://192.168.198.139:8088/

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值