cd /usr/local 回车,就到/usr/local目录了
判断系统是32位还是64位 getconf LONG_BIT
vi 保存并退出 先Esc,然后:wq!
不保存退出 先Esc 然后:q!
打印当前工作目录:pwd
cd .. 返回上一级目录
cd ../.. 返回上两级目录
cd / 返回根目录(root)
cd或cd ~ 返回home目录
cd - 目录名 返回指定目录
.是当前目录
..是上级目录
查看防火墙状态 firewall-cmd --state
关闭防火墙systemctl stop firewalld.service
禁用防火墙systemctl disable firewalld.service
运行hadoop 进入到hadoop的sbin目录下,执行 ./start-all.sh
配置主机名 vi /etc/hostname
映射主机名ip地址 vi /etc/hosts
格式化namenode:进入hadoop的bin目录下,./hdfs namenode -format
如果主机ip地址变动的话,先改变根目录下的/etc/hosts,然后把集群中每个datanode的
/hdfs/data/current中的VERSION删掉,
再重新format一下namenode,但是有时候要检查下core-site.xml文件,
可能配置的ip地址而不是主机名,所以也要把这个ip地址也改过来
Hadoop所有的jar包都在share/hadoop/下
/hadoop-2.6.4/share/hadoop/common/lib
/hadoop-2.6.4/share/hadoop/common/
/hadoop-2.6.4/share/hadoop/hdfs/lib
/hadoop-2.6.4/share/hadoop/hdfs/
secureCRT上传到主机
rz
上传到主机的路径为命令的当前目录
secureCRT从主机下载文件到本地
sz 文件名
下载保存的路径,在secureCRT里面设置,Options->Session Options->X/Y/Zmodem
查找日志文件
find . -name edits*
查找fsimage文件(HDFS的元信息)
find . -name fsimage*
查找数据块在操作系统的位置
find . -name blk*
将edits日志文件转为xml文件查看
hdfs oev -i edits_inprogress_0000000000000002671 -o ~/a.xml
将fsimage文件转为xml或者txt文件查看
hdfs oiv -i fsimage_0000000000000001599 -o ~/fsimage.txt
hdfs oiv -i fsimage_0000000000000001990 -o ~/fsimage.xml -p XML
编译
javac -classpath /usr/local/hadoop/hadoop-2.6.4/share/hadoop/common/hadoop-common-2.6.4.jar:
/usr/local/hadoop/hadoop-2.6.4/share/hadoop/mapreduce/hadoop-mapreduce-client-core-2.6.4.jar:
/usr/local/hadoop/hadoop-2.6.4/share/hadoop/common/lib/commons-cli-1.2.jar -d playground/
classes playground/src/WordCount.java
或者
javac -classpath /usr/local/hadoop/hadoop-2.6.4/share/hadoop/common/hadoop-common-2.6.4.jar:/usr/local/hadoop/hadoop-2.6.4/share/hadoop/mapreduce/hadoop-mapreduce-client-core-2.6.4.jar:/usr/local/hadoop/hadoop-2.6.4/share/hadoop/common/lib/commons-cli-1.2.jar *.java
打jar包
jar cvf ./playground/wordcount.jar ./playground/classes/WordCount.class
打包多个class文件:jar cvf localfile2hdfs.jar LocalFile2Hdfs*.class
执行hadoop自带的例子
hadoop jar ./hadoop-2.6.4/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.6.4.jar wordcount /input /output
执行自己打包的程序
hadoop jar ~/playground/wordcount.jar org.apache.hadoop.examples.WordCount /input /output
把software文件下的apache-hive-1.2.1-bin.tar.gz,解压到module目录下
tar -xzf ./software/apache-hive-1.2.1-bin.tar.gz -C ./module/
在linux下创建shell脚本并运行
1、创建shell脚本:touch test.sh
2、编辑shell代码:vi test.sh(举例)
#!/bin/bash
echo "Hello World !"
3、使脚本具有执行权限:chmod +x ./test.sh
4、执行: ./test.sh
hadoop访问页面端口
HDFS http://192.168.198.139:50070/
YARN的管理界面 http://192.168.198.139:8088/