搭建Hadoop集群时有用的命令、文件等

Linux部分

• 修改ONBOOT=yes以获取以太网卡 vi /etc/sysconfig/network-scripts/ifcfg-eth0
• 修改主机名 vi /etc/sysconfig/network
• 配置环境变量 vim /etc/profile 然后刷新 source /etc/profile
• 重启网络服务 service network restartor/etc/init.d/network restart
• 临时关闭防火墙 service iptables stop重启后失效
• 永久关闭防火墙 chkconfig iptables off
• 查看防火墙状态 service iptables status
• 查看系统时间 date
• 时间同步 yum install ntpdate => ntpdate ntp1.aliyun.com or ntpdate ntp2.aliyun.com
• 重启 rebootorshutdown -r now
• 关机 powerofforshutdown -h now
• 下载到指定目录 wget -P soft/ url
• 列出安装内容 yum -y list java*例如
  
• 安装Java yum -y install java-1.8.0-openjdk* *表示包含所有相关的包
• 卸载java yum -y remove java java-1.8.0-openjdk*
• 查看安装位置 which java
  -远程ssh登录 ssh root@IP
• 远程传输文件 scp ~/.ssh/id_dsa.pub root@node2:/opt/如果是文件夹 scp -r soft/hadoop-2.7.2/ root@node2:/root/soft/
• 查看进程 jps
• 查看磁盘空间 df -h
• 查看内存使用 free -m-m表示Mb为单位来显示内容
• 查看环境变量 env
• 查看指定目录的大小 du -sh <目录名>
• 查看CPU型号 cat /proc/cpuinfo | grep name | cut -f2 -d: | uniq -c
  
  (看到有2个逻辑CPU, 也知道了CPU型号)
• 查看CPU是32位还是64位 getconf LONG_BIT
  
  
• 查看网卡信息 dmesg | grep -i eth
• 打包文件 tar -zcvf ./soft.tar.gz soft/
  tar -zcvf 打包后生成的文件名全路径 要打包的目录
• 查看端口监听netstat -ntlp | grep java
• 打印目录结构 yum install tree => tree -Cd -L 1
• 查看目录、文件大小du -h --max-dept=1
• 后台运行程序nohup ./download.sh &
• 生成公钥ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa

Hadoop部分

• 格式化HDFS文件系统 hdfs namenode -format
• 查看集群报告 hadoop dfsadmin -report
• 新建目录 hdfs dfs -mkdir /test
• ls功能 hdfs dfs -ls /
• 上传文件到HDFS hdfs dfs -put soft/ /test