软件园二期:
1 Linux apt-get 软件安装:
http://www.cnblogs.com/haimingwey/archive/2012/04/16/2452892.html
2 .sh文件即shell文件(可直接运行的脚本文件)
3 centos 修改ip地址,物理地址,网关:
http://blog.163.com/windy_dcm/blog/static/19989346201152832323632/
4 linux下大于2TB硬盘格式化及挂载,parted分大于2T的分区方法,parted使用步骤,linux GPT分区表 管理 自动挂载分区:
http://hi.baidu.com/visual_art/item/350932debc9e96ec3cc2cb16
5 如何合理地给你的Linux分区: http://wenku.baidu.com/view/4e28b1eb81c758f5f61f67fa.html
6 RPM命令 RPM软件包管理器 英文原义:Redhat Package Manager 中文释义:RPM
软件包管理器 :
http://baike.baidu.com/view/209700.htm
7 yum 命令:
linux yum命令详解
8 write命令: write "用户名" 就可以传送信息
9 防火墙命令: 关闭防火墙: iptables -F 有时需要超级管理员权限
10 Secure Shell : 打开ssh服务:services sshd start
11 reboot:重启;
科研楼二楼: ip地址172.16.14.1 172.16.14.100
3 sshd服务安装及设置:
http://www.2cto.com/os/201301/185506.html
4 centos jdk安装与设置:
http://www.cnblogs.com/zhaoyx/articles/2475260.html
5 vi编辑器的保存,退出命令:wq
5 vi编辑器的保存,退出命令:wq
6 问题:ERROR namenode.NameNode: java.io.IOException: Cannot create directory /home/lab301/hadoop-1.0.4/tmp/dfs/name/current
7 修改文件权限:
chmod -R a+w /home/lab301/hadoop-1.0.4/logs/ -R递归方式 a g o a:本人 g同组 o 其它人 rWX 读 写 执行
chmod -R a+w /home/lab301/hadoop-1.0.4/tmp/
chmod -R a+w /home/lab301/hadoop-1.0.4/tmp/
8 ssh修改是本机访问本机也无需密码:本机无密码:
http://heipark.iteye.com/blog/1195267
9 hadoop集群上面的测试案例:测试案例:
http://hi.baidu.com/hzd2712/item/98591754eb1e399008be1752
10 hadoop dfsadmin -report 报告相应的dataNode节点数
11 出现问题要对主机关掉防火墙: service iptables start
12 出现问题 文件没有删除hdfs tmp
14 查看hdfs上面的文件内容 hdfs dfs -cat ....文件名
15 验证nameNode dataNode jobtarck 等是否开启
16 验证 JPS方法 $
jps方法: 查看是否有master上是否启动了这三个进程namenode,secondnamenode,jobtrack,看slave1上是否tasktrack,datanode
WEB方法: 查看hdfs运行状态,可以通过web界面来访问
http://192.168.1.1:50070/dfshealth.jsp;查看map-reduce信息 可以通过web界面来访问
http://192.168.1.1:50030/jobtracker.jsp;下面是直接命令行看到的结果。 补充如果需要修改日志存储路径则需要在conf/Hadoop-env.sh文件中增加
export Hadoop_LOG_DIR=/home/xxxx/xxxx即可