1.hadoop伪分布式安装命令(hadoop学习笔记)

配置linux权限用户:
sudo passwd root
设置密码:hadoop
su root


centos配置
选择网络适配器
点击仅主机模式


进入计算机网络
更改适配器
选择wmware network adapter vmnet1
设置ip
192.168.56.1
子网掩码
255.255.255.0
首选dns服务器
192.168.56.1
然后配置linux的ip
192.168.56.100 255.255.255.0 192.168.56.1




进入虚拟机进不去
网络适配器，高级，生成




bios.forceSetupOnce = "TRUE" 设置虚拟机必须进入bios




hadoop伪分布式安装：
1.关闭防火墙 -----关闭：service iptables stop --验证关闭：service iptables status--关闭防火墙的自动运行
chkconfig --list | grep iptables ----chkconfig iptables off
2.修改ip 见上面
3.修改hostname----hostname chaoren(重启后无效) vi /etc/sysconfig/network 进行修改
4.设置ssh自动登录 ssh 192.168.56.100----ssh-keygen -t rsa(然后一路enter下去)----cd /root/.ssh/----
cp id_rsa.pub authorized_keys-----ssh localhost--验证:ping chaoren
5.ip与hostname绑定
vi /etc/hosts---添加192.168.56.100 chaoren--保存退出--验证:ssh chaoren
6.安装jdk
winscp工具，配置虚拟机ip，选择桌面，选择虚拟机/usr/local  删除多余文件，拖动左边jdk.bin和hadoop.taz到右边/usr/local文件夹
进入cd /usr/local 赋予权限 chmod u+x jdk-6u45-linux-x64.bin --./jdk-6u45-linux-x64.bin进入安装 
重命名:
mv jdk-1.6.0_45/ jdk
修改环境变量:
vi /etc/profile添加:
export JAVA_HOME =/usr/local/jdk
export PATH=.:$JAVA_HOME/bin/:$PATH
刷新文件:
source /etc/profile
验证:
java -version -----（host）


7.安装hadoop
在local目录下:
执行命令 1.tar -zxvf hadoop-1.1.2-tar.gz
修改文件名:
mv hadoop-1.1.2 hadoop
修改profile
vi /etc/profile
更改文件如下:
export JAVA_HOME =/usr/local/jdk
export HADOOP_HOME=/usr/local/hadoop
export PATH=.:$HADOOP_HOME/bin:$JAVA_HOME/bin/:$PATH


更改conf文件:
cd hadoop/conf/
可以使用win-scp
win-scp进入conf目录:
编辑:hadoop-env.sh
如下:
# Set Hadoop-specific environment variables here.


# The only required environment variable is JAVA_HOME.  All others are
# optional.  When running a distributed configuration it is best to
# set JAVA_HOME in this file, so that it is correctly defined on
# remote nodes.


# The java implementation to use.  Required.
export JAVA_HOME=/usr/local/jdk   （括号内容只是解释，不是需要添加的!修改该行为jdk目录）
修改core-site.xml,添加如下:
<configuration>
    <property>
        <name>fs.default.name</name>
        <value>hdfs://chaoren:9000</value>  (chaoren为上文配置的hostname chaoren)
    </property>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/usr/local/hadoop/tmp</value>
    </property>
</configuration>
修改hdfs-site.xml和mapred-site.xml:
3.hdfs-site.xml
<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
    <property>
        <name>dfs.permissions</name>
        <value>false</value>
    </property>
</configuration>


4.mapred-site.xml
<configuration>
    <property>
        <name>mapred.job.tracker</name>
        <value>chaoren:9001</value> (注意hostname)
    </property>
</configuration>


格式化文件:
cd ../bin进入bin目录
执行:
hadoop namenode -format
start-all.sh
是否启动成功
用jps看java进程，如果看到5个java进程，则配置成功
windows浏览器 : http://192.168.56.100:50070/


启动时没有namenode的可能原因:
1.没有格式化
2.环境变量设置错误
3.ip与hostname绑定失败