hadoop深入了解（二）

一、hadoop安装

1.设置静态ip，在windows下查看虚拟机ip，同事更改centos的网络链接为host-only模式，更改Addresscip ,netmask.gateway.

执行#service network restart

验证#ipconfig

2.用工具pietty，简历远程登录，修改主机名，#hostname 主机名。然后#vi /etc/sysconfig/network永久更改主机名

#vi etc/hosts 更改主机名和ip绑定。

3.关闭防火墙，#service iptables stop

关闭自启功能 #chkconfig iptables off

或者用setup关闭服务、

4.查看服务列表#chkconfig --list |grep iptables

5.ssh服务,免密码登陆。像其他的服务，例如FTP,POP,telnet一样都是c/s模型，但是更安全。

进入。ssh目录下

产生公钥和私钥 #ssh-keygen -t rsa 

复制公钥到# cp gongyao authorized_keys

验证 #ssh localhost

6.文件传输工具winscp。把jdk和hadoop上传至usr/local下

ls -l查看权限，不够增加权限#chkconfig u+x 文件名。

7./解压jdk文件，是指环境变量# vi /etc/profile

#service /etc/profile立即生效

java_version查看 

tar -zxvf hadoop

vi /etc/profile

修改四个配置文件

格式化hadoop namenode -format

jps查看进程50070和50030

HDFS命令

1、hadoop fs -ls  hadoop fs -lsr

2、hadoop  fs -pu t       -get    -rm  -rmr   text cat 

本质hadoop fs 相当于hdfs://hadoop0:90001

3.在core_defaual.xml中设置block大小，默认64MB

dfs.data.dir中是datanode中的数据位置

 

转载于:https://www.cnblogs.com/dandandeyoushangnan/p/4701078.html