Linux单节点伪分布式

一、Linux配置
1.切换到root用户
vi /etc/sudoers
进入到配置文件中后 把要添加权限的用户添加进去
在”root ALL=(ALL) ALL “下面添加一行“xxx ALL=(ALL) ALL”, xxx为你自己的登录用户
2.设置完切换回当前用户
①修改主机名 sudo vi /etc/sysconfig/network
HOSTNAME = master
②修改ip sudo vi /etc/sysconfig/network-scripts/ifcfg-eth0
ONBOOT=yes 开机自启动
BOOTPROTO=static 静态ip地址方式
IPADDR=192.168.x.x IP地址
NETMARK=255.255.255.0 子网掩码
GATEWAY=192.168.x.1 网关
③映射关系 sudo vi /etc/hosts
在最下面一行添加 前面配置的ip 主机名
192.168.x.x master
④reboot 重启 （也可不重启）

3.配置SSH无密码连接
①关闭防火墙
sudo service iptables stop 临时关闭
sudo chkconfig iptables off 永久关闭
②开启SSH服务
默认情况下 安装的有ssh服务 并且自启动着
sudo service sshd status 查看服务状态
若未开启 sudo service sshd start 开启 sudo service sshd restart 重启
③使用远程连接软件
ping通ip
I.mkdir software 放压缩文件
II.mkdir app 存放其他文件
III.mkdir lib 存放开发jar包
IV.mkdir data 存放配置文件
④使用主机生成公钥
ssh-keygen -t rsa
存放位置：/home/用户/.ssh 隐藏目录
⑤公钥拷贝到本机的authorized_keys列表
ssh-copy-id -i ~/.ssh/id_rsa.pub 用户名@主机名

二、jdk配置
1.查看当前系统jdk
rpm -qa | grep jdk
2.删除系统jdk(root用户)
sudo rpm -e --nodeps java…(jdk名称)
3.安装jdk
(1)上传jdk到CenOS 使用FileZilla
(2)解压 sudo tar -zxvf 压缩包目录
4.配置jdk环境
sudo vi /etc/profile
export JAVA_HOME=jdk安装目录
ps:此处可以先查找到jdk 进入jdk目录中 pwd查看当前路径 复制
export PATH=$JAV{A}_{H}OME/bin:$PATH
5.使配置文件生效
source /etc/profile
6.查看Java版本 确认是否生效
java -version

三、Hadoop安装及部署
安装CDH
(1)上传CDH压缩文件到CentOS
(2)解压CDH压缩文件
tar -zxvf 压缩包目录
(3)修改配置文件
①修改hadoop-env.sh
hadoop: sudo vi hadoop-env.sh
在文件末尾添加
export JAVA_HOME=jdk安装目录
export HADOOP_HOME=cdh安装目录
②修改core-site.xml
sudo vi core-site.xml
添加：

<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://master:8020</value>
  					</property>
</configuration>

③修改hdfs-site.xml
sudo vi hdfs-site.xml

<configuration>
<property>
<name>dfs.replication</name>
<value>3</value>
  				</property>
            	<property>
<name>dfs.name.dir</name>
<value>/home/hmaster/hdfs/name</value>
</property>
 				<property>
<name>dfs.data.dir</name>
<value>/home/hmaster/hdfs/name/data</value>
</property>
</configuration>

④修改slaves文件
sudo vi slaves
添加：
master
⑤追加HADOOP_HOME到/etc/profile中
sudo vi etc/profile
添加：
export HADOOP_HOME=路径

export PATH=$HADOOP_HOME/bin:$PATH

   ⑥使配置文件生效
    	source /etc/profile

Hadoop
(4)格式化hdfs
进入到bin目录 执行
hadoop namenode -format (仅第一次执行，不要重复执行)
启动Hadoop并验证安装
进入sbin目录 执行
start-dfs.sh
若权限不够：创建logs目录并添加logs目录的权限
hadoop目录下：sudo mkdir logs
sudo chomd 777 logs/
(5)检验是否启动成功
①通过进程查看 jps
出现：I. 8817 DataNode
II. 9013 SecondaryNameNodes
III.9119 jps
IV. 8714 NameNode
②通过浏览器查看
http://master:50070
(6)停止hadoop
进入sbin目录 ./stop-dfs.sh