Hadoop

最新推荐文章于 2023-07-26 00:52:14 发布

w_angshang

最新推荐文章于 2023-07-26 00:52:14 发布

阅读量72

点赞数

文章标签： Hadoop

本文链接：https://blog.csdn.net/w_angshang/article/details/92377611

版权

Hadoop

一、单节点安装集群（伪分布式）
二、多节点安装集群（全分布式）
- 01_每个节点均要安装jdk
- 02_同步时间

一、单节点安装集群（伪分布式）

01_jdk：

1. 安装jdk
	rpm -i jdk-7u67-linux-x64.rpm
2. 配置环境变量
	cd /usr/java/jdk1.7.0_67/
	vi + /etc/profile

			export JAVA_HOME=/usr/java/jdk1.7.0_67
    		PATH=$PATH:$JAVA_HOME/bin

3. 运行文件
	source /etc/profile
4. 密匙登录和验证
	生成密匙文件命令：
		ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa
		cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys
	    设置服务器别名 
	    关掉防火墙 
	    关掉安全机制 
	    配置域名映射

02_安装hadoop安装包

解压hadoop安装包
tar -zxvf hadoop-2.6.5.tar.gz -C /opt/installws/
bin、sbin：
/bin: bin为binary的简写主要放置一些系统的必备执行档。
/usr/bin:主要放置一些应用软体工具的必备执行档。
/sbin: 主要放置一些系统管理的必备程式。
/usr/sbin:放置一些网路管理的必备程式。
在任意位置都可以执行启动集群、关闭集群：
配置环境变量：(添加home，path直接追加就可以)
```
export HADOOP_HOME=/opt/installws/hadoop-2.6.5/
PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
```

03_配置Hadoop配置文件参数

配置文件路径：（Hadoop安装路径文件夹下）
/opt/installws/hadoop-2.6.5/etc/hadoop
java_home环境变量的设置：
文件名：hadoop-env.sh
mapred-env.sh
yarn-env.sh
（配置文件中已经写好java_home环境变量的预留位置）

配置文件：
（1）core-site.xml：主节点主角色的配置信息。（访问路径、文件路径）

 <configuration>
  	<property>
			<name>fs.defaultFS</name>
			<value>hdfs://[当前节点别名]:9000</value>
 	</property>
 	<property>
			<name>hadoop.tmp.dir</name>
			<value>/var/hadoop</value>
 	</property>
 </configuration>

（2）hdfs-site.xml：从节点有关的配置信息：副本个数、从节点地址（注：伪分布式单一节点，副本个数设置1个）

 <configuration>
 	<property>
	 		<name>dfs.replication</name>
 		<value>1</value>
 	</property>
     <property>
 		<name>dfs.namenode.secondary.http-address</name>
 		<value>[当前节点名]:50090</value>
 	</property>
 </configuration>