HDFS伪分布式集群搭建--详解

最新推荐文章于 2024-10-05 19:08:14 发布

十五亿少女的心

最新推荐文章于 2024-10-05 19:08:14 发布

阅读量306

点赞数 1

分类专栏：伪分布式集群文章标签： HDFS集群伪分布式集群搭建

本文链接：https://blog.csdn.net/sksea99/article/details/91519440

版权

伪分布式集群专栏收录该内容

1 篇文章 0 订阅

订阅专栏

在根目录，配置免密登录

1）输入 ssh-keygen -t rsa 注：（一路回车，不需要输密码）

2）输入 ssh-copy-id -i ~/.ssh/id_rsa.pub root@主机名

1.上传文件

1）ftp上传

2）使用命令rz上传 ---需要下载yum (yum install lrzsz -y)

建议上传后自己新建文件夹（mkdir /opt/software）方便以后好整理

2.上传完成后，解压文件jdk 和hadoop

tar -zxvf jdk/hadoop

3.配置环境变量（vi /etc/profile)--------.bashrc 是用户变量 /etc/profile 是系统环境变量

export JAVA_HOME=/opt/software/jdk1.8.0_121

export PATH=$PATH:$JAVA_HOME/bin

export HADOOP_HOME=/opt/software/hadoop-2.6.5
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

source /etc/profile-----使环境变量生效

4.进入hadoop解压文件中

进入配置信息 cd etc/hadoop

1)进入slaves(vi slaces)

将localhost改为自己主机名

2）进入hdfs-site.xml中

         <property>
            <name>dfs.replication</name>    
            <value>1</value>
        </property>

        <property>     
            <name>dfs.namenode.secondary.http-address</name>   
            <value>主机名:50090</value>
        </property>

3）进入core-site.xml

<property>
			<name>fs.defaultFS</name>           
			<value>hdfs://主机名:9000</value>    
		</property>
		<property>
			<name>hadoop.tmp.dir</name>         
			<value>/var/abc/hadoop/local</value>
		</property>

4）将*-env.sh的文件内部所有的java路径改绝对路径（/opt/software/jdk1.8.0_121）

5.进入hadoop的bin目录里输入 ./hdfs namenode -format ----让所有文件生效

6.进入hadoop的sbin目录里输入 ./start-dfs.sh ----启动