hadoop伪分布环境搭建

1.配置java环境变量
vi /etc/hadoop/hadoop-env.sh

2.配置core-site.xml

etc/hadoop/core-site.xml:

<property>
    <name>fs.defaultFS</name>
    <value>hdfs://localhost:9000</value>
</property>

<property>
    <name>hadoop.tmp.dir</name>
    <value>/home/grid/disk</value>
</property>

3.配置hdfs_site.xml
etc/hadoop/hdfs-site.xml:

<property>
    <name>dfs.replication</name>
    <value>1</value>
</property>

4.设置ssh
$ ssh-keygen -t dsa -P ” -f ~/.ssh/id_dsa

$ cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
以下是Hadoop分布搭建的步骤: 1.安装Java环境 2.下载Hadoop压缩包并解压 3.配置Hadoop环境变量 4.配置Hadoop的三个核心文件:core-site.xml、hdfs-site.xml、mapred-site.xml 5.格式化HDFS文件系统 6.启动Hadoop 具体步骤如下: 1.安装Java环境 Hadoop是基于Java开发的,因此需要先安装Java环境。可以通过以下命令安装: ```shell sudo apt-get update sudo apt-get install default-jdk ``` 2.下载Hadoop压缩包并解压 可以从Hadoop官网下载最新版本的Hadoop压缩包,也可以使用以下命令下载: ```shell wget https://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common/hadoop-3.3.1/hadoop-3.3.1.tar.gz ``` 下载完成后,解压缩: ```shell tar -zxvf hadoop-3.3.1.tar.gz ``` 3.配置Hadoop环境变量 在.bashrc文件中添加以下内容: ```shell export HADOOP_HOME=/path/to/hadoop export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin ``` 然后运行以下命令使配置生效: ```shell source ~/.bashrc ``` 4.配置Hadoop的三个核心文件:core-site.xml、hdfs-site.xml、mapred-site.xml 在Hadoop的conf目录下,有三个核心文件需要配置:core-site.xml、hdfs-site.xml、mapred-site.xml。 core-site.xml的配置: ```xml <configuration> <property> <name>fs.defaultFS</name> <value>hdfs://localhost:9000</value> </property> </configuration> ``` hdfs-site.xml的配置: ```xml <configuration> <property> <name>dfs.replication</name> <value>1</value> </property> <property> <name>dfs.namenode.name.dir</name> <value>file:/path/to/hadoop/hadoop_data/hdfs/namenode</value> </property> <property> <name>dfs.datanode.data.dir</name> <value>file:/path/to/hadoop/hadoop_data/hdfs/datanode</value> </property> </configuration> ``` mapred-site.xml的配置: ```xml <configuration> <property> <name>mapreduce.framework.name</name> <value>yarn</value> </property> </configuration> ``` 5.格式化HDFS文件系统 在Hadoop的bin目录下,运行以下命令格式化HDFS文件系统: ```shell hdfs namenode -format ``` 6.启动HadoopHadoop的sbin目录下,运行以下命令启动Hadoop: ```shell start-all.sh ``` 以上是Hadoop分布搭建的步骤,如果需要更详细的步骤和说明,可以参考Hadoop官方文档。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值