Hadoop伪分布式部署过程

搭建Hadoop伪分布式集群

  1. 创建hd普通用户
  2. 配置免密钥
  3. 准备软件包
  4. 安装JDK,并配置JDK环境变量
  5. 安装配置Hadoop伪分布式集群
  6. 启动Hadoop伪分布式集群
  7. 检查Hadoop集群

实验步骤:

  1. 回到家目录之下,创建一个用户(使用命令useradd 用户名)

  1. 对自己新建的用户的密码进行修改(使用命令passwd 用户名)

  1. 切换用户,切换为自己刚刚创建的用户(使用命令su - 用户名,加上“-”可以使得进入该对应用户的家目录当中)

  1. 在新创建的用户中创建一个文件夹(使用命令mkdir 文件夹名)

  1. 切换路径进入到新创建的文件夹当中,之后利用传输工具,将部署Haddop伪分布式的需要的Hadoop、jdk上传到新创建的文件夹当中

  

  1. 在进行接下来的步骤之前,先对用户进行设置免密登录(使用命令 ssh-keygen -t rsa ),连续按下回车之后,设置完成

切换目录,进入.ssh/之下,将密钥文件内容拷贝进入公钥中就可以实现免密登录

在此之前,你需要已经进行了绑定主机才可实现

  1. 之后进行jdk的解压(使用命令tar -zxvf 压缩包名),之后查看是否解压成功

压缩完成之后,进入家目录,对.bash_profile进行配置(vim 文件名)

配置内容:

使用source命令之后,使用java -version之后,配置成功

  1. Jdk配置安装完成之后,进行Hadoop安装配置,找到Hadoop压缩包的位置之后,进行解压(使用tar -zxvf 压缩包名)

切换目录进入到修改配置文件的位置

接着对配置文件(hadoop-env.sh)进行修改(vi 文件名)

配置内容:

紧接着进行下一个文件的配置()

在此之前,需要在hadoop解压后的位置创建一个文件夹

配置内容

接着进行第三个文件的配置

配置文件:

配置内容:

接着进行第四个文件的配置

配置文件:

配置内容:

接着进行第五个文件的配置

配置文件:

配置内容:

进行第六个文件的配置

配置文件:

配置内容:

  1. 进行Hadoop环境变量的配置

  1. 接着进行格式化配置

  1. 重新加载文件之后,启动

  1. 在浏览器当中输入自己的主机号以及对应的端口进行检查是否部署成功

  • 2
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
### 回答1: Hadoop是一个分布式计算框架,可以支持海量数据处理。分布式Hadoop的一种最简单的部署方式,可以通过单个计算机模拟分布式环境。 1. 安装Java环境:Hadoop是用Java编写的,因此需要先安装Java环境。可以从官网下载最新版本的Java SDK并安装。 2. 下载Hadoop:可以从官网下载Hadoop的最新版本,并解压到指定的安装目录下。 3. 配置Hadoop环境变量:在~/.bashrc或~/.bash_profile文件中添加以下内容: export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk-amd64 export HADOOP_HOME=/usr/local/hadoop export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin 4. 修改Hadoop配置文件:Hadoop的配置文件位于$HADOOP_HOME/etc/hadoop/目录下。需要修改hadoop-env.sh、core-site.xml、hdfs-site.xml和mapred-site.xml文件: a. 在hadoop-env.sh中设置JAVA_HOME变量:export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk-amd64 b. 在core-site.xml中添加以下内容: <configuration> <property> <name>fs.defaultFS</name> <value>hdfs://localhost:9000</value> </property> </configuration> c. 在hdfs-site.xml中添加以下内容: <configuration> <property> <name>dfs.replication</name> <value>1</value> </property> <property> <name>dfs.namenode.name.dir</name> <value>file:/usr/local/hadoop/data/namenode</value> </property> <property> <name>dfs.datanode.data.dir</name> <value>file:/usr/local/hadoop/data/datanode</value> </property> </configuration> d. 在mapred-site.xml中添加以下内容: <configuration> <property> <name>mapreduce.framework.name</name> <value>yarn</value> </property> </configuration> 5. 格式化Hadoop文件系统:执行以下命令来格式化Hadoop的文件系统: $HADOOP_HOME/bin/hdfs namenode -format 6. 启动Hadoop集群:执行以下命令来启动Hadoop集群: $HADOOP_HOME/sbin/start-all.sh 7. 验证Hadoop集群:打开浏览器并访问localhost:50070,可以看到Hadoop的Web界面。在Web界面中,可以看到目前正在运行的Hadoop集群和其各个节点的状态。 以上就是Hadoop分布式搭建全过程的详细步骤,通过以上步骤可以快速搭建一个简单的Hadoop集群。 ### 回答2: Hadoop是一个分布式计算、存储框架,常用于大数据处理。它可以分别运行在分布式计算集群中的每个节点上,以便高效地处理和存储海量数据。分布式搭建是最常用的Hadoop搭建方式,下面介绍分布式搭建全过程。 1. 环境准备 在开始之前,需要确保系统中已经安装了SSH,Java和Hadoop软件包。我们可以使用apt-get或yum命令进行安装。 2. 修改配置文件 进入Hadoop安装目录,找到conf文件夹下的三个文件:core-site.xml,hdfs-site.xml,mapred-site.xml。在core-site.xml文件中配置Hadoop的基础配置。以下是示例配置: ```xml <configuration> <property> <name>hadoop.tmp.dir</name> <value>/var/hadoop/tmp</value> </property> <property> <name>fs.defaultFS</name> <value>hdfs://localhost:9000</value> </property> </configuration> ``` 在hdfs-site.xml文件中配置HDFS的配置。以下是示例配置: ```xml <configuration> <property> <name>dfs.replication</name> <value>1</value> </property> <property> <name>dfs.namenode.name.dir</name> <value>/var/hadoop/namenode</value> </property> <property> <name>dfs.datanode.data.dir</name> <value>/var/hadoop/datanode</value> </property> </configuration> ``` 在mapred-site.xml中,加入以下内容: ```xml <configuration> <property> <name>mapreduce.framework.name</name> <value>yarn</value> </property> </configuration> ``` 3. 设置环境变量 在系统的环境变量文件中,加入以下内容: ```sh export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64 export HADOOP_HOME=/var/hadoop/hadoop-3.2.1 export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin ``` 4. 格式化HDFS文件系统 在命令行中输入以下命令,格式化HDFS文件系统: ```sh $ hdfs namenode -format ``` 5. 启动HDFS和YARN 在命令行中输入以下命令,启动HDFS和YARN: ```sh $ start-dfs.sh $ start-yarn.sh ``` 6. 验证 在浏览器中访问Hadoop的Web UI,可以查看各节点的运行情况。默认端口为50070。同时,可以在命令行中创建文件夹,并上传文件进行测试。 以上就是Hadoop分布式搭建全过程。根据实际情况,可以根据需要对配置文件进行修改和优化,以获得更好的性能和体验。 ### 回答3: Hadoop是一个分布式系统的框架,可以实现数据的分布式处理和存储。在分布式下,所有的Hadoop组件都运行在一个单独的节点上,模拟了完全分布式的环境。下面将会为大家介绍如何实现Hadoop分布式搭建。 首先,我们需要安装好Java和SSH,在此不再赘述。 1. 下载Hadoop 可以到官网下载最新版本的Hadoop,或者从镜像网站上下载。我们这里使用的是Hadoop 3.0.0版本。 2. 解压缩Hadoop文件 将下载的压缩文件解压缩到指定的目录下,使用命令 tar -zxvf hadoop-3.0.0.tar.gz。 3. 配置Hadoop文件 进行一些配置文件的更改,包括hadoop-env.sh、core-site.xml、hdfs-site.xml、mapred-site.xml和yarn-site.xml等等。 首先修改hadoop-env.sh文件,将JAVA_HOME变量设置为Java安装目录的路径。其次,修改core-site.xml文件,需要指定Hadoop的文件系统路径。再次,修改hdfs-site.xml文件,需要指定Hadoop数据节点的名称、数据块的保存方式和副本数。接着,修改mapred-site.xml文件,配置MapReduce任务处理框架。最后,修改yarn-site.xml文件,配置YARN资源管理器和NodeManager节点管理器。 4. 格式化文件系统 使用以下命令在HDFS上创建一个空文件系统,hadoop namenode –format。 5. 启动Hadoop 使用以下命令将Hadoop启动,start-all.sh或start-dfs.sh、start-yarn.sh命令。 现在,您可以在Hadoop的控制台中看到所有的服务器列表,并可以运行MapReduce任务来处理HDFS上的数据了。这些是Hadoop分布式部署的主要步骤,如果您按照这些步骤进行操作,相信您可以顺利地完成整个过程

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值