Hadoop搭建

最新推荐文章于 2023-05-03 21:39:43 发布

数据猿┗(＾0＾)┓

最新推荐文章于 2023-05-03 21:39:43 发布

阅读量152

点赞数

文章标签： hadoop

本文链接：https://blog.csdn.net/qq_42578967/article/details/116461238

版权

本文详细介绍了在Linux环境下如何搭建Hadoop-3.2.0集群，包括JDK的安装，Hadoop的上传、解压及配置文件修改，如hadoop-env.sh、core-site.xml等，并通过启动测试验证集群的正确运行，包括格式化HDFS、检查节点状态、运行MapReduce任务计算π的值。

摘要由CSDN通过智能技术生成

在/opt下创建 softwares和servers 一个用来存放压缩包一个用来存放解压后的文件

yum -y install lrzsz 从windows上传文件到linux系统的工具

把jdk的压缩包拖进softwares 解压到servers 改名 jdk-1.8

vim /etc/profile

添加

`export JAVA_HOME=/opt/servers/jdk-1.8`
`export PATH=$PATH:$JAVA_HOME/bin`

source /etc/profile

java -version

把第一台机器上的 /opt下的 softwares和servers 和jdk 的profile 都传给其他的机器其他的机器也就有了

tar -zxvf hadoop-3.2.1.tar.gz -C ../servers/

vim hadoop-env.sh

export JAVA_HOME=/opt/servers/jdk-1.8
export HADOOP_OPTS="-Djava.library.path=${HADOOP_HOME}/lib/native"

关注