Linux(阿里云)安装Hadoop(详细教程+避坑)

Linux(阿里云)安装Hadoop(详细教程+避坑)

一:安装JDK

1.执行以下命令,下载JDK1.8安装包。

wget --no-check-certificate https://repo.huaweicloud.com/java/jdk/8u151-b12/jdk-8u151-linux-x64.tar.gz

2.执行以下命令,解压下载的JDK1.8安装包。

tar -zxvf jdk-8u151-linux-x64.tar.gz

3.移动并重命名JDK包。

mv jdk1.8.0_151/ /usr/java8

4.配置Java环境变量。

echo 'export JAVA_HOME=/usr/java8' >> /etc/profile
echo 'export PATH=$PATH:$JAVA_HOME/bin' >> /etc/profile
source /etc/profile

5.查看Java是否成功安装。

java -version

二:安装Hadoop

注:下载Hadoop安装包可以选择华为源(速度中等,可以接受,重点是版本全)、清华源(3.0.0以上版本下载速度太慢,版本也少)、北京外国语大学源(下载速度特快,但是版本比较少)——本人亲测

1. 执行以下命令,下载Hadoop安装包。

wget --no-check-c
  • 23
    点赞
  • 124
    收藏
    觉得还不错? 一键收藏
  • 12
    评论
实际上,Hadoop安装过程与操作系统的类型无关,因此我将为您提供一个基于Linux系统的Hadoop安装教程。请注意,以下教程仅供参考,您可以根据您的具体环境和需求进行修改。 1. 安装Java开发工具包(JDK): - 在终端中运行以下命令以安装OpenJDK: ``` sudo apt-get update sudo apt-get install openjdk-8-jdk ``` 2. 配置Java环境变量: - 打开“~/.bashrc”文件: ``` nano ~/.bashrc ``` - 在文件末尾添加以下行: ``` export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64 export PATH=$PATH:$JAVA_HOME/bin ``` - 保存并关闭文件,然后运行以下命令以使配置生效: ``` source ~/.bashrc ``` 3. 下载和解压Hadoop软件包: - 访问Hadoop官方网站(http://hadoop.apache.org)并下载适用于Linux的最新稳定版本。 - 打开终端并导航至下载目录。 - 使用以下命令解压下载的文件: ``` tar -xzvf hadoop-<version>.tar.gz ``` 4. 配置Hadoop环境变量: - 打开“~/.bashrc”文件: ``` nano ~/.bashrc ``` - 在文件末尾添加以下行: ``` export HADOOP_HOME=/path/to/hadoop-<version> export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin ``` - 保存并关闭文件,然后运行以下命令以使配置生效: ``` source ~/.bashrc ``` 5. 配置Hadoop集群: - 导航至Hadoop配置目录: ``` cd $HADOOP_HOME/etc/hadoop ``` - 编辑“hadoop-env.sh”文件: ``` nano hadoop-env.sh ``` - 设置JAVA_HOME环境变量为Java安装路径: ``` export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64 ``` - 保存并关闭文件。 - 编辑“core-site.xml”文件: ``` nano core-site.xml ``` - 添加以下配置内容: ```xml <configuration> <property> <name>fs.defaultFS</name> <value>hdfs://localhost:9000</value> </property> </configuration> ``` - 保存并关闭文件。 - 编辑“hdfs-site.xml”文件: ``` nano hdfs-site.xml ``` - 添加以下配置内容: ```xml <configuration> <property> <name>dfs.replication</name> <value>1</value> </property> </configuration> ``` - 保存并关闭文件。 - 编辑“mapred-site.xml.template”文件: ``` nano mapred-site.xml.template ``` - 添加以下配置内容: ```xml <configuration> <property> <name>mapreduce.framework.name</name> <value>yarn</value> </property> </configuration> ``` - 保存并关闭文件。 - 重命名“mapred-site.xml.template”为“mapred-site.xml”: ``` mv mapred-site.xml.template mapred-site.xml ``` - 编辑“yarn-site.xml”文件: ``` nano yarn-site.xml ``` - 添加以下配置内容: ```xml <configuration> <property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value> </property> <property> <name>yarn.nodemanager.aux-services.mapreduce_shuffle.class</name> <value>org.apache.hadoop.mapred.ShuffleHandler</value> </property> </configuration> ``` - 保存并关闭文件。 6. 格式化Hadoop文件系统: - 在终端中运行以下命令以格式化HDFS: ``` hdfs namenode -format ``` 7. 启动Hadoop集群: - 在终端中运行以下命令以启动HDFS和YARN: ``` start-dfs.sh start-yarn.sh ``` 8. 检查Hadoop集群状态: - 在终端中运行以下命令以确保Hadoop集群正常运行: ``` jps ``` - 输出应包含NameNode、DataNode、ResourceManager和NodeManager等进程。 恭喜!您已经成功安装配置Hadoop。现在您可以开始使用Hadoop进行大数据处理和分析了。请记得根据您的具体需求进行进一步配置和调优。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 12
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值