Hadoop单机版详细安装

Hadoop单机版详细安装

1.环境要求:

Jdk安装(如果运行出现权限问题,请自行加sudo,或更改文件权限chmod)
–解压
tar -zxvf jdk-8u201-linux-x64.tar.gz –C /usr/local
–重命名
mv /usr/local/jdk-8u201-linux-x64 /usr/local/jdk
–配置环境变量
vim /etc/profile
在最后一行添加
export JAVA_HOME=/usr/local/jdk
export JRE_HOME=/usr/local/jdk/jre
export CLASSPATH=.:$JAVA_HOME/jre:$JRE_HOME
export PATH=$PATH:$JAVA_HOME/bin
–更新文件
source /etc/profile
–验证安装
java –version
出现如下信息
java version “1.8.0_201”
Java™ SE Runtime Environment (build 1.8.0_201-b09)
Java HotSpot™ 64-Bit Server VM (build 25.201-b09, mixed mode)
安装成功

2.Hadoop 安装

--新增组hadoop
	groupadd 	hadoop
--新增用户
	useradd -g hadoop hadoo hadoop-3.1.2.tar.gz p
--更改用户密码
	sudo passwd hadoop
--解压文件
	tar –zxvf  hadoop-3.1.2.tar.gz –C /usr/local
--重命名文件
	mv /usr/local/ hadoop-3.1.2 /usr/local/hadoop
--更改所有者
	chown –R hadoop:hadoop /usr/local/hadoop
--打开usr/local/hadoop/conf/hadoop-env.sh文件
	su hadoop
	vim usr/local/hadoop/conf/hadoop-env.sh

找到export JAVA_HOME=…,去掉注释#,然后加上本机jdk的路径
–打开conf/core-site.xml文件编辑如下:
vim usr/local/hadoop/conf/core-site.xml,


fs.default.name
hdfs://localhost:9000


–打开conf/mapred-site.xml文件,编辑如下:
vim usr/local/hadoop/conf/mapred-site.xml


mapred.job.tracker
localhost:9001

–打开conf/hdfs-site.xml文件,编辑如下:
vim usr/local/hadoop/conf/conf/hdfs-site.xml


dfs.name.dir
/usr/local/hadoop/datalog


dfs.data.dir
/usr/local/hadoop/data


dfs.replication
2


–创建文件
mkdir –p /usr/local/hadoop/datalog /usr/local/hadoop/data
–设置本机ssh免密登录
ssh-keygen –t rsa –P “”
回车(注:回车后会在~/.ssh/下生成两个文件:id_rsa和id_rsa.pub这两个文件是成对出现的)
进入~/.ssh/目录下,将id_rsa.pub追加到authorized_keys授权文件中,开始是没有authorized_keys文件的,
~/.ssh/ cat id_rsa.pub >> authorized_keys
– 运行hadoop
cd /usr/lcoal/hadoop/sbin
./start-all.sh
启动成功后运行jps命令

– 开放8088端口
firewall-cmd --zone=public --add-port=8088/tcp --permanent
firewall-cmd –reload
访问浏览器虚拟机ip:8088,会出现如下界面
在这里插入图片描述

Hadoop 单机版安装步骤如下: 1. 安装 Java 开发包 Hadoop 是用 Java 开发的,因此需要先安装 Java 开发包。可以到 Oracle 官网下载 Java 开发包,也可以使用 Linux 发行版自带的包管理器安装。 2. 配置 SSH 无密码登录 Hadoop 使用 SSH 协议进行节点间通信,因此需要配置 SSH 无密码登录。可以通过 ssh-keygen 命令生成公私钥对,然后将公钥添加到每个节点的 authorized_keys 文件中。 3. 下载 Hadoop 可以到 Hadoop 官网下载最新版本的 Hadoop。下载完成后,解压缩到合适的目录。 4. 配置 Hadoop 环境变量 需要设置 Hadoop 的环境变量,包括 HADOOP_HOME、PATH 等。可以在 .bashrc 或 .bash_profile 文件中添加以下内容: ``` export HADOOP_HOME=/path/to/hadoop export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin ``` 5. 配置 Hadoop 配置文件 Hadoop 的配置文件位于 Hadoop 安装目录下的 etc/hadoop 目录中。需要配置 core-site.xml、hdfs-site.xml、mapred-site.xml、yarn-site.xml 四个文件。 - core-site.xml ``` <configuration> <property> <name>fs.defaultFS</name> <value>hdfs://localhost:9000</value> </property> </configuration> ``` - hdfs-site.xml ``` <configuration> <property> <name>dfs.replication</name> <value>1</value> </property> </configuration> ``` - mapred-site.xml ``` <configuration> <property> <name>mapreduce.framework.name</name> <value>yarn</value> </property> </configuration> ``` - yarn-site.xml ``` <configuration> <property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value> </property> <property> <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name> <value>org.apache.hadoop.mapred.ShuffleHandler</value> </property> </configuration> ``` 6. 格式化 HDFS 需要先格式化 HDFS,初始化 NameNode。 ``` hdfs namenode -format ``` 7. 启动 Hadoop 可以使用 start-all.sh 脚本启动 Hadoop。 ``` $ start-all.sh ``` 8. 验证 Hadoop 可以运行以下命令验证 Hadoop 是否正常启动: ``` $ jps $ hdfs dfs -mkdir /test $ hdfs dfs -ls / ``` 输出应该包括 DataNode、NameNode、SecondaryNameNode 等进程,并且能够成功创建目录并查看目录列表。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值