ubuntu安装hodoop详细步骤_ubuntu安装hadoop(1)

最新推荐文章于 2024-06-13 11:43:53 发布

2401_84182793

最新推荐文章于 2024-06-13 11:43:53 发布

阅读量699

点赞数 18

分类专栏： 2024年程序员学习文章标签： ubuntu hadoop linux

本文链接：https://blog.csdn.net/2401_84182793/article/details/137660989

版权

2024年程序员学习专栏收录该内容

60 篇文章 0 订阅

订阅专栏

sudo apt-get install vim -y

三，安装配置ssh

输入命令直接下载ssh

sudo apt-get install openssh-server -y

完成之后登录本机

ssh localhost

出现提示后输入‘yes’，然后输入密码就可以登录到本机了。我们需要将ssh设置成无密码的，输入命令exit退出，然后利用ssh-keygen生成密钥( 遇到提示一直按回车)，并将密钥加入授权。具体命令如下。

cd ~/.ssh/
ssh-keygen -t rsa
cat ./id_rsa.pub >> ./authorized_keys

之后输入ssh localhost 就可以直接登录了。

四，安装java环境

使用命令直接下载java

sudo apt-get install openjdk-8-jdk -y

查看是否安装成功

java -version

有这个界面就说明安装成功。

然后进行配置java环境变量,使用vim打开配置文件

vim ~/.bashrc

进去之后输入i，进入输入模式，在第一行添加如下内容

export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64

然后按esc，再输入shift+：进入到末行模式，输入wq保存退出。

继续执行如下命令让.bashrc文件生效

source ~/.bashrc

五，安装hadoop

打开Ubuntu的火狐浏览，输入hadoop下载链接，下载hadoopApache Hadoop icon-default.png?t=N7T8 https://hadoop.apache.org/release/3.3.6.html

点击这个链接直接下载

下载完成之后一般会在/home/hadoop/下载目录下，直接解压出来到/usr/local目录下。

sudo tar -zxf /home/hadoop/下载/hadoop-3.3.6.tar.gz -C /usr/local

将目录名改为hadoop

sudo mv /usr/local/hadoop-3.3.6/  /usr/local/hadoop

修改目录权限

sudo chown -R hadoop /usr/local/hadoop

查看hadoop版本信息

cd /usr/local/hadoop
./bin/hadoop version

现在可以运行Grep实例来检测一下hadoop是否安装成功。

首先新建input目录

mkdir input

将配置文件复制到input目录下

cp ./etc/hadoop/*.xml ./input

接下来运行代码grep实例


./bin/hadoop jar ./share/hadoop/mapreduce/hadoop-mapreduce-examples-*.jar grep ./input ./output 'dfs[a-z.]+'

最后执行以下命令查看输出数据

cat ./output/*

六，hadoop伪分布式安装

这里需要修改两个文件，先修改core-site.xml 文件

vim ./etc/hadoop/core-site.xml

将下面这些代码添加到中间，然后保存退出

	<property>
		<name>hadoop.tmp.dir</name>
<value>file:/usr/local/hadoop/tmp</value>
		<description>Abase for othertemporary directories.</description>
	</property>
	<property>
		<name>fs.defaultFS</name>
<value>hdfs://localhost:9000</value>
	</property>

修改配置hdfs-site.xml文件

vim ./etc/hadoop/hdfs-site.xml

同样将下面这些代码添加到中间，然后保存退出

	<property>
		<name>dfs.replication</name>
		<value>1</value>
	</property>
	<property>
		<name>dfs.namenode.name.dir</name>
		<value>file:/usr/local/hadoop/tmp/dfs/name</value>
	</property>
	<property>
		<name>dfs.datanode.data.dir</name>
		<value>file:/usr/local/hadoop/tmp/dfs/data</value>
	</property>