hadoop jar包_用Docker安装Hadoop集群

最新推荐文章于 2023-12-03 18:32:25 发布

weixin_39673601

最新推荐文章于 2023-12-03 18:32:25 发布

阅读量69

点赞数

文章标签： hadoop jar包 hadoop 安装 hadoop临时文件 jar包 hadoop启动后没有namenode hadoop启动没有namenode hadoop安装

利用Docker可以很快的安装一个Hadoop集群，方便学习和尝试Hadoop。

检查你的Docker环境

如果你还没有安装Docker，你可以参考Docker官方网站(https://docs.docker.com/install/)或者这个网站(https://yeasy.gitbooks.io/docker_practice/install/)进行安装。

安装好了以后可以用下面的命令检查一下你的环境：

$ docker --version$ docker-compose --version$ docker-machine –version

可以通过下面的命令启动一个web服务器：

docker run -d -p 80:80 --name myserver nginx

启动起来以后可以用浏览器打开这个网页

 http://localhost

这说明你的Docker环境好了。

首先你需要一个Docker Image，如果你安装了git, 你可以clone一个repo到本地：

$ git clone git@github.com:big-data-europe/docker-hadoop.git

如果你没有git，你也可以直接下载zip(https://github.com/big-data-europe/docker-hadoop/archive/master.zip)

然后你就可以进入这个目录，安装和启动一个Hadoop集群：

$ cd docker-hadoop$ docker-compose up -d

第一次运行，需要比较长的时间来下载docker的image。

这一个命令会帮你安装和启动一个Hadoop集群，其中包括：

通过下面的命令可以查看到Docker的进程列表：

$ docker ps

可以通过这个下面的地址查看系统的信息：

http://localhost:9870

我们现在可以用经典的Hadoop实例WordCount来试运行一下。通过下面的命令进入到namenode的容器里：

$ docker exec -it namenode bash

首先我们准备一些文件：

$ mkdir data$ echo "Hello Docker World" > data/f1.txt$ echo "Hello toutiao" > data/f2.txt

在HDFS里面建一个文件夹data：

$ hadoop fs -mkdir -p data

把我们刚才准备的文件写到HDFS：

$ hdfs dfs -put ./data/* data

下载WordCount代码(https://repo1.maven.org/maven2/org/apache/hadoop/hadoop-mapreduce-examples/2.7.1/hadoop-mapreduce-examples-2.7.1-sources.jar)

找到namenode的容器的ID

$ docker container ls

把刚下载的jar包复制到namenode：

$ docker cp ./hadoop-mapreduce-examples-2.7.1-sources.jar 2aa29deaaf80:hadoop-mapreduce-examples-2.7.1-sources.jar

运行WordCount

root@namenode:/# hadoop jar hadoop-mapreduce-examples-2.7.1-sources.jar org.apache.hadoop.examples.WordCount input output

打印出运行结果：

root@namenode:/# hdfs dfs -cat output/part-r-00000

Docker1Hello2World1toutiao1

这样我们就完成了集群的搭建。

$ docker-compose down

关注