docker体验hadoop

最新推荐文章于 2024-05-03 22:29:39 发布
最新推荐文章于 2024-05-03 22:29:39 发布
阅读量632 收藏
点赞数 1
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_27068845/article/details/78284903
版权
本文档详细介绍了如何通过Docker部署Hadoop，并实现WordCount程序。首先拉取Docker镜像，然后运行镜像并开放端口。接着在Docker内构建WordCount项目，包括编写程序和打包jar包。最后，运行Hadoop任务，观察输出结果，并通过Web界面检查Hadoop运行状态。
摘要由CSDN通过智能技术生成

1. 拉取镜像

docker pull sequenceiq/hadoop-docker

2. 运行镜像

docker run -it -p 50070:50070 sequenceiq/hadoop-docker:2.7.0 /etc/bootstrap.sh -bash

在镜像中运行如下命令。
开放50070是为了从web端查看hadoop运行状况。

3. build项目 （WordCount）

新建工作目录取名为 test, 进入test目录后运行如下命令：

3.1 编写程序

vim WordCount.java
hadoop中的HelloWorld程序。

import java.io.IOException;
import java.util.StringTokenizer;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
im
最低0.47元/天 解锁文章
风格色
关注
Docker生态会重蹈Hadoop的覆辙吗？
霍力强的专栏
12-28 5622
目录　　一、Docker的兴起和hadoop何其相似　　二、大数据从狂热走向了理性　　三、Hadoop生态圈的演进　　四、Docker的生态圈　　五、Docker公司的战略野心受生态圈狙击　　六、Docker生态圈的演进　　七、开源技术也需要商业的成功　　八、Docker生态圈的推论　　九、给准备Docker尝鲜的客户的建议　　一、Docker的兴起和Hadoop何其相似　　2015年说是Dock
【云原生】docker 部署 Doris 数据库使用详解
最新发布
congge
09-08 4835
docker 部署 Doris 数据库使用详解
使用 Docker 搭建 Hadoop 分布式环境_windows系统docker怎么搭建hadoop框架
2401_84182318的博客
05-03 517
下载这个升级包，并安装之后点击 Docker desktop 安装报错提示框中的Restart，就能顺利安装完成并启动了。
D001.7 Docker搭建Hadoop集群（实践篇）
邵奈一的博客
01-14 694
教程目录0x00 教程内容0x01 环境及资源准备1. 安装Docker2. 准备资源0x02 生产镜像1. 生成样本镜像2. 创建bigdata网络3. 启动容器0x03 检验Hadoop1. 启动Hadoop2. Web UI界面查看0xFF 总结 0x00 教程内容 环境及资源准备 生产镜像 检验Hadoop 0x01 环境及资源准备 1. 安装Docker 请参考：D001...
Hadoop (七) --------- 使用 Docker 搭建 Hadoop 运行环境
在森林里麋了鹿
07-14 3544
使用 docker 搭建 hadoop 集群
docker 安装hadoop
逝水流年染轻尘的博客
03-18 2180
自己使用的镜像：harisekhon/hadoop:2.8 其中有些命令不一样： 比如ssh可以直接使用，需要查找下jdk安装路径。然后改变jdk安装路径 ...
Docker容器搭建Hadoop集群(hadoop-3.1.3)
2202_75688394的博客
04-20 1831
Docker容器环境下搭建Hadoop集群（完全分布式） hadoop版本为hadoop-3.1.3
Hadoop集群搭建——基于Docker | Hadoop安装
OnedayIlove的博客
09-05 1237
前言 大三开始，开设了Hadoop课（早就想跃跃欲试入大数据坑了????）。 起步学Hadoop????，Hadoop的搭建真是个坑。有三种搭建方式/运行模式，单机（不能用HDFS，这算个啥）、伪分布式（大四秋招出去面试，整个这会中？）、全分布式。OK，就是这个全分布模式了，但这也是最近遇到的的痛点。 首先，说服室友咱们别完玩LOL/NBA2K/守望先锋/斗鱼直播电脑上都同时安个Hadoop，我mast...
适合hadoop2.9.* 以及 hadoop2.7.* 的winutils.exe_hadoop.dll 配置文件
04-17
- 考虑使用Docker或VMware等虚拟化技术在Windows上创建一个Linux环境，以获得更原生的Hadoop体验。 总之，`winutils.exe` 和 `hadoop.dll` 对于在Windows上运行Hadoop至关重要。通过正确配置和使用这些文件，用户...
使用docker搭建部署hadoop分布式集群
hnhbdss的专栏
01-17 4406
http://blog.csdn.net/xu470438000/article/details/50512442 使用docker搭建部署hadoop分布式集群 标签： dockerhadoop集群 2016-01-13 18:16 2005人阅读 评论(1) 收藏 举报 分类： docker 版权声明：本文为博主原创文章
狙击P7！阿里大佬亲授“Java性能调优技术宝典”，太完整了！
weixin_51954021的博客
02-05 290
一、前言 什么是性能调优？ 性能调优其实很好理解，就是优化硬件、操作系统、应用之间的一个充分的协作，最大化的发挥出硬件的极致性能，来应对高负载的业务需求。 为什么需要性能优化？ 其实说到底就是两个原因： ①：为了获得更好的系统性能 ②：通过性能调优来满足不断增加的业务需求 性能调优其实作用于我们项目中的很多阶段，项目上线前性能的基本优化，项目上线后也是需要持续不断的性能优化来应对不同时期的业务需求。 我有个朋友现在在阿里是P7，他认为在P7这个职位，特别是像阿里这种体量的企业，以下这些性能调
docker部署hadoop
qq_39006905的博客
03-05 827
hadoop单节点部docker部署
deploy hadoop cluster in docker using of sequenceiq/hadoop-docker:2.7.0
嵇康的专栏
06-22 628
see: http://www.jianshu.com/p/5f4be94630a3 http://blog.csdn.net/xu470438000/article/details/50512442 10.177.3.93>sudo docker run --name hadoop0 --hostname hadoop0 --restart=always -d --net=host
大数据——hadoop环境安装（docker搭建）
weixin_42789698的博客
12-03 2712
###### 这个Dockerfile主要是基于CentOS镜像进行一些系统设置和软件安装，最终生成一个包含SSH服务的镜像。####### dockerfile的内容# 基础镜像# 作者# 将工作目录切换到`/etc/yum.repos.d/`# 使用sed命令注释掉mirrorlist行。# 使用sed命令将baseurl修改为`http://vault.centos.org`。# 更新yum缓存。# 使用yum更新系统软件。# 使用yum安装openssh-server和sudo。
基于Docker搭建Hadoop集群(用于学习)
vita的专栏
04-03 853
说明 在参考 博客: [基于Docker搭建Hadoop集群之升级版] 前提下从Ubuntu 更改成 Centos7 (http://kiwenlau.com/2016/06/12/160612-hadoop-cluster-docker-update/) 操作流程 1. pull docker 镜像 sudo docker pull kiwenlau/hadoop:1.0 2. clone...
【Docker】Docker安装Hadoop分布式集群
weixin_46429290的博客
04-06 2136
hadoop目录安装在：/usr/local/hadoop-2.7.0/etc/hadoop。访问Hadoop102:9870，查看是否能够看到hdfs界面。访问hadoop103:8088，查看能够看到yarn界面。在yarn上可以看到执行情况。
Docker搭建hadoop和spark集群
escapeape的博客
04-01 1316
在宿主机器的浏览器输入0.0.0.0:8080 就可以查看spark集群的运行状况。在宿主机器的浏览器输入0.0.0.0:8080 就可以查看spark集群的运行状况。6.拉取的镜像的环境变量默认配置在/etc/profile中。6.拉取的镜像的环境变量默认配置在/etc/profile中。选择conda来管理python虚拟环境。选择conda来管理python虚拟环境。拉取的镜像没有配置spark,手动配置。拉取的镜像没有配置spark,手动配置。4. 使用conda创建虚拟环境。
Docker玩转Rhadoop
jiabiao1602的专栏
04-19 605
原文地址：http://wanghaisheng.github.io/2014/12/20/run-rhadoop-on-docker-cn/ Docker 玩转 RHadoop 网络上已经有了太多的 RHadoop 的安装使用的教程，鉴于其中的配置配置繁复，对软件版本的要求又极其苛刻，故笔者想用时下热门的 docker 来尝尝鲜，以下是心路历程，供看客参考，希望能给大家一些帮助。
Ubuntu Docker快速搭建Hadoop集群
为了提升Docker的使用体验，可以注册并使用Docker加速器服务，如阿里云、网易云或DaoCloud的加速器，这将显著提高下载Docker镜像的速度。 安装完成后，验证Docker是否正确安装，可以运行`docker run hello-world`...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值