使用docker部署spark+hibench

最新推荐文章于 2023-08-13 10:39:51 发布
最新推荐文章于 2023-08-13 10:39:51 发布
阅读量285 收藏
点赞数
文章标签： spark docker
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/huan_77/article/details/106883823
版权

找了个还算能用的镜像

docker pull cjy2181/hadoop-hibench

 没有bc，导致没有hibench.report，可以install一下

apt-get install bc

具体测试负载可以改一下，不然可能由于原设置测试数据量太大跑不起来

 

 

docker-hub地址：https://hub.docker.com/r/cjy2181/hadoop-hibench

Overview

  1. service ssh start

  2. $HADOOP_HOME/bin/hadoop namenode -format

  3. $HADOOP_HOME/sbin/start-all.sh

  4. $SPARK_HOME/sbin/start-all.sh

  5. cd ~/Hibench

  6. run benchmark

or

run shell script

$ ~/setup.sh

huan_77
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
使用 Docker 部署 Prometheus + Grafana 监控平台
愿许浪尽天涯的博客
03-31 4214
Prometheus（普罗米修斯）是一套开源的监控&报警&时间序列数据库的组合，由 SoundCloud 公司开发。 Prometheus 基本原理是通过 HTTP 协议周期性抓取被监控组件的状态，这样做的好处是任意组件只要提供 HTTP 接口就可以接入监控系统，不需要任何 SDK 或者其他的集成过程。这样做非常适合虚拟化环境比如 VM 或者 Docker 。 Prometheus 应该是为数不多的适合 Docker、Mesos、Kubernetes 环境的监控系统之一。
docker-spark, 通用 Apache Spark 客户端的Docker 映像.zip
09-18
docker-spark, 通用 Apache Spark 客户端的Docker 映像 客户端 Docker 映像 这个存储库包含一个运行的 Docker 映像。要运行简单的spark shell 插件，请执行以下操作：docker run -it epahomov/docker-spark:lightwe
Spark单节点docker适配
qq_41685616的博客
04-17 246
Spark单节点docker适配 参考连接： （1）docker搭建Spark： https://blog.csdn.net/qq_33517844/article/details/92255759 （2）docker-compose安装： Step1： curl -L https://get.daocloud.io/docker/compose/releases/download/1.22.0/...
浅析HiBench之SparkBench（集群）配置
Yannick Jiang 的专栏
08-29 1556
一 、前言: 1. 语术： Hadoop 版本: Version 2.7.1 HiBench 版本：Version 6.0 Spark 版本：Version 2.1.0 Scala 版本： scala-2.11.12 java: jdk8 集群节点：1master + 3 slaves 二、搭建Spark on yarn 集群 基于单节点Spark 配置 https://blog.csd...
Docker安装Spark
最新发布
风物长宜放眼量
08-13 837
Docker安装Apache Spark
基于docker安装spark
luozirong的专栏
04-26 2671
1.首先下载镜像并启动： docker pull sequenceiq/spark:1.5.1 sudo docker run -it sequenceiq/spark:1.5.1 bash2.修改配置 首先用ifconfig得到ip地址，我的ip是172.17.0.109，然后： bash-4.1# cd /usr/local/spark bash-4.1# cp conf/spark-
详解如何使用Docker部署Django+MySQL8开发环境
09-08
主要介绍了详解如何使用Docker部署Django+MySQL8开发环境，文中通过示例代码以及图文介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面来一起学习学习吧
Docker搭建 Nginx+PHP+MySQL 环境并部署WordPress实践
09-09
本文给大家分享的是作者基于Docker搭建 Nginx+PHP+MySQL 环境并部署WordPress的详细过程，非常的全面，有需要的小伙伴可以参考下
docker容器化+k8s集群部署教程以及springboot+vue部署示例
04-11
本文介绍VMware虚拟机下centos7操作系统中如何安装云原生 Kubernetes（k8s）集群、k8s可视化界面kuboard，以及如何利用docker容器化将springboot+vue项目在k8s集群中部署运行。
使用Docker部署Jmeter+InfluxDB+Grafana 搭建性能监控平台
qq_18550769的博客
02-22 1267
前言 之前写过一篇《linux下性能测试监控平台InfluxDB+Grafana+Jmeter的搭建》，后来在应用中发现，在linux下部署多个原生服务组合使用时移植性较差，每次更换一台linux机器都需要重新搭建所有的服务，在安装和修改配置文件的过程中很容易出现各种各样的问题，而且排查问题非常的耗费时间。Docker部署方便，没有那么多的环境参数配置，隔离性好，更重要是可移植性强，可以完美避开linux原生部署各样的问题。 一、Linux 安装 Docker 1.卸载旧版本 sudo yum r
使用Docker部署Spark集群
心梦园
08-25 1083
使用Docker部署Spark集群 克隆包含启动脚本的git仓库 启动Spark0.8.0集群并切换至Spark Shell环境 不带参数运行部署脚本 *运行一些小的例子 终止集群 克隆包含启动脚本的git仓库*git clone -b blogpost git@github.com:amplab/docker-scripts.git当然，在这之前你必须已经配置了Github的SSH密钥认证，如果没
docker安装spark3
BugAngel的博客
08-21 1075
docker安装spark3
Hibench使用
wenwenxiong的专栏
08-28 7951
Hibench是一个大数据 benchmark 套件，用来测试各种大数据框架的速度，吞吐量，系统资源利用率。 它支持的框架有：hadoopbench、sparkbench、stormbench、flinkbench、gearpumpbench。参考网址：https://github.com/intel-hadoop/HiBench https://github.com/intel-hadoop/H
Docker 搭建Spark集群
dw147258dw的专栏
04-10 1008
jdk 从oracle官网进行下载，复制相应下载链接.我是在本地下载后上传到linux上，再docker cp到容器里.在linux上命令如下。生成新镜像，此处取名为my-ssh-centos7。配置hdfs-site.xml,设置副本数和NameNode、DataNode的目录路径。参考csdn等文章，利用docker安装spark。用虚拟化容器模拟出三个节点。再度进入容器后，执行下列操作，设置ssh免密登录。配置mapred-site.xml。配置yarn-site.xml。进入容器后，进行下列操作。
Docker环境部署Hadoop并使用docker构建spark运行案列（全网最详细教程）
未来社会二十年发展的核心技术趋势由ABCD四个字母组成，分别是AI（人工智能）、BlockChain（区块链）、Cloud（云）、和Data（大数据）每一次进步都有新的认知和感触
11-04 7825
本文主要是Docker部署hadoop 和使用docker构建spark运行环境，里面有详细的安装配置教程和操作说明，环境没问题的话，按照操作基本都能部署完成和运行，后面也有一些案列可以帮助更好的操作和理解hadoop和spark运行原理。
使用Docker运行spark
kongxx的专栏
07-04 4010
获取docker镜像 sudo docker pull sequenceiq/spark:1.6.0 运行docker容器 sudo docker run -it --name spark --rm sequenceiq/spark:1.6.0 /bin/bash 运行作业 $ cd /usr/local/spark $ bin/spark-submit --mast...
使用docker安装部署Spark集群来训练CNN（含Python实例）
热门推荐
AutoVision (by 仙道菜)
11-06 2万+
实验室有4台服务器（8个GPU/台），平日都只使用了其中的一个GPU，实在暴遣天物！于是决定使用docker安装部署Spark集群，将这些GPU都利用起来训练CNN。本文是博主含泪写出的踩坑总结，希望能够给各位提供了一些前车之鉴来避开这些坑。
快速搭建docker spark+hadoop计算环境
MinCong Luo的博客
11-11 3525
快速搭建docker spark+hadoop计算环境 当然，如果希望计算跑得很流畅，你需要一个好的服务器。 我们选择的是github和docker-hub上都很火的一个镜像。 这个库包含Docker文件与Apache Spark构建一个docker镜像。这个docker镜像依赖于我们以往的Hadoop的docker镜像。基础的那个Hadoop镜像也是正式的官方docker镜像。从Docker
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值