Spark+Hadoop+Hive 平台docker一键搭建

安装步骤

下载启动配置脚本,会在当前目录下生成sandbox-hdp-3.0.1文件夹

git clone https://github.com/dounine/sandbox-hdp-3.0.1.git

进入sandbox-hdp-3.0.1文件夹执行

sudo bash ./docker-deploy-hdp30.sh

运行成功输出

root@lake /s/d/sandbox-hdp-3.0.1# ./docker-deploy-hdp265.sh 
+ registry=hortonworks                                                                                                                                                 
+ name=sandbox-hdp                                                                                                                                                     
+ version=3.0.1                                                                                                                                                        
+ proxyName=sandbox-proxy                                                                                                                                              
+ proxyVersion=1.0                                                                                                                                                     
+ flavor=hdp                                                                                                                                                           
+ echo hdp                                                                                                                                                             
+ mkdir -p sandbox/proxy/conf.d                                                                                                                                        
+ mkdir -p sandbox/proxy/conf.stream.d                                                                                                                                 
+ docker pull hortonworks/sandbox-hdp:3.0.1                                                                                                                            
3.0.1: Pulling from hortonworks/sandbox-hdp                                                                                                                            
Digest: sha256:7b767af7b42030fb1dd0f672b801199241e6bef1258e3ce57361edb779d95921                                                                                        
Status: Image is up to date for hortonworks/sandbox-hdp:3.0.1                                                                                                          
+ docker pull hortonworks/sandbox-proxy:1.0                                                                                                                            
1.0: Pulling from hortonworks/sandbox-proxy                                                                                                                            
Digest: sha256:42e4cfbcbb76af07e5d8f47a183a0d4105e65a1e7ef39fe37ab746e8b2523e9e                                                                                        
Status: Image is up to date for hortonworks/sandbox-proxy:1.0                                                                                                          
+ '[' hdp == hdf ']'                                                                                                                                                   
+ '[' hdp == hdp ']'                                                                                                                                                   
+ hostname=sandbox-hdp.hortonworks.com                                                                                                                                 
++ docker images                                                                                                                                                       
++ grep hortonworks/sandbox-hdp                                                                                                                                        
++ awk '{print $2}'                                                                                                                                                    
+ version=3.0.1                                                                                                                                                        
+ docker network create cda                                                                                                                                            
+ docker run --privileged --name sandbox-hdp -h sandbox-hdp.hortonworks.com --network=cda --network-alias=sandbox-hdp.hortonworks.com -d hortonworks/sandbox-hdp:3.0.1 
46bf6b414dd3c0fb36a3816eac129219d30d49ea9421898158800e0ab3576048                                                                                                       
+ echo ' Remove existing postgres run files. Please wait'                                                                                                              
 Remove existing postgres run files. Please wait                                                                                                                       
+ sleep 2                                                                                                                                                              
+ docker exec -t sandbox-hdp sh -c 'rm -rf /var/run/postgresql/*; systemctl restart postgresql;'                                                                       
Failed to restart postgresql.service: Unit not found.                                                                                                                  
+ sed s/sandbox-hdp-security/sandbox-hdp/g assets/generate-proxy-deploy-script.sh                                                                                      
+ mv -f assets/generate-proxy-deploy-script.sh.new assets/generate-proxy-deploy-script.sh                                                                              
+ chmod +x assets/generate-proxy-deploy-script.sh                                                                                                                      
+ assets/generate-proxy-deploy-script.sh                                                                                                                               
+ uname                                                                                                                                                                
+ grep MINGW                                                                                                                                                           
+ chmod +x sandbox/proxy/proxy-deploy.sh                                                                                                                               
+ sandbox/proxy/proxy-deploy.sh                                                                                                                                        
7fa5c4d0737a6b71796fe997baf397d4078907d83fcfaa2a8c0f241772547147

这里如果出现下面这种问题

    Error response from daemon: network-scoped alias is supported only for containers in user defined networks
    Error: failed to start containers: sandbox-hdp

需要将启动脚本里面的 if判断语句中的’==’ 替换成 ‘=’ .

# start the docker container and proxy

if [ "$flavor" = "hdf" ]; then

hostname="sandbox-hdf.hortonworks.com"

elif [ "$flavor" = "hdp" ]; then

hostname="sandbox-hdp.hortonworks.com"

fi

需要先重置一下ambari的密码才能登录
Admin Password Reset

Due to possibility of passwords being vulnerable to being hacked, we recommend
you change your Ambari admin password to be unique.

Open [Shell Web Client](http://sandbox-hdp.hortonworks.com:4200/) (aka Shell-in-a-Box):

The login using credentials: root / hadoop

Type the following commands: ambari-admin-password-reset   #重置密码登录

结果

[root@sandbox-hdp /]# ambari-admin-password-reset                                                                                                                      
Please set the password for admin:                                                                                                                                     
Please retype the password for admin:                                                                                                                                  
                                                                                                                                                                       
The admin password has been set.                                                                                                                                       
Restarting ambari-server to make the password change effective...                                                                                                      
                                                                                                                                                                       
Using python  /usr/bin/python                                                                                                                                          
Restarting ambari-server                                                                                                                                               
Waiting for server stop...                                                                                                                                             
Ambari Server stopped                                                                                                                                                  
Ambari Server running with administrator privileges.                                                                                                                   
Organizing resource files at /var/lib/ambari-server/resources...                                                                                                       
Ambari database consistency check started...                                                                                                                           
Server PID at: /var/run/ambari-server/ambari-server.pid                                                                                                                
Server out at: /var/log/ambari-server/ambari-server.out                                                                                                                
Server log at: /var/log/ambari-server/ambari-server.log                                                                                                                
Waiting for server start...................                                                                                                                            
Server started listening on 8080                                                                                                                                       
                                                                                                                                                                       
DB configs consistency check: no errors and warnings were found.

输入帐号密码登录 ambar webUI http://localhost:8080

Docker是一种容器化技术,用于创建、部署和管理应用程序的容器。Hadoop是一个分布式计算框架,用于处理大数据集并在集群中进行高速计算。HBase是一个面向列的分布式数据库,用于存储和管理大规模的结构化数据。Hive是一个基于Hadoop的数据仓库基础架构,用于提供简化的查询和分析大数据的能力。而Spark是一个高级的分布式计算系统,用于加速大规模数据处理和分析。 在使用这些技术时,Docker可以用于快速搭建和部署容器化的Hadoop、HBase、HiveSpark环境。使用Docker容器,我们可以轻松地在任何机器上部署这些组件,而无需担心环境配置的问题。 Hadoop是一个开源的分布式计算框架,它可以容纳大规模数据并以可靠的方式在集群中进行处理。通过用Docker容器来运行Hadoop,我们可以更快地搭建和管理Hadoop集群,并且容易进行监控和维护。 HBase是一个分布式数据库系统,以表的形式存储数据,并提供高效的读写操作。通过Docker容器,我们可以轻松地部署HBase集群,并且可以根据需求进行水平扩展,以满足不同规模的数据存储需求。 Hive是一个基于Hadoop的数据仓库基础架构,它提供了类似于SQL的查询接口,方便用户进行大规模数据的查询和分析。使用Docker容器,我们可以轻松地搭建Hive环境,并通过对容器进行配置和管理,优化Hive的性能。 Spark是一个高级的分布式计算系统,它强调内存计算和迭代计算的能力,从而加速大规模数据处理和分析。通过Docker容器,我们可以快速部署和管理Spark集群,并且可以根据需求进行资源配置和任务调度,以实现高性能和高吞吐量的数据处理。
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值