使用docker 快速搭建一个 hive 的服务器(2)

46 篇文章 0 订阅
4 篇文章 0 订阅

1,关于hive


hive是一个类似sql的大数据处理框架。底层还是map reduce。
自己本地想要执行测试些sql 语句啥的,主要是方便学习。
要折腾一个下,还是docker 方便。找一个 centos 的基础镜像。
然后 用 cdh 进行安装 hive。
https://blog.csdn.net/freewebsys/article/details/82048311

2,使用docker构建


首先要创建一个 CentOS-Base.repo 文件。
阿里云默认把这个文件的两个域名访问不了。
yum 源 有 mirrors.aliyun.com (外网) 和 mirrors.aliyuncs.com(内网)

自己得删除掉 , aliyuncs 的域名。

# CentOS-Base.repo
[base]
name=CentOS-$releasever - Base - mirrors.aliyun.com
failovermethod=priority
baseurl=http://mirrors.aliyun.com/centos/$releasever/os/$basearch/
gpgcheck=1
gpgkey=http://mirrors.aliyun.com/centos/RPM-GPG-KEY-CentOS-7

#released updates 
[updates]
name=CentOS-$releasever - Updates - mirrors.aliyun.com
failovermethod=priority
baseurl=http://mirrors.aliyun.com/centos/$releasever/updates/$basearch/
gpgcheck=1
gpgkey=http://mirrors.aliyun.com/centos/RPM-GPG-KEY-CentOS-7

#additional packages that may be useful
[extras]
name=CentOS-$releasever - Extras - mirrors.aliyun.com
failovermethod=priority
baseurl=http://mirrors.aliyun.com/centos/$releasever/extras/$basearch/
gpgcheck=1
gpgkey=http://mirrors.aliyun.com/centos/RPM-GPG-KEY-CentOS-7

#additional packages that extend functionality of existing packages
[centosplus]
name=CentOS-$releasever - Plus - mirrors.aliyun.com
failovermethod=priority
baseurl=http://mirrors.aliyun.com/centos/$releasever/centosplus/$basearch/
gpgcheck=1
enabled=0
gpgkey=http://mirrors.aliyun.com/centos/RPM-GPG-KEY-CentOS-7

#contrib - packages by Centos Users
[contrib]
name=CentOS-$releasever - Contrib - mirrors.aliyun.com
failovermethod=priority
baseurl=http://mirrors.aliyun.com/centos/$releasever/contrib/$basearch/
gpgcheck=1
enabled=0
gpgkey=http://mirrors.aliyun.com/centos/RPM-GPG-KEY-CentOS-7

然后配置dockerfile:

FROM docker.io/centos:7

ADD CentOS-Base.repo /etc/yum.repos.d
RUN curl -o /etc/yum.repos.d/cloudera-cdh5.repo \
https://archive.cloudera.com/cdh5/redhat/7/x86_64/cdh/cloudera-cdh5.repo && \
    rpm  -import  http://mirrors.aliyun.com/centos/RPM-GPG-KEY-CentOS-7    && \
    rpm --import https://archive.cloudera.com/cdh5/redhat/7/x86_64/cdh/RPM-GPG-KEY-cloudera    && \
    sed -i -e 's/enabled=1/enabled=0/g'  /etc/yum/pluginconf.d/fastestmirror.conf && \
    yum install -y java-1.8.0-openjdk hive && yum clean all

构建一个cdh-hive 镜像

docker build -t cdh-hive .

漫长的,构建成功:

REPOSITORY                 TAG                 IMAGE ID            CREATED             SIZE
cdh-hive                   latest              fda5256cb18e        5 hours ago         1.23GB

3,总结


docker 使用 centos 安装cdh 的hive ,最优雅的方式安装。
重点在于学习 hive 的语法,sql 。真正的弄起来,有运维大哥帮忙。
开发还是做业务分析的好。折腾起来就可以学习hive了。
主要还是aliyun 删除掉内网的地址就可以啦。方便了。

本文的原文连接是:
https://blog.csdn.net/freewebsys/article/details/82191092

博主地址是:http://blog.csdn.net/freewebsys

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值