1,关于hive
hive是一个类似sql的大数据处理框架。底层还是map reduce。
自己本地想要执行测试些sql 语句啥的,主要是方便学习。
要折腾一个下,还是docker 方便。找一个 centos 的基础镜像。
然后 用 cdh 进行安装 hive。
https://blog.csdn.net/freewebsys/article/details/82048311
2,使用docker构建
首先要创建一个 CentOS-Base.repo 文件。
阿里云默认把这个文件的两个域名访问不了。
yum 源 有 mirrors.aliyun.com (外网) 和 mirrors.aliyuncs.com(内网)
自己得删除掉 , aliyuncs 的域名。
# CentOS-Base.repo
[base]
name=CentOS-$releasever - Base - mirrors.aliyun.com
failovermethod=priority
baseurl=http://mirrors.aliyun.com/centos/$releasever/os/$basearch/
gpgcheck=1
gpgkey=http://mirrors.aliyun.com/centos/RPM-GPG-KEY-CentOS-7
#released updates
[updates]
name=CentOS-$releasever - Updates - mirrors.aliyun.com
failovermethod=priority
baseurl=http://mirrors.aliyun.com/centos/$releasever/updates/$basearch/
gpgcheck=1
gpgkey=http://mirrors.aliyun.com/centos/RPM-GPG-KEY-CentOS-7
#additional packages that may be useful
[extras]
name=CentOS-$releasever - Extras - mirrors.aliyun.com
failovermethod=priority
baseurl=http://mirrors.aliyun.com/centos/$releasever/extras/$basearch/
gpgcheck=1
gpgkey=http://mirrors.aliyun.com/centos/RPM-GPG-KEY-CentOS-7
#additional packages that extend functionality of existing packages
[centosplus]
name=CentOS-$releasever - Plus - mirrors.aliyun.com
failovermethod=priority
baseurl=http://mirrors.aliyun.com/centos/$releasever/centosplus/$basearch/
gpgcheck=1
enabled=0
gpgkey=http://mirrors.aliyun.com/centos/RPM-GPG-KEY-CentOS-7
#contrib - packages by Centos Users
[contrib]
name=CentOS-$releasever - Contrib - mirrors.aliyun.com
failovermethod=priority
baseurl=http://mirrors.aliyun.com/centos/$releasever/contrib/$basearch/
gpgcheck=1
enabled=0
gpgkey=http://mirrors.aliyun.com/centos/RPM-GPG-KEY-CentOS-7
然后配置dockerfile:
FROM docker.io/centos:7
ADD CentOS-Base.repo /etc/yum.repos.d
RUN curl -o /etc/yum.repos.d/cloudera-cdh5.repo \
https://archive.cloudera.com/cdh5/redhat/7/x86_64/cdh/cloudera-cdh5.repo && \
rpm -import http://mirrors.aliyun.com/centos/RPM-GPG-KEY-CentOS-7 && \
rpm --import https://archive.cloudera.com/cdh5/redhat/7/x86_64/cdh/RPM-GPG-KEY-cloudera && \
sed -i -e 's/enabled=1/enabled=0/g' /etc/yum/pluginconf.d/fastestmirror.conf && \
yum install -y java-1.8.0-openjdk hive && yum clean all
构建一个cdh-hive 镜像
docker build -t cdh-hive .
漫长的,构建成功:
REPOSITORY TAG IMAGE ID CREATED SIZE
cdh-hive latest fda5256cb18e 5 hours ago 1.23GB
3,总结
docker 使用 centos 安装cdh 的hive ,最优雅的方式安装。
重点在于学习 hive 的语法,sql 。真正的弄起来,有运维大哥帮忙。
开发还是做业务分析的好。折腾起来就可以学习hive了。
主要还是aliyun 删除掉内网的地址就可以啦。方便了。
本文的原文连接是:
https://blog.csdn.net/freewebsys/article/details/82191092