1.Apache Griffin Docker指南
1.1.环境准备
1.1.1.安装Docker要求Centos内核版本高于3.10
通过uname -r查看当前系统的内核版本
uname -r
1.1.2.安装docker。
安装docker所需工具
yum install -y yum-utils device-mapper-persistent-data lvm2
设置稳定存储库
#yum-config-manager --add-repo https://download.docker.com/linux/centos/docker-ce.repo
yum-config-manager --add-repo http://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo(国内yum源)
下载docker安装包
https://get.docker.com/rpm/1.7.1/centos-6/RPMS/x86_64/docker-engine-1.7.1-1.el6.x86_64.rpm
安装docker
#yum install docker-io
rpm -ivh docker-engine-1.7.1-1.el6.x86_64.rpm
查看docker版本
docker version
1.1.3.安装docker compose。
(1)更新pip
pip install --upgrade pip
(2)安装docker compose
pip install docker-compose
更新pip失败:
查看python版本是否为3
否则安装python3
①安装依赖环境
yum -y install zlib-devel bzip2-devel openssl-devel ncurses-devel sqlite-devel readline-devel tk-devel gdbm-devel db4-devel libpcap-devel xz-devel gcc
②下载Python3
wget https://www.python.org/ftp/python/3.6.1/Python-3.6.1.tgz
③安装python3
创建目录
mkdir -p /usr/local/python3
解压文件
tar -zxvf Python-3.6.1.tgz
进入解压后的目录,编译安装
cd Python-3.6.1
./configure --prefix=/usr/local/python3 #/usr/local/python3为安装目录
make && make install
④创建软链接
ln -s /usr/local/python3/bin/python3 /usr/bin/python3
ln -s /usr/local/python3/bin/pip3 /usr/bin/pip
成功后执行命令安装docker-compose
pip install --upgrade pip
pip install docker-compose
1.1.4.增加本地计算机(linux)的vm.max_map_count,以使用elasticsearch
sysctl -w vm.max_map_count=262144
1.1.5.拉取Apache Griffin预先构建的docker图像
docker pull registry.docker-cn.com/apachegriffin/griffin_spark2:0.3.0
docker pull registry.docker-cn.com/apachegriffin/elasticsearch
docker pull registry.docker-cn.com/apachegriffin/kafka
docker pull zookeeper:3.5
注:docker镜像是Apache Griffin环境图像。
apachegriffin/griffin_spark2:这个图像包含mysql,hadoop,hive,spark,livy,Apache Griffin服务,Apache Griffin测量,以及一些准备好的演示数据,它作为单节点火花集群工作,提供Spark引擎和Apache Griffin服务。
apachegriffin/elasticsearch:此图像基于官方弹性搜索,添加一些配置以启用cors请求,为指标提供弹性搜索服务。
apachegriffin/kafka:此图像包含kafka 0.8和一些演示流数据,以流模式提供流数据源。
zookeeper:3.5:此图像是官方的zookeepe