在Docker启动Cloudera并开始体验

开始之前

• 最新版Docker
• 给Docker分配4GB内存
• Docker可用的磁盘空间10GB

使用Docker可以快速体验CDH，并且依据localhost提供的案例，可以体验CDH在Sqoop，HDFS，Hive，Impala，Spark，Search方面的应用。安装预计耗时15分钟左右，体验上诉各种场景在2小时左右。

第一部分：安装CDH

1. 从Cloudera下载docker镜像

2. 解压缩之后导入

docker import cloudera-quickstart-vm-5.13.0-0-beta-docker.tar

3. 启动容器

docker run --hostname=quickstart.cloudera --privileged=true -t -i -d -p 8888:8888 -p 80:80 -p 7180:7180 -p 21050:21050 -p 50070:50070 -p 50075:50075 -p 50010:50010 -p 50020:50020 -p 8020:8020 [containerid] /usr/bin/docker-quickstart

 

第二部分：使用Sqoop从Mysql导入表，并使用impala进行SQL查询

1. 进入服务器

docker exec -t -i [container name] /bin/bash

2. 切换到cloudera用户

su - cloudera

3. 导入测试数据

[cloudera@quickstart ~]$ sqoop import-all-tables \
     -m 1 \
     --connect jdbc:mysql://quickstart:3306/retail_db \
     --username=retail_dba \
     --password=cloudera \
     --compression-codec=snappy \
     --as-parquetfile \
     --warehouse-dir=/user/hive/warehouse \
     --hive-import

4. 访问http://localhost:8888，打开hue，账号密码都是cloudera

 

5. 刷新impala缓存

invalidate metadata;

6. hue界面中执行SQL查询

其他应用场景可以参考http://localhost进行体验，后续还包含search应用，spark体验等。

说明：docker版本默认不启动clouder-manager，如果需要启动，将docker的内存分配到8GB，然后进入cdh的容器中，执行/home/cloudera/cloudera-manager –express，之后可以通过浏览器访问localhost:7180查看到Cloudera-manager