查看linux版本:cat /etc/issue
查看启动容器日志 docker log con_mysql_57
下载镜像docker pull mysql:5.6
查看下载的镜像:docker images
删除镜像:docker rmi f4119e5030fe
创建并首次启动mysql容器:docker run --name "mysql" -p 3308:3306 -v /f/docker-data/mysql/docker-var-lib-mysql:/var/lib/mysql -e MYSQL_ROOT_PASSWORD=root -d mysql:5.6
以上-p为端口映射,"mysql"为容器名称,-v为文件夹映射,容器中数据库的数据将保存到容器的/var/lib/mysql中,也就是物理机的/f/docker-var-lib-mysql,在生成新容器时指定该映射即实现了数据的重用。
查看容器:docker ps -a
删除容器:docker rm mysql
启动容器:docker start mysql
关闭容器:docker stop mysql
进入容器命令行(使用容器id或容器名称):
docker exec -it f4119e5030fe /bin/bash
docker exec -it mysql /bin/bash
查看卷:docker volume ls
查看孤单卷(无container使用的卷):docker volume ls -qf dangling=true
容器随docker启动(--restart=no则为取消):docker update zeppelin --restart=always
安装oracle11g
https://blog.csdn.net/zwx521515/article/details/77982884
docker pull registry.aliyuncs.com/helowin/oracle_11g
docker run -d -p 1521:1521 --name oracle_11g registry.aliyuncs.com/helowin/oracle_11g
docker start oracle_11g
docker exec -it oracle_11g bash
su root helowin
vi /etc/profile (此处SID不可修改,原作者安装时就是命名为这个)
export ORACLE_HOME=/home/oracle/app/oracle/product/11.2.0/dbhome_2
export ORACLE_SID=helowin
export PATH=$ORACLE_HOME/bin:$PATH
ln -s $ORACLE_HOME/bin/sqlplus /usr/bin
su oracle
vi ~/.bashrc也加上上面一段export环境变量
source /etc/profile
sqlplus /nolog
conn /as sysdba
alter user system identified by oracle;
alter user sys identified by oracle;
ALTER PROFILE DEFAULT LIMIT PASSWORD_LIFE_TIME UNLIMITED;
docker stop oracle_11g
将容器生成为镜像
docker commit oracle_11g oracle11g
将镜像生成为文件
docker save -o docker_oracle11g.tar oracle11g:latest
从文件读取镜像
docker load < docker_oracle11g.tar
启动centos,注意创建时需要有-it,否则exec无法进入
docker run -d -it --net=host -v /F/docker-data/datax:/data --name datax centos:latest
docker exec -it datax /bin/bash
容器中的应用访问其他容器中的数据库需要使用物理机的IP而不能是127.0.0.1之类的。
安装pgadmin:
docker pull chorss/docker-pgadmin4
docker run --name pgadmin -e SERVER_MODE=true -e PGADMIN_SETUP_EMAIL=admin -e PGADMIN_SETUP_PASSWORD=admin -d -p 5050:5050 -v /f/docker-data/pgadmin:/data chorss/docker-pgadmin4
安装zeppelin
docker run -d -p 8082:8080 -v /F/docker-data/zeppelin/logs:/logs -v /F/docker-data/zeppelin/notebook:/notebook --env HOST_IP=0.0.0.0 --env ZEPPELIN_LOG_DIR='/logs' --env ZEPPELIN_NOTEBOOK_DIR='/notebook' --name zeppelin apache/zeppelin:0.8.0
访问http://localhost:8082即可,连接GP需要先在前端创建interpreter,名为psql,配置url驱动用户名密码等
default.driver org.postgresql.Driver
default.url jdbc:postgresql://192.168.122.113:5432/tutorial
每段代码开头可声明处理方式(%psql.sql,%python等),一个note中可以有多种代码,未声明时则为创建note时指定的默认类型。
%psql.sql
select * from faa.sample limit 10;
安装示例:https://segmentfault.com/a/1190000007190161
安装hadoop单节点(此处的端口映射是工作电脑端口限制导致的额外配置):
docker pull sequenceiq/hadoop-docker:latestdocker run -i -t -p 8070:50070 -p 8071:9000 -p 8072:8088 -p 8073:8040 -p 8074:8042 -p 8075:49707 -p 8076:50010 -p 8077:50075 -p 8078:50090 --name hadoop sequenceiq/hadoop-docker:latest /etc/bootstrap.sh -bash
测试
/usr/local/hadoop-2.7.0/bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.0.jar grep input output 'dfs[a-z.]+'
/usr/local/hadoop-2.7.0/bin/hdfs dfs -cat output/*
https://hub.docker.com/r/sequenceiq/hadoop-docker/
安装kafka
网络设置 --net=host,该设置使容器直接使用本机的网卡,共享了localhost/ip/端口等,之后就无需再做端口映射,适用于IP容易变化且多个容器需要网络交流的情况。详见:https://segmentfault.com/q/1010000016340057?sort=created
--link zookeeper,该配置相当于在host中加入了指定机器名,在本容器中可以使用'zookeeper'访问对应容器
docker pull wurstmeister/zookeeper
docker pull wurstmeister/kafka
docker run -d --name zookeeper --net=host -t wurstmeister/zookeeper
docker run -d --name kafka --net=host --env KAFKA_ZOOKEEPER_CONNECT=localhost:2181 --env KAFKA_ADVERTISED_HOST_NAME=localhost --env KAFKA_ADVERTISED_PORT=9092 -v /F/docker-data/kafka:/kafka wurstmeister/kafka:latest
(注意设置了外挂文件夹后就不可以再执行delete topic操作)
创建topic:/opt/kafka_2.12-2.2.1/bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 2 --topic mytopic
列举topic:/opt/kafka_2.12-2.2.1/bin/kafka-topics.sh --list --zookeeper localhost:2181
查看topic:/opt/kafka_2.12-2.2.1/bin/kafka-topics.sh --describe --zookeeper localhost:2181 --topic mytopic
删除topic(执行后会加上delete标记,不用再管):/opt/kafka_2.12-2.2.1/bin/kafka-topics.sh --delete --zookeeper localhost:2181 --topic mytopic
单示例:
启动生产者:/opt/kafka_2.12-2.2.1/bin/kafka-console-producer.sh --broker-list localhost:9092 --topic mytopic
另一个shell中启动消费者:/opt/kafka_2.12-2.2.1/bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic mytopic
生产者shell中输入字符串,消费者shell中就会显示
将文本文件写入kafka:cat /kafka/1.txt|/opt/kafka_2.12-2.2.1/bin/kafka-console-producer.sh --broker-list localhost:9092 --topic mytopic|>>/dev/null
数据源->flume->kafka
启动flume:
./bin/flume-ng agent --conf ./conf -f /kafka/flume/flume2kafka.conf -n a1
启动消费者:
/opt/kafka_2.12-2.2.1/bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic mytopic
Alpine Linux安装telnet:apk add busybox-extras
向flume写数据:
telnet 127.0.0.1 8818
创建并首次启动hue容器:docker run --name hue -it -p 8888:8888 gethue/hue:latest bash
安装ifconfig命令:apt-get install net-tools -y
安装pip:apt install python-pip
pip install Werkzeug