docker
文章平均质量分 87
claem
22届港硕统计学努力转码 学习爪哇 大数据的个人记录~
展开
-
docker创建 Maxwell容器 并连通Kafka
Kafka集群里生成了topic_db主题目前说明maxwell与kafka连通 但是还没有传输数据,接下来修改mysql指定监控database里的tables,来看看maxwell是否能够将bin-log日志成功传给kafka。干脆想着使用独立的容器单独起一个maxwell算了,开始尝试单独起maxwell然后联通mysql和Kafka。创建的maxwell库里生成了maxwell元数据表说明连接mysql成功!镜像名 启动容器的时候终端需要执行的命令(即启动maxwell进程)原创 2024-05-28 22:18:30 · 1150 阅读 · 0 评论 -
Mac Docker容器里基于centos自定义镜像 配置kafka (模拟Linux环境配置kafka)
这周结束了Spark-core,Spark-sql,Spark- stream的学习,发现到后期的案例实践需要用到Kafka和zookeeper,首先在网上搜了一下docker 配置kafka和zookeeper,发现有直接配置镜像的,即kafka,zookeeper单独搞个镜像,跟着步骤配置成功了但是和集群的联系比较拉,特别是我已经把Hadoop和spark集群配置好了,自定义的镜像模拟了Linux环境,干脆直接把Kafka和zookeeper也加进去。接下来 Kafka 启动!原创 2024-05-18 18:02:34 · 1128 阅读 · 0 评论 -
Mac宿主机无法ping通docker容器
后经搜索相关问题发现可以从ip下手 结果被告知mac里查看不了docker0桥段对应的网络 因为根本就没显示这个,同时 docker 指定 --net=host命令仅在Linux环境有效 血亏。最后用sudo brew services restart命令重启docker-connection该即可,现在我们就可以在宿主机中使用容器IP、容器端口来访问该容器了。这里如果报错有关brew命令的问题可以使用以下命令修复 本人报错了修复成功!在docker-connector服务的配置文件添加该子网,如下所示。原创 2024-04-24 21:10:18 · 1305 阅读 · 1 评论 -
Mac 在docker容器内配置hadoop集群
同时,在代码中,我们也可以设置Hadoop的配置信息。第一步--------------------------------------------------------------------------------------------------第四步-------------------------配置hadoop----------------------------------------------------------ps:centos8自带了但是7没有带。原创 2024-04-28 14:58:16 · 1162 阅读 · 0 评论 -
Mac docker配置hadoop集群遇到的一些问题
续接上篇Mac下docker容器配置hadoop集群,虽然成功启动集群了,web网页也可以查看了,但是跟着网课发现第一个小测试就爆出好几个毛病,刚开始尝试上传文件到hdfs远程服务器上还是没啥问题滴,下面就开始遇到问题了,在这里记录一下问题和解决方法~PS:需要注意如果是重新run的容器相当于新容器了,对于网络这一块的配置需要重新再配一遍“宿主机ping容器”,“容器之间互ping”,并且新run的容器ip也会改变哈,这个小细节需要注意,具体操作见我前两篇文章。,这里直接执行会得到一大串类似环境变量。原创 2024-04-29 15:55:02 · 935 阅读 · 3 评论 -
Mac本地docker配置redis主从复制
还需要注意 在运行镜像命令时就需要跟上redis-server操作指定配置文件 因为docker run命令 运行后容器内部redis会自动运行 端口号会被占用 (这里我只能这么理解hhh)所以在启动时跟上指定配置命令会发生修改。这里需要注意 我们需要手动配置redis参数 所以我们需要提前准备好一个redis的配置文件 redis.conf。挂载到容器里存放配置文件的目录 /etc/redis/redis.conf 将容器自带的配置文件换成我们调整好的。后续有需要可以升级配置redis集群。原创 2024-04-24 11:58:30 · 289 阅读 · 4 评论