- 博客(5)
- 收藏
- 关注
原创 Hadoop+Flink研发环境部署+开发
修改Flink目录下conf/flink-conf.yaml,在末尾添加classloader.check-leaked-classloader: false,然后保存。-- 配置HDFS网页登录使用的静态用户为root-->-- 指定ResourceManager的地址-->-- 指定MapReduce程序运行在Yarn上 -->-- 指定hadoop数据的存储目录 -->-- 指定NameNode的地址 -->-- 指定MR走shuffle -->-- 环境变量的继承 -->
2024-08-06 17:01:53
2109
1
原创 Azkaban集群模式部署
1)将azkaban-db-3.84.4.tar.gz,azkaban-exec-server-3.84.4.tar.gz,azkaban-web-server-3.84.4.tar.gz上传到hadoop102的/opt/software路径。3)解压azkaban-db-3.84.4.tar.gz、 azkaban-exec-server-3.84.4.tar.gz和azkaban-web-server-3.84.4.tar.gz到/opt/module/azkaban目录下。
2024-08-05 09:52:06
1567
原创 Hadoop集群部署总结
- 指定resourcemanager的状态信息存储在zookeeper集群 -->-- 指定NameNode元数据在JournalNode上的存放位置 -->-- ========== rm1的配置 ========== -->-- ========== rm2的配置 ========== -->-- 声明两台resourcemanager的地址 -->--指定resourcemanager的逻辑列表-->-- 指定hadoop运行时产生文件的存储目录 -->
2024-08-03 18:05:28
1376
原创 Stable Diffusion Web UI 1.8.0版本使用问题
如果已经安装了opencv-python和onnxruntime,controlnet里的requirements.txt剔除这两个选项,以免覆盖,特别是onnxruntime-gpu的版本,建议安装cudnn8.6.x以上。open-clip-torch的版本如果安装后是2.20.0,替换成pip install open-clip-torch==2.24.0。pip install huggingface-hub==0.22.2, 此版本不提示下面的错误。1.8.0可以匹配的controlnet版本。
2024-08-02 19:01:53
438
c++操作Clickhouse数据库读取表数据写入文件
2024-08-05
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人