huotianyu-CSDN博客

原创 Hadoop+Flink研发环境部署+开发

修改Flink目录下conf/flink-conf.yaml,在末尾添加classloader.check-leaked-classloader: false，然后保存。-- 配置HDFS网页登录使用的静态用户为root-->-- 指定ResourceManager的地址-->-- 指定MapReduce程序运行在Yarn上 -->-- 指定hadoop数据的存储目录 -->-- 指定NameNode的地址 -->-- 指定MR走shuffle -->-- 环境变量的继承 -->

2024-08-06 17:01:53 2109 1

原创 Azkaban集群模式部署

1）将azkaban-db-3.84.4.tar.gz，azkaban-exec-server-3.84.4.tar.gz，azkaban-web-server-3.84.4.tar.gz上传到hadoop102的/opt/software路径。3）解压azkaban-db-3.84.4.tar.gz、 azkaban-exec-server-3.84.4.tar.gz和azkaban-web-server-3.84.4.tar.gz到/opt/module/azkaban目录下。

2024-08-05 09:52:06 1567

原创 Hadoop集群部署总结

- 指定resourcemanager的状态信息存储在zookeeper集群 -->-- 指定NameNode元数据在JournalNode上的存放位置 -->-- ========== rm1的配置 ========== -->-- ========== rm2的配置 ========== -->-- 声明两台resourcemanager的地址 -->--指定resourcemanager的逻辑列表-->-- 指定hadoop运行时产生文件的存储目录 -->

2024-08-03 18:05:28 1376

原创 Stable Diffusion Web UI 1.8.0版本使用问题

如果已经安装了opencv-python和onnxruntime，controlnet里的requirements.txt剔除这两个选项，以免覆盖，特别是onnxruntime-gpu的版本，建议安装cudnn8.6.x以上。open-clip-torch的版本如果安装后是2.20.0，替换成pip install open-clip-torch==2.24.0。pip install huggingface-hub==0.22.2, 此版本不提示下面的错误。1.8.0可以匹配的controlnet版本。

2024-08-02 19:01:53 438

原创 rembg使用onnxruntime-gpu总结

rembg，gpu使用，抠图

2024-07-30 11:05:53 644

c++操作Clickhouse数据库读取表数据写入文件

c++操作Clickhouse数据库读取表数据写入文件，c++操作Clickhouse很快，配合调度工具，毫秒级就能完成海量数据写入，编译需要gcc 8.0以上，编译后运行gcc 4.2就可以了，经过大量实践，效果很好。 1.升级到gcc8.0以上编译，gcc11.0以上也可以 2.注意cmake的版本，至少3.20以上 3.在项目根目录下简历build目录，然后cmake ./之后，在make 4.运行时注意传递的参数有任何问题，可以联系。

2024-08-05

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人