- 博客(17)
- 收藏
- 关注
RSS订阅原创 Jenkins打包，发布，部署
Jenkins是一个开源的持续集成工具，主要用于自动构建和测试软件项目，以及监控外部任务的运行。与版本管理工具（如SVN，GIT）和构建工具（如Maven，Ant，Gradle）结合使用，实现持续部署和持续构建的功能。Jenkins的特点：开源：Jenkins是免费的，任何人都可以使用和修改其源代码跨平台：可以在Windows，Linux，MacOS等多种操作系统上运行插件丰富：用于大量的插件，可以扩展其功能，满足各种开发需求易于使用：提供只管的用户界面，即使是初学者也能快速的上手。
2026-01-27 11:53:19
398
原创 flink遇到的问题
TaskManager的Slot数量已被其他作业占满，当前作业无法申请到可用Slot。Flink中Slot是资源分配的基本单位，每个Slot可运行多个Task（默认共享同一SlotGroup的Task）2。）不一致，会导致JobManager无法识别TaskManager的Slot资源，误判为“无可用Slot”4。官网提供的单词统计去执行，如果能执行，说明是slot资源不足，如果不能执行打开是。单机部署时，若TaskManager注册的IP（如局域网IP。）与JobManager配置的地址（如。
2025-12-24 15:48:50
358
原创 数据迁移 DataX
DataX完成单个数据同步的作业，我们称之为Job，DataX接受到一个Job之后，将启动一个进程来完成整个作业同步过程。DataX Job模块是单个作业的中枢管理节点，承担了数据清理、子任务切分(将单一作业计算转化为多个子Task)、TaskGroup管理等功能。DataXJob启动后，会根据不同的源端切分策略，将Job切分成多个小的Task(子任务)，以便于并发执行。Task便是DataX作业的最小单元，每一个Task都会负责一部分数据的同步工作。
2025-12-22 21:18:13
655
原创 Hbase -- nosql
HBase 是构建在 HDFS 之上的分布式数据库incr可以实现对某个单元格的值进行原子性计数。语法如下：给每一个counter计数器设置初始值。累加值这个值可以赋值为负数（如：- 5incr '表名列蔟列名',累加值（默认累加1如果某一列要实现计数功能，必须要使用incr来写入对应的数据。使用put创建的列是不能实现累加的导入测试数据创建表：该脚本创建了一个表，名为NEWS_VISIT_CNT，列蔟为C1。
2025-12-21 18:47:51
1016
原创 Apache Flume
官网：https://flume.apache.org/（3）下载地址：http://archive.apache.org/dist/flume/1）将 apache-flume-1.9.0-bin.tar.gz 上传到 linux 的/export/softwars 目录下2）解压 apache-flume-1.9.0-bin.tar.gz 到/opt/module/目录下4）将 lib 文件夹下的 guava-11.0.2.jar 删除防止一些不兼容的问题(因为flum是去采集数据，如果两个版本不一样
2025-12-19 02:49:21
712
原创 doris问题
例如 /hive/ods_db.db/ods_smc_setlcent_db_mdcs_fund_setl_list_ext_d/etl_date=2025/region=650000/HIVE_UNION_SUBDIR_1/000007_0.deflate。"hive.ignore_absent_partitions" = "true" -- 是否忽略不存在的分区。"hive.recursive_directories" = "true", -- 是否递归列出子目录。如果有 这就是造成问题的原因。
2025-05-26 19:56:15
400
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人