- 博客(15)
- 资源 (2)
- 收藏
- 关注
RSS订阅原创 Apache DolphinScheduler 源码解析-任务生命周期（1）
ApacheDolphinScheduler 是一个分布式去中心化，易扩展的可视化 DAG 工作流任务调度平台。本篇对 Apache DolphinScheduler 调度平台从源码上解析任务从创建，构建，分发，执行，结束五个阶段的处理，涉及 Api-Server，Master-Server，Worker-Server三个服务。ApacheDolphinScheduler官网: https://dolphinscheduler.apache.org/github: https://g...
2022-03-18 16:08:19
1490
1
原创 主流大数据调度工具对比DolphinScheduler Azkaban Airflow Oozie Xxl-job
大数据环境下，调度工具比不可少，离线批任务和准实时任务都需要调度去驱动。下文介绍主流大数据调度工具对比DolphinScheduler Azkaban Airflow Oozie Xxl-job Xxl-job DolphinScheduler Azkaban Airflow Oozie 定位 一个轻量级分布式的任务调度框架 解决数据处理流程中错综复杂的依赖关系 为了解决Hadoop的任务依赖关系问题 通用的批量数据处理 管理Hdo..
2021-01-09 19:57:18
16495
5
原创 VUE项目访问报错：Uncaught Error: Cannot find module throttle-debounce/debounce
VUE项目访问报错：Uncaught Error: Cannot find module ‘throttle-debounce/debounce’vue + element-ui 前端项目启动：npm run dev访问项目浏览器控制台报错：Uncaught Error: Cannot find module ‘throttle-debounce/debounce’从报错信息上可以定位到文件…/node_modules/element-ui/lib/select.js找到select.js文
2020-11-21 13:21:47
2311
原创 GitHub PR的一波骚操作，你Get到了么？
GitHub PR的一波骚操作1.fork从远端仓库https://github.com/apache/incubator-dolphinscheduler.git fork一份代码到自己的仓库中2.clone把自己仓库clone到本地λ git clone https://github.com/xx/incubator-dolphinscheduler.gitCloning into 'incubator-dolphinscheduler'...remote: Enu..
2020-08-08 20:00:22
564
原创 Oracle数据实时同步大数据平台的解决方案
Oracle数据实时同步大数据平台的解决方案摘要:基于传统企业Oracle数据库实时增量数据同步到Kafka消息系统，供下游做实时分析/实时ETL等场景，引进Oracle GoldenGate组件提供不影响系统处理功能的实时数据集成和持续可用性解决方案，使企业能显著提高整个企业关键系统的可用性、可靠性和性能并同时降低IT成本。 一、企业现状篇传统企业对信息化系统追求高稳定性和高可靠性，建立系统时期数据库方面大多数选择当时较为...
2020-08-08 19:50:40
3930
原创 听说Kettle 数据库JNDI方式数据库密码不能加密，搞他！
Kettle数据库明文密码加密Kettle 数据库JNDI方式数据库密码不能加密，搞他！1新建数据库连接1.1 普通局部变量Step 1: 选择连接类型，这里选择OracleStep 2: 连接方式选择Native(JDBC)Step 3: 右侧填写数据库连接信息Step 4: 点击【测试】，保存即可1.2 变量局部配置Step 1: 在家目录下找到.kettle文件夹，适用linux和...
2020-08-06 20:46:06
1151
1
原创 Topic mobilePhone does not exist on ZK
Topic mobilePhone does not exist on ZK问题kafka-topic.sh 查询topic详细信息时，查询结果没有数据或者报错Error while executing topic command : Topic mobilePhone does not exist on ZK path master:2181,slave1:2181,slave3:2181...
2020-04-12 13:30:12
557
原创 kafka命令行消费kafka-console-consumer.sh 报错 whose size is larger than the fetch size 1048576
kafka命令行消费kafka-console-consumer.sh 报错 whose size is larger than the fetch size 1048576问题[appuser@node01 kafka-0.10.0]$ bin/kafka-console-consumer.sh --bootstrap-server node01:9092,node02:9092,node0...
2020-04-12 13:29:36
1799
原创 kafka启用SASL/PLAIN+ACL后,kafka-consumer-group.sh查看消费组报错
kafka启用SASL/PLAIN+ACL后,kafka-consumer-group.sh查看消费组报错问题kafka启用用户认证和权限管理（SASL/PLAIN+ACL）之后，kafka-consumer-group.sh 查看消费组会报错-bash-4.2$cd $KAFKA_HOME-bash-4.2$bin/kafka-consumer-groups.sh --new-consu...
2020-04-02 15:59:36
1362
2
原创 Linux安装MySQL5.7数据库 --- yum 方式安装
环境说明 系统 数据库 IP CentOS7 Mysql5.7 192.168.15.6 安装[root@node04 ~]# wget http://repo.mysql.com/mysql-community-release-el7-5.noarch...
2019-01-21 11:05:59
211
转载 kafka-manager编译安装使用（详细）---windows
工具简介 kafka-manager的Github项目地址（项目功能等介绍）：https://github.com/yahoo/kafka-managerA tool for managing Apache Kafka.It supports the following :Manage multiple clustersEasy inspection of cluster ...
2019-01-18 11:03:03
1278
原创 ElasticSearch集群搭建问题
问题1:ERROR: bootstrap checks failedmax file descriptors [4096] for elasticsearch process likely too low, increase to at least [65536] 原因：无法创建本地文件问题,用户最大可创建文件数太小解决方案：切换到root用户，编辑limits.con...
2018-12-26 15:06:27
199
转载 Oracle GoldenGate对接 Oracle 11g和Kafka
1环境背景（1）机器ip和其对于的服务ogg源端：192.168.15.6 服务：oracle, ogg的mgr(端口7809), ext_test, dpe_testogg目标端：192.168.15.6 服务：ogg的mgr(端口7909), rep_test，zookeeper, kafka（2）oracle 版本，11g release 2（3）kafka 版本，2.11-0.10.0.0...
2018-04-09 19:05:54
2480
原创 Linux配置Java环境变量
1 解压安装JDKshell终端操作:cd /software/jdktar –zxvf jdk-8u162-linux-x64.tar.gz2 需要配置的环境变量（1）PATH环境变量作用是指定命令搜索路径，在shell下面执行命令时，它会到PATH变量所指定的路径中查找看是否能找到相应的命令程序。我们需要把 jdk安装目录下的bin目录增加到现有的PATH变量中，bin...
2018-04-09 19:02:38
167
大数据flink实时计算系统实践视频教程
2019-01-10
Chrome中链接打开IE窗口插件
2018-12-26
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人