自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(15)
  • 资源 (2)
  • 收藏
  • 关注

原创 Apache DolphinScheduler 源码解析-任务生命周期(1)

ApacheDolphinScheduler 是一个分布式去中心化,易扩展的可视化 DAG 工作流任务调度平台。本篇对 Apache DolphinScheduler 调度平台从源码上解析任务从创建,构建,分发,执行,结束五个阶段的处理,涉及 Api-Server,Master-Server,Worker-Server三个服务。ApacheDolphinScheduler官网: https://dolphinscheduler.apache.org/github: https://g...

2022-03-18 16:08:19 1461 1

原创 离线安装Python3和离线安装第三方模块

企业内网无联网真实离线安装Python3和离线安装第三方模块实例,亲测有效!!!

2021-12-26 20:42:37 7605 1

原创 主流大数据调度工具对比DolphinScheduler Azkaban Airflow Oozie Xxl-job

大数据环境下,调度工具比不可少,离线批任务和准实时任务都需要调度去驱动。下文介绍主流大数据调度工具对比DolphinScheduler Azkaban Airflow Oozie Xxl-job Xxl-job DolphinScheduler Azkaban Airflow Oozie 定位 一个轻量级分布式的任务调度框架 解决数据处理流程中错综复杂的依赖关系 为了解决Hadoop的任务依赖关系问题 通用的批量数据处理 管理Hdo..

2021-01-09 19:57:18 15781 4

原创 VUE项目访问报错:Uncaught Error: Cannot find module throttle-debounce/debounce

VUE项目访问报错:Uncaught Error: Cannot find module ‘throttle-debounce/debounce’vue + element-ui 前端项目启动:npm run dev访问项目浏览器控制台报错:Uncaught Error: Cannot find module ‘throttle-debounce/debounce’从报错信息上可以定位到文件…/node_modules/element-ui/lib/select.js找到select.js文

2020-11-21 13:21:47 2279

原创 GitHub PR的一波骚操作,你Get到了么?

GitHub PR的一波骚操作1.fork从远端仓库https://github.com/apache/incubator-dolphinscheduler.git fork一份代码到自己的仓库中2.clone把自己仓库clone到本地λ git clone https://github.com/xx/incubator-dolphinscheduler.gitCloning into 'incubator-dolphinscheduler'...remote: Enu..

2020-08-08 20:00:22 558

原创 Oracle数据实时同步大数据平台的解决方案

Oracle数据实时同步大数据平台的解决方案摘要:基于传统企业Oracle数据库实时增量数据同步到Kafka消息系统,供下游做实时分析/实时ETL等场景,引进Oracle GoldenGate组件提供不影响系统处理功能的实时数据集成和持续可用性解决方案,使企业能显著提高整个企业关键系统的可用性、可靠性和性能并同时降低IT成本。 一、企业现状篇传统企业对信息化系统追求高稳定性和高可靠性,建立系统时期数据库方面大多数选择当时较为...

2020-08-08 19:50:40 3890

原创 听说Kettle 数据库JNDI方式数据库密码不能加密,搞他!

Kettle数据库明文密码加密Kettle 数据库JNDI方式数据库密码不能加密,搞他!1新建数据库连接1.1 普通局部变量Step 1: 选择连接类型,这里选择OracleStep 2: 连接方式选择Native(JDBC)Step 3: 右侧填写数据库连接信息Step 4: 点击【测试】,保存即可1.2 变量局部配置Step 1: 在家目录下找到.kettle文件夹,适用linux和...

2020-08-06 20:46:06 1094 1

原创 Topic mobilePhone does not exist on ZK

Topic mobilePhone does not exist on ZK问题kafka-topic.sh 查询topic详细信息时,查询结果没有数据或者报错Error while executing topic command : Topic mobilePhone does not exist on ZK path master:2181,slave1:2181,slave3:2181...

2020-04-12 13:30:12 540

原创 kafka命令行消费kafka-console-consumer.sh 报错 whose size is larger than the fetch size 1048576

kafka命令行消费kafka-console-consumer.sh 报错 whose size is larger than the fetch size 1048576问题[appuser@node01 kafka-0.10.0]$ bin/kafka-console-consumer.sh --bootstrap-server node01:9092,node02:9092,node0...

2020-04-12 13:29:36 1737

原创 kafka启用SASL/PLAIN+ACL后,kafka-consumer-group.sh查看消费组报错

kafka启用SASL/PLAIN+ACL后,kafka-consumer-group.sh查看消费组报错问题kafka启用用户认证和权限管理(SASL/PLAIN+ACL)之后,kafka-consumer-group.sh 查看消费组会报错-bash-4.2$cd $KAFKA_HOME-bash-4.2$bin/kafka-consumer-groups.sh --new-consu...

2020-04-02 15:59:36 1314 2

原创 Linux安装MySQL5.7数据库 --- yum 方式安装

环境说明  系统 数据库 IP CentOS7 Mysql5.7 192.168.15.6  安装[root@node04 ~]# wget http://repo.mysql.com/mysql-community-release-el7-5.noarch...

2019-01-21 11:05:59 208

转载 kafka-manager编译安装使用(详细)---windows

工具简介 kafka-manager的Github项目地址(项目功能等介绍):https://github.com/yahoo/kafka-managerA tool for managing Apache Kafka.It supports the following :Manage multiple clustersEasy inspection of cluster ...

2019-01-18 11:03:03 1162

原创 ElasticSearch集群搭建问题

问题1:ERROR: bootstrap checks failedmax file descriptors [4096] for elasticsearch process likely too low, increase to at least [65536] 原因:无法创建本地文件问题,用户最大可创建文件数太小解决方案:切换到root用户,编辑limits.con...

2018-12-26 15:06:27 198

转载 Oracle GoldenGate对接 Oracle 11g和Kafka

1环境背景(1)机器ip和其对于的服务ogg源端:192.168.15.6 服务:oracle, ogg的mgr(端口7809), ext_test, dpe_testogg目标端:192.168.15.6 服务:ogg的mgr(端口7909), rep_test,zookeeper, kafka(2)oracle 版本,11g release 2(3)kafka 版本,2.11-0.10.0.0...

2018-04-09 19:05:54 2441

原创 Linux配置Java环境变量

1 解压安装JDKshell终端操作:cd /software/jdktar –zxvf jdk-8u162-linux-x64.tar.gz2 需要配置的环境变量(1)PATH环境变量作用是指定命令搜索路径,在shell下面执行命令时,它会到PATH变量所指定的路径中查找看是否能找到相应的命令程序。我们需要把 jdk安装目录下的bin目录增加到现有的PATH变量中,bin...

2018-04-09 19:02:38 162

大数据flink实时计算系统实践视频教程

大数据flink实时计算系统实践视频 Flink基本概念与部署 DataStreamAPI介绍与实战 Flink状态管理与恢复 Flink应用案例介绍 等等

2019-01-10

Chrome中链接打开IE窗口插件

谷歌,火狐,360,欧朋等浏览器中通过URL链接打开IE浏览器新窗口,可解决新的高版本的前端框架VUE等,集成公司内老版本的项目问题。希望可以帮助你们!!!

2018-12-26

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除