FlinkCDC 达梦数据库 基于日志实时同步
FlinkCDC是Apache Flink中的一个组件，它能够实现对多种数据库的变更数据捕获（Change Data Capture, CDC）。达梦数据库（DMDatabase）是中国自主研发的高性能数据库产品，广泛应用于政府、金融、交通、医疗等领域。FlinkCDC与达梦数据库结合，可以实现基于日志的实时数据同步，这对于构建实时数据处理和分析系统具有重要意义。
FlinkCDC支持多种数据库实时数据捕获，但针对达梦数据库的连接器是特别设计的。在这个场景下，FlinkCDC通过解析达梦数据库的日志文件来捕获数据变化，能够捕获数据库中数据的插入、更新、删除等操作，并将这些变更实时同步到数据处理系统中。由于采用了基于日志的捕获方式，FlinkCDC能够高效地同步变化，减少对源数据库性能的影响，同时保证数据同步的低延迟和高可靠性。
该技术的实现主要依赖于Flink的任务管理和流处理能力，使得数据能够从达梦数据库出发，经过CDC层的转换，最终成为可供Flink应用处理的实时数据流。这不仅适用于数据仓库的数据同步，也可以用于构建事件驱动的应用程序，例如实时报表、数据监控、告警等场景。
为了实现这一过程，通常需要在Flink中配置相应的CDC连接器，并设置好与达梦数据库的连接参数，包括数据库地址、端口、用户名和密码等。一旦配置完成，Flink作业就可以启动并开始从达梦数据库捕获数据变更，然后进行进一步的数据处理和分析。
在应用层面，FlinkCDC支持JAVA程序和SQL两种方式来进行数据同步。对于开发者来说，他们可以根据自己的熟悉度和项目需求，选择合适的方式来实现数据同步的逻辑。对于JAVA开发者，他们可以通过编写Flink作业来捕获和处理变更数据；而对于使用SQL的用户，Flink也提供SQL查询的接口，简化了数据同步流程。
FlinkCDC与达梦数据库的结合，为实时数
FlinkCDC 达梦数据库 基于日志实时同步
FlinkCDC 达梦数据库 基于日志实时同步，支持JAVA程序和SQL。
Flume 抽取MYSQL Oracle数据 JSON格式 推送Kafka
Flume二次开发，支持抽取MYSQL Oracle数据库数据 以JSON格式推送至Kafka。
demo：
sql_json.sources.sql_source.type = com.hbn.rdb.source.SQLSource
sql_json.sources.sql_source.connectionurl = jdbc:oracle:thin:@IP:PORT/orcl
sql_json.sources.sql_source.driverclass= oracle.jdbc.driver.OracleDriver
sql_json.sources.sql_source.filename = sqlSource.status
sql_json.sources.sql_source.customquery = SELECT INTID,ID_NO FROM TEST.TEST
sql_json.sources.sql_source.begin = 0
sql_json.sources.sql_source.autoincrementfield = INTID
kettle资源库表详细说明文档.xls
资源库是用来保存转换任务的，用户通过图形界面创建的的转换任务可以保存在资源库中。 资源库可以使多用户共享转换任务，转换任务在资源库中是以文件夹形式分组管理的，用户可以自定义文件夹名称。
kettle资源库数据字典.xls
Kettle资源库数据字典明细：R_DATABASE：数据库连接信息 R_DIRECTORY：kettle程序目录 R_JOB：作业 R_JOB_ATTRIBUTE：作业属性 R_JOB_HOP：作业跳 R_JOB_NOTE：作业注解 R_JOBENTRY：作业项 R_JOBENTRY_ATTRIBUTE：作业项属性 R_JOBENTRY_COPY：拷贝的作业项
pentaho-hadoop-shims-cdh513-package-8.3.2019.05.00-371-dist.zip
大数据ETL开源软件Kettle连接Hadoop时使用到得Shims
配置Pentaho组件Shims
Shims是Pentaho提供的一系列连接各个source的适配器,具体配置位置根据Pentaho的组件来决定，现在的PDI Spoon的配置位置在../data-integration/plugins/pentaho-big-data-plugin/hadoop-configurations 下，注意这个地方要配置好对应数据源的shims
raidrive-1-8-0版本网盘映射到本地磁盘工具
RaiDrive是能够将一些网盘映射为本地网络磁盘的工具，RaiDrive可以方便的将网盘映射为本机的网络磁盘，而在支持的网盘有Google Drive, Google Shared drives,Google Photos, OneDrive, SharePoint,Dropbox, Box, pCloud, Yandex Disk,WebDAV, SFTP, FTP
GitHub Windows版本 客户端
GitHub Windows版本 客户端直接解压，安装即可使用，直接登录GitHub，方便提交代码以及维护代码
flume-ng-elasticsearch-sink-1.8.0.jar
在Flume中的ElasticSearchSink支持Flume与Elasticsearch整合，可以将Flume采集的数据传输到Elasticsearch中，Flume版本：1.8.0，ElasticSearchSink版本：6.2.4
pentaho-hadoop-shims-cdh514-package-8.3.2019.05.00-371-dist.zip
大数据ETL开源软件Kettle连接Hadoop时使用到得Shims
配置Pentaho组件Shims
Shims是Pentaho提供的一系列连接各个source的适配器,具体配置位置根据Pentaho的组件来决定，现在的PDI Spoon的配置位置在../data-integration/plugins/pentaho-big-data-plugin/hadoop-configurations 下，注意这个地方要配置好对应数据源的shims
influxdb_demo.zip
InfluxDB（时序数据库），常用的一种使用场景：监控数据统计。每毫秒记录一下电脑内存的使用情况，然后就可以根据统计的数据，利用图形化界面（InfluxDB V1一般配合Grafana）制作内存使用情况的折线图；
可以理解为按时间记录一些数据（常用的监控数据、埋点统计数据等），然后制作图表做统计；
lxml_liunx_python2.7.zip
lxml是python的一个解析库，支持HTML和XML的解析，支持XPath解析方式，而且解析效率非常高
XPath，全称XML Path Language，即XML路径语言，它是一门在XML文档中查找信息的语言，它最初是用来搜寻XML文档的，但是它同样适用于HTML文档的搜索
XPath的选择功能十分强大，它提供了非常简明的路径选择表达式，另外，它还提供了超过100个内建函数，用于字符串、数值、时间的匹配以及节点、序列的处理等，几乎所有我们想要定位的节点，都可以用XPath来选择.直接下载，然后放入Linux-python文件夹即可。
xdown-1.0.1.4.zip
Xdown是一款超级强大的开源免费无广告的Torrent/磁力链/百度云下载神器。Xdown不光如此还支持BT，免费的IDM+torrent 可以多线程128并发的下载工具.
pentaho-hadoop-shims-cdh57-package-70.2016.10.00-25-dist.zip
大数据ETL开源软件Kettle连接Hadoop时使用到得Shims
配置Pentaho组件Shims
Shims是Pentaho提供的一系列连接各个source的适配器,具体配置位置根据Pentaho的组件来决定，现在的PDI Spoon的配置位置在../data-integration/plugins/pentaho-big-data-plugin/hadoop-configurations 下，注意这个地方要配置好对应数据源的shims
z501_touchpad_win7.rar
TOUCHPAD采用多指触控技术，突破性实现了多个手指触摸行为的组合行为识别。通过不同自定义手势，可以轻松完成开启、翻页、伸缩等多种强大功能，实现了用简单的手指触摸行为完成复杂的人机交互。
下载安装即可，非常方便
pentaho-hadoop-shims-cdh58-package-70.2016.10.00-25-dist.zip
大数据ETL开源软件Kettle连接Hadoop时使用到得Shims
配置Pentaho组件Shims
Shims是Pentaho提供的一系列连接各个source的适配器,具体配置位置根据Pentaho的组件来决定，现在的PDI Spoon的配置位置在../data-integration/plugins/pentaho-big-data-plugin/hadoop-configurations 下，注意这个地方要配置好对应数据源的shims
KeyFreeze键盘鼠标上锁工具
KeyFreeze键盘鼠标上锁工具，直接解压，并运行KeyFreeze.exe，点击右键设置；锁住键盘和鼠标，解锁Ctrl+F
Araxis Merge v6.5 NSIS文本对比.rar
Araxis Merge 是一款专业的可视化文件比较以及合并和同步的软件，同时也是该软件目前最新的版本，新版带来了全新的功能以及优化，包括合并使您能够比较和处理不同版本的文本文件，如程序源代码，XML和HTML文件。合并可以从Microsoft Office，OpenDocument，PDF和RTF文件中提取和比较文本。XML文件可以以特殊格式显示，帮助您更清楚地看到更改。它支持ASCII，MBCS和Unicode字符编码的文件。
RSS订阅
57
190
