☺技巧
工作中总结的一些小技巧
寒 暄
自渡
展开
-
基于Kafka+Debezium+Flink的 SQLServer实时增量同步方案
安装Connector下载链接http://client.hub.confluent.io/confluent-hub-client-latest.tar.gz?_ga=2.215682399.93673590.1629776859-1065619546.1629776859解压tar confluent-hub-client-latest.tar -C /opt/module/confluent-hub配置环境变量export CONN_HOME=/opt/module/confluent原创 2021-08-31 10:54:18 · 1420 阅读 · 0 评论 -
基于FlinkCDC的Mysql向 SQLServer实时增量同步方案
基于FlinkCDC的MySQL向SQLServer实时增量同步方案CDC实现类package com.flinkcdc;import com.alibaba.fastjson.JSONObject;import com.alibaba.ververica.cdc.connectors.mysql.MySQLSource;import com.alibaba.ververica.cdc.debezium.DebeziumDeserializationSchema;import com.alib原创 2021-08-26 16:39:18 · 1172 阅读 · 0 评论 -
基于SparkSQL+SQLServerCDC的SQLServer定时增量同步方案
基于Spark+SQLServerCDC的SQLServer定时增量同步方案启动类,负责初始化一些准备事宜。package com.etl;import org.apache.log4j.Level;import org.apache.log4j.Logger;import org.apache.spark.SparkConf;import org.apache.spark.api.java.JavaSparkContext;import org.apache.spark.sql.Datas原创 2021-08-26 16:37:44 · 637 阅读 · 0 评论 -
大数据从业者必读书籍《数据仓库工具箱》-第三章笔记
背景行业:零售行业详细信息:由100个分布在5个州的分店组成,每个商店都有完整的部门。包括杂货、冷冻食品、日常生活用品、肉类、农产品、烘烤食品、花卉、保健/美容产品等。每个商品包含被称为产品统一编号(SKU)的60000种不同 的上架产品管理重点:对订单、库存、销售产品的组织工作目的:实现利润最大化,利润最终来源于赚取每种商品尽可能多的差价,降低获得产品的开销,提供具有较强竞争力的环境以吸引更多的顾客消费。第一步:选择业务过程通过对业务需求以及可用数据源的综合考虑,决定对那种业务展开建模工作。原创 2020-05-30 15:05:11 · 670 阅读 · 0 评论 -
大数据从业者必读书籍《数据仓库工具箱》-第二章笔记
第二章:Kimball维度建模技术概述2.1基础概念Kimball架构建模过程概述。收集业务需求与数据实现在建模工作开始前,项目组必须理解业务需求与源数据的实际情况,了解业务的需求(关键性指标,竞争性商业问题,决策制定过程,分析支持需求)。同时也要和源系统专家交流,了解访问数据可行性。写作维度建模讨论维度模型不应该由哪些不懂业务以及不了解业务需求的人来设计,多方写作是成功的关键。维度设计4步骤选择业务过程声明粒度确认粒度确认事实需要根据业务需求与底层数据源,按照业务原创 2020-05-21 15:14:04 · 606 阅读 · 0 评论 -
大数据从业者必读书籍《数据仓库工具箱》-第一章笔记
第一章:数据仓库、商业智能及维度建模初步DW/BI系统应该死扣的是业务需求。第一章讨论的内容:DW/BI系统的业务驱动目标发布DW/BI系统的隐喻维度建模的相关词汇与语义DW/BI架构的组件与原则在不同架构中,维度建模的区别关于维度建模的误解1.1 数据获取与数据分析的区别信息的两个目的:操作型记录的保存,分析型决策的制定。即数据的获取与数据的分析。操作型系统无时无刻都在于用户发生交互,每一次交互都在产生数据(订单信息,浏览信息,浏览深度,系统状态等等)。对操作型系统的优化是为了更原创 2020-05-15 20:51:57 · 902 阅读 · 0 评论 -
CentOS7-悄无声息的网络错误:Failed to start LSB: Bring up/down networking 解决方法
问题:今天早上起测试的虚拟机集群,然后发现有一个节点的网络服务掉了,然后重启网卡systemctl restart network,报错。然后想重启下network-manager看看有没有用,结果也报错。报错信息如下:[root@hadoop02 ~]# systemctl restart networkFailed to restart network.service: Unit network.service not found.Job for network.service failed be原创 2020-06-12 10:02:26 · 336 阅读 · 0 评论 -
VS Code 自动生成get-set方法
在文档空白处右击,选择源代码操作。选择Generate Getters and Setters选择要生成get-set方法的属性,点击确定。生成成功。原创 2020-05-23 17:29:44 · 24323 阅读 · 9 评论 -
Typora的图片存储问题(图床解决方案)
前言学习kettle时,因为是一个图形编辑工具,所以需要截取大量的图片,难道在上传到CSDN时我还要再导入一遍吗?这辈子也等不来CSDN和Typora的合作了。(不过CSDN自己开源个Markdown编辑器客户端也不错,毕竟后浪何苦为难后浪,小声BB)下面开始正式解决首先注册个sm.ms账号(因为你带了黄色的眼睛,所以你看什么都是黄色的!),这是一个图床存储网站,他提供5GB的免费存储大小。不过等5GB存储用完之后,可以支持一下最好,避免他破产了(这样我们 的5GB免费图片就不至于丢失)。作者原创 2020-05-14 16:42:28 · 2171 阅读 · 0 评论