scala
文章平均质量分 63
jsp_will
熟悉多种语言是优点 也是缺点
展开
-
大数据技术Flink电商实时数仓DWD数据层准备--第3章 功能2:准备用户日志DWD层
们前面采集的日志数据已经保存到Kafka中,作为日志数据的ODS层,从kafka的ODS层读取日志数据分为3类:页面日志,启动日志和曝光日志。这三类数据虽然都是用户行为数据,但是有着完全不一样的数据结构,所以要拆分处理。将拆分的不同的日志写回Kafka不同主题中,作为日志DWD层。 页面日志输出到主流,启动日志输出到启动侧输出流,曝光日志输出到曝光侧输出流3.1主要任务3.1.1识别新老用户 本身客户端有新老用户的标识,但是不够准确,需要用...原创 2021-06-24 22:39:05 · 454 阅读 · 0 评论 -
大数据技术Flink电商实时数仓DWD数据层准备--第2章 功能1:环境搭建
2.1新建工程gmall2021-realtime2.2创建如下结构目录 作用 app 产生各层数据的flink任务 bean 数据对象 common 公共常量 utils 工具类 这里采用了java与scala语言混编,java主要写一个实体类与工具,scala主要用于写flink任务,也可以全部采用java写,写scala的主要原因是防止scala生疏。2.3修改配置文件2.3.1在pom.xml添加如下...原创 2021-06-24 05:55:48 · 362 阅读 · 0 评论 -
大数据技术Flink电商实时数仓DWD数据层准备--第1章 需求分析及实现思路
1.1分层需求分析 建设实时数仓的目的,主要是增加数据计算的复用性。每次新增加统计需求,不至于从原始数据进行计算,而是从半成品继续加工而成。我们这里从kafka的ods层读取用户行为日志以及业务数据,并进行简单处理,写回kafka作为dwd层。...原创 2021-06-17 05:56:17 · 532 阅读 · 0 评论 -
大数据技术Flink电商实时数仓-数据采集--第五章 业务数据库采集
5.1Maxwell介绍Maxwell 是由美国 Zendesk 开源,用 Java 编写的 MySQL 实时抓取软件。 实时读取MySQL 二进制日志 Binlog,并生成 JSON 格式的消息,作为生产者发送给 Kafka,Kinesis、RabbitMQ、Redis、Google Cloud Pub/Sub、文件或其它平台的应用程序。官网:http://maxwells-daemon.io/5.2 Maxwell的工作原理5.2.1MySQL主从复制过程Master 主库将...原创 2021-05-16 22:44:55 · 521 阅读 · 0 评论 -
关于scala 对象转Json字符串问题
关于scala 对象转Json字符串问题问题:今天在开发的过程中遇见一个问题:用scala 写的类,用fastJson对象转json字符串的时没有获取到相关的字段以及字段的值。原因:FastJson 在进行对象转Json字符串的时候会用到Java类的getter,setter 方法,而Scala 的get,set 方法与Java 的写法是不一样的:getter:def foo():T setter: def foo_(val:T):Unit。所以直接采用 JSON.toJSONString(obje原创 2021-04-12 17:16:49 · 869 阅读 · 0 评论