- 博客(4)
- 收藏
- 关注
RSS订阅原创 课堂笔记
实时数仓Day04 昨日回顾 维度数据同步: 离线同步维度数据到Redis. 实时同步维度数据到Redis. 数据过滤 进行数据落地: 判断MySQL中的操作: 增加/修改/删除. 执行的时候,不要忘记在APP主程序中调用ETL程序. 点击流数据处理 LogParser日志解析工具: 帮助我们快速的从日志数据中获取我们需要的字段信息. 使用方式: 定义一个封装数据的实体类. 实体类里面必须提供对成员变量设置值的set方法. Parser<实体类型> parser = new Http
2020-06-07 10:32:09
344
原创 课堂笔记
实时数仓Day03 共性问题 引入fastjson的时候提示类找不到, 一般我们开发的时候提示类找不到,或者方法找不到等问题都是因为Jar冲突之类的问题. 可以尝试以下解决方式: 重新build一下工程. clean一下工程. 尝试重新引入依赖.注意新引入的依赖要放在最后面,防止被覆盖掉. <dependencies> <dependency> <groupId>cn.itcast</groupId>
2020-06-07 10:31:37
254
原创 课堂笔记
实时数仓Day02课堂笔记 昨日回顾 了解实时数仓的整体背景/涉及技术/业务主线 实时数仓的整体架构图. 使用Canal采集MySQL中的数据变更信息. 使用Java开发Canal客户端. ProtoBuf序列化 编写Protobuf配置文件 对protobuf进行编译. 使用Protobuf创建的类来封装消息 将消息转换为字节数组 使用字节数组转换为对象 Canal原理. 依赖于MySQL的主从复制功能. 一个服务端里面可以有多个实例,每个实例中都有自己的EventParser/EventSink/E
2020-06-04 23:52:58
421
原创 课堂笔记
实时数仓Day01课堂笔记 共性问题 HBase里面配置的zk地址后面不能有端口号 node01:2181:2181 HBase的zk地址不需要自己手动添加端口号,有可能是配置文件引错了. 启动的时候提示Hive不存在,或者HCAT_HOME有问题. 先使用which hive查看Hive的目录是不是/usr/bin/hive,如果是这个目录,那么就直接删除,另外再看看有没有/usr/bin/hiveserver2,有的话也顺带删除. 提示Hadoop目录不存在,或者HDFS上没有spark-l
2020-06-04 23:50:37
204
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人