![](https://img-blog.csdnimg.cn/20201014180756928.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
项目1用户行为采集数仓
文章平均质量分 82
项目
黑星bm
这个作者很懒,什么都没留下…
展开
-
数仓项目关于sqoop导出ads层数据到mysql
导出原因因为我们需要对ads得到的数据做数据可视化,一般是java来做的,如果是大数据自己做,那么直接用hive这边的数据就好了,可是如果是java来做,就需要把ads的数据传到mysql中。关于导出去重ads数据导出到MySQL中最重要的问题就是去重,因为我们是全量同步,那么假设我们刚开始只有14号数据,导入到mysql中,那么第二天我们导入过去的就是14号和15的数据,那么如果追加到mysql中,就会出现有14,14,15号的数据,所以,如何对mysql中的数据进行去重就是最关键的事情。关于去重原创 2021-03-19 19:43:45 · 950 阅读 · 0 评论 -
数仓体系——最近七天内连续三天活跃用户数
方法1-通过连续日期排名首先我们筛选出最近七天的每日数据,属于每日设备行为,也就是说一条数据等于一次活跃这一步对每日设备行为去重(正常情况下不写也可以,因为每日设备 行为理论上来说是已经去过重的)然后再通过rank函数对每个日期后面都加一个数逻辑是我们按照日期排序,那么如果是连续日期那么减去后面的数应该得到的值相等即6.15 16.16 26.17 3这样每个日期减去自己的rank排名得到的都是6.14,再通过对这个减去得到的日期group by,如果count(*)为3,则三天连续原创 2021-03-17 21:22:41 · 3384 阅读 · 0 评论 -
项目一ODS层数据仓库建模
当我们的数据采集到hdfs层上之后,我们就开开始对数据进行建模以便后来分析,那么我们整体的架构先放在每个建模层级的最前面所以项目1的将行为数据和业务数据导入到hdfs中我们已经完成了,现在需要的是将hdfs的数据通过ODS层数据建模,初步的分析以及改变,那么我们首先介绍下ODS层的作用因为我们的数据刚落到hdfs上,他还只是单纯的数据,并没有能让我们直接操作。所以我们需要将这些数据放入到能够对数据进行操作的框架中,如我们这个项目采取了使用hive的方法。所以我们此次在ODS层需要做到的就是将hdfs原创 2021-03-11 22:06:38 · 1006 阅读 · 0 评论 -
项目一,数据采集的细节解析
1.当我们跑完数据采集,发现不可以跑通时,怎么确定问题出在哪里细节(1)首先我们要查看kafka,如果kafka中就没有数据,说明第一层有问题首先我们去,linux中看一看我们生成的数据文件一共有多少条今天数据测试是3.09日期格式的。通过wc -l 查看行数可以看见有1498条信息,再通过kafka的图形化工具来检查kafka中的数据信息数据从10952开始到12449结束,整好是1498条消息,说明我们的数据传入了kafka,并且etl拦截器并没有遇到不是json格式的数据细节(原创 2021-03-09 18:47:19 · 332 阅读 · 0 评论 -
系统业务数据仓库
完成了数据从服务器到hdfs后,下一步是将本来存在mysql中的数据通过sqoop导入到hdfs中,步骤如图首先我们要卸载linux中自带安装的mysql,也叫mariadb(linux怕mysql收费)rpm -qa | grep -i -E mysql|mariadb | xargs -n1 sudo rpm -e --nodeps装好mysql之后用远程连接但是会发生这种情况是因为mysql的host问题,所以去mysql中修改然后刷新,flush privileges;.原创 2021-01-28 15:31:21 · 225 阅读 · 0 评论 -
项目1用户行为采集数仓架构之第二层flume
完成了数据写到kafka的步骤,剩下的就是还用flume 的方法将kafka的数据传到hdfs上,首先还是看flume 的配置文件#Nameda1.sources = r1 a1.channels = c1a1.sinks = k1#Source a1.sources.r1.type = org.apache.flume.source.kafka.KafkaSourcea1.sources.r1.kafka.bootstrap.servers = hadoop102:9092,hadoop1原创 2021-01-24 21:54:03 · 337 阅读 · 0 评论 -
项目1用户行为采集数仓架构之第一层flume
这里解释下为什么不用taildir source 然后kafka channel 最后hdfs sink一步写入到hdfs中因为如果这样只用一个flume,这个flume要运行在生成日志文件的服务器上,然后source再传给kafka集群上,这两个集群不一定在统一服务器上,最后sink再往hdfs传的时候,有需要把数据读回生成日志文件的服务器上,再往hdfs所在集群写,IO太高,十分麻烦,不采用开始配置第一层flume的配置文件数据通道-第一层flume- logserver->kafka:.原创 2021-01-24 19:40:07 · 506 阅读 · 0 评论