数仓
reddy_Hu
这个作者很懒,什么都没留下…
展开
-
数据仓库笔记
1.1数据获取与数据分析的区别 操作型数据库保存数据,对操作性系统进行优化的目的是使其能够更快地处理事务,不必维护历史数据,只需修改数据反映最新状态比如签订新客户的原因,了解客户在抱怨什么等 DW/BI系统使用数据,维护批次数据,通过各批次的数据对比,去分析比如签订新客户的原因,了解客户在抱怨什么等 1.2数仓的目标 数仓要方便的存取信息:数据需要有直观性,数据结构与标识需要针对开发人员和业务人员都能理解,并能尽快查询出结果 一致形式展现信息:数仓中的公共标识和定义,可以再不同数据源公用,两个关于性.原创 2021-09-07 17:25:28 · 149 阅读 · 0 评论 -
日常用到的spark调优
日常用到的spark调优 1.如果使用spark读取mysql中的表格写进数仓中,可以先将限制条件或者整个sql先写进jdbc连接参数中。如果是将mysql整个表读入内存中再建立临时表,如果mysql的表过大,反而会占用更多内存,所以可以提前先将结果的数据读进来直接write进数仓中。 val callmysql = s" select '会议' as module,'正常通话率' as metrics_type,'ads_voip_sample' as original_table,avg(metr原创 2020-12-04 11:45:38 · 212 阅读 · 0 评论