hadoop
文章平均质量分 89
程序_艺术_人生
找自己,活通透!
展开
-
大数据稳定性体系建设
1:大数据稳定性建设大数据平台承载着公司(推荐、搜索、bi、渠道推广)等多条核心业务线。一旦某环节出现问题,可能影响很多线上用户。基于以上情况联合运维一起做线上稳定性建设,把各个体系的监控、预警提升到一个新高度。2:如何构建线上稳定性我们的组件监控在1.0版本中已上prometheus+grafana,线上各种组件监控已经有初步的保障。但是线上很多业务细节的监控缺乏保障,监控的颗粒度不够。到真正出现问题,所有人手忙脚乱。大数据平台一定需要业务赋能+稳定性治理,在业务赋能的的同时,逐步完善.原创 2021-07-24 18:03:53 · 1800 阅读 · 1 评论 -
数仓系统 4次升级,过程中的一些思考。
BI 系统的衍变我们的bi 系统经过了4次大版本衍变,详细如下:bi 版本 相关的技术方案 1.0 azkaban离线脚本(hive -f 执行脚本),ads层建立es外表。 bi系统仅支持离线数据。 2.0 迁移离线脚本到db,建立ods,dwd,dim,mid,dws ads层.ads层的数据同步到es 3.0 建立主题,指标。dws层的数据接入kylin 。通过指标完成底层的数据指标复用。实时数据分析引入clickhouse 4.原创 2021-07-08 22:16:26 · 352 阅读 · 1 评论 -
hadoop 小文件优化、压缩
1:项目背景hadoop的小文件管理是一个比较头疼的事情。项目最开始的时候大数据namenode与datanode混布,出现过一次namenode内存不够用,集群所有任务失败。为此单独起一个项目治理小文件,并且迁移datanode,namenode 单独部署。2:HDFS简介HDFS是Hadoop核心组成, 是分布式存储服务。由很多服务器联合起来实现其功能,集群中的服务器有各自的角色。基本都是一个NameNode+多个DataNode组成。NameNode是集群的主节点, DataNode是集群原创 2021-07-05 11:00:16 · 285 阅读 · 0 评论 -
大数据人群画像技术方案
1:项目背景当一个app达到一定的体量,千人千面、个性化营销是每一个app提升留存、付费必备法宝。始终离不开营销利器,用户画像。项目从0到1构建画像体系,由T+1升级为实时。过程中不断的优化画像方案,赋能产品、业务。在个性化营销的路上越来越顺滑。2:整体的技术方案...原创 2021-07-04 14:06:18 · 1380 阅读 · 0 评论