项目方案
文章平均质量分 90
收集网上看到和工作中接触到优秀项目的方案
Impl_Sunny
这个作者很懒,什么都没留下…
展开
-
数据一致性保障难点与解决方案
目前,分布式数据一致性问题还没有普世通用的解决方案,它需要从业务需求的角度出发,确定对各种一致性模型的接受程度,再通过具体场景来选择解决方案。从应用角度看,分布式事务的现实场景常常无法规避,特别是对涉及金融类的业务,数据一致性是底线,业务需要对数据有百分之百的掌控力。而一般的电商交易场景,使用基于消息队列的柔性事务框架是不错的选择。原创 2023-09-18 15:40:12 · 475 阅读 · 0 评论 -
分布式ID解决方案对比
UUID()是基于当前时间、计数器(counter)和硬件标识(通常为无线网卡的MAC地址)等数据计算生成的。包含32个16进制数字,以连字号分为五段,形式为8-4-4-4-12的36个字符,可以生成全球唯一的编码并且性能高效。JDK提供了UUID生成工具,代码如下:UUID完全可以满足分布式唯一标识,但是在实际应用过程中一般不采用,有如下几个原因:存储成本高: UUID太长,16字节128位,通常以36长度的字符串表示,很多场景不适用。信息不安全: 基于MAC地址生成的UUID算法会暴露MAC地址,原创 2023-04-25 09:54:32 · 916 阅读 · 1 评论 -
海量标签如何治理
标签评分是标签治理的一个重要措施,通过给标签打分,可清晰直观的从各个维度评估标签,掌握标签真实使用情况,进行标签持续优化,助力业务运营。同时,也能帮助数据团队判断哪些标签更应该投入计算与存储资源,合理规划集群资源。原创 2022-10-25 17:18:50 · 424 阅读 · 0 评论 -
用户标签体系的搭建方法
以上就是用户标签在实践过程中一些困境以及搭建方法的简述。按照统计方式分类:可以将标签分为事实类(最基础,无需大量业务判断的标签,例如会员等级、年龄、收入等)、规则类(需要一定业务经验和判断的标签,例如最常见的RFM)和预测类(需要使用机器学习的算法预测标签值);按照实效分类:也可以将标签分为静态标签(标签值不会随时间变化,例如出生年月等)和动态标签(标签值会随时间变化)。本文介绍的搭建方式仅供各位读者参考,在实践过程中,可不拘泥于本文所提供的方法,甚至可以将多种方法结合使用。原创 2022-10-25 17:10:25 · 2642 阅读 · 0 评论 -
搭建企业级数据治理体系指南
数据治理是一个长期工作,需要相关从业者根据企业的数据现状和管理模式去构建和调整,建议边做实践边总结归纳,小步慢跑是一个很好的方式。原创 2022-08-08 10:33:16 · 585 阅读 · 0 评论 -
实时数仓的实时保障指南
0、前言所有的数据建设都是为了用户更快、更方便、更放心的使用数据。在用户使用实时数据的过程中,最影响用户体感的指标有两个: 数据质量:实时数据产出的准确性。举个例子:实时数据在某些场景下不能保障端到端 exactly-once,因此实时与离线相同口径的数据会有 diff。而 1% 和 0.01% 的 diff 给用户的体验是完全不同的。 数据时效:实时数据产出的及时性。举个例子:延迟 1min 和 延迟 1ms 的用户体验也是完全不同的。 通过以下两个指标就已经能监控和判定 90原创 2022-04-25 11:55:00 · 2480 阅读 · 0 评论 -
数据治理工作的几种推进套路
一、顶层设计法顾名思义,顶层设计法就是先做一个数据治理顶层设计的规划,然后按照规划执行即可。做过咨询的彭友都知道,顶层设计、战略咨询都会根据战略目标拆解KPI,然后设立对应的支撑项目,并且根据优先级别进行排序,最后形成一个执行的路径。今年做什么,明年做什么,先做啥,后做啥,都规划的清清楚楚明明白白。之后就按图索骥就行。大致的逻辑就像下图一样:这样的好处很明显,先有面,再有线,最后是各个点状的项目,一点点的落实,效果自然没的说。但是这样的方案是非常非常奢侈的,因为这种方案见效慢原创 2022-03-16 10:38:53 · 2940 阅读 · 0 评论 -
【数据资产】数据资产目录建设方法与案例
一、数据资产目录建设意义1.1 政策支持我们以数据治理较成熟的行业-银行业的相关数据管理政策中可以发现,从国家到银保监会,到中国人民银行,在2020至2021年间就发布相关指导政策,明确数据是生产要素,并给出了数据治理建设指引。1.2 企业需求从企业层面以及数字化转型路线的思考框架上,企业从行业解析、战略愿景、明确措施、规划方案自上而下,更加明晰企业数据资产是整个数字化转型及数字化运营的坚实基础。1.3 发展趋势 数据资产管理正成为数据管理工作的转型方向原创 2022-03-08 14:00:16 · 15439 阅读 · 0 评论 -
【埋点体系】(二)-埋点设计、管理与应用
一、埋点的管理1.1 新增埋点设计1.1.1 埋点指标定义-事件表一款互联网产品每天产生的数据是庞大杂乱的,全部都存下来会占据硬盘空间,而且,不加定义和标记的数据也很难使用。因此,在初期的数据建设阶段,先要做的是定义想要的数据,告诉前端开发和后台的同事,你想要的数据有哪些,定义这些数据的字段包括但不限于以下字段:埋点位置:平台覆盖了APP、Web和小程序平台,其中有部分核心功能、页面在三个平台都有涉及(类似于电商平台的商品详情页),分开管理会造成指标冗余,因此对于多平台存在的核心指标,采原创 2022-01-13 17:12:33 · 8283 阅读 · 0 评论 -
【埋点体系】(一)-埋点的理解
一、什么是埋点埋点,也有称打点, 顾名思义就是借助埋点(写代码)来采集数据,在需要监测用户行为数据的地方加上一段代码。我们可以称之为 Capture 模式,通过在客户端/服务端埋下确定的点,采集相关数据到云端,最终在云端做呈现。通过收集这些标记点的数据,可以帮助产品运营及开发了解功能的整体使用、运行情况,并通过数据基础上做出下一步调整或优化的方向。遇事不拍脑袋,而是用数据说话,这是数据埋点最大的价值。在AB测试的场景下,数据埋点为实验组的效果提供数据支持,其本质也是数据决策的基础。根据目前常原创 2022-01-13 16:18:34 · 5693 阅读 · 0 评论 -
【数据治理】数据治理项目失败经验总结
0、前言数字化时代,数据作为新的生产要素受到了各界前所未有的重视。随着数据越来越多,怎么管好、用好数据,让数据发挥价值,成为了很多企业的一个难题,而且还是一个必选题!这就引出了数据治理。有效的数据治理可以确保企业数据全面、一致、可信,从而全面释放数据的价值,提高业务流程效率、提升业务增长的机会,驱动企业数字化转型。这听起来很简单,但事实上数据治理对每个企业都是一项很大的挑战。据Gartner 的一项调查显示,超过90%的数据治理项目都失败了!为什么会有这么多数据治理项目失败?看到这个数字原创 2021-10-28 09:23:31 · 609 阅读 · 0 评论 -
【数据分析体系】如何搭建一个数据分析体系
0、前言市面上企业级数据分析体系的最佳实践大部分是这样的:内部感知系统:及时告知各项内部运营参数;外部感知系统:及时反馈外部竞争、机会状况;报警系统:及时发现并报告各项异常,并指明故障点;导航系统:根据设定的目标,提供可到达的若干方案,根据当前方案和位置,指明下一步行动方向,对目标进行合理预测,实时反馈当前执行情况。但是企业有大小,业务流程有粗细,产业链有长短,企业所处阶段有不同,如何构架一个符合企业实际情况的数据分析体系呢?大致可以分为这几步骤:当你接手公司/部门.原创 2021-10-20 09:18:27 · 3139 阅读 · 0 评论 -
【缓存】如何保证缓存与数据库双写时的数据一致性
0、背景在做系统优化时,想到了将数据进行分级存储的思路。因为在系统中会存在一些数据,有些数据的实时性要求不高,比如一些配置信息。基本上配置了很久才会变一次。而有一些数据实时性要求非常高,比如订单和流水的数据。所以这里根据数据要求实时性不同将数据分为三级。 第1级:订单数据和支付流水数据;这两块数据对实时性和精确性要求很高,所以不添加任何缓存,读写操作将直接操作数据库。 第2级:用户相关数据;这些数据和用户相关,具有读多写少的特征,所以我们使用redis进行缓存。 第3级:支原创 2021-10-14 11:26:56 · 129 阅读 · 0 评论 -
【大型分布式网站】抗住千万流量的大型分布式系统架构设计
一、大型分布式网站架构技术1.1大型网站的特点 用户多,分布广泛 大流量,高并发 海量数据,服务高可用 安全环境恶劣,易受网络攻击 功能多,变更快,频繁发布 从小到大,渐进发展 以用户为中心 免费服务,付费体验 1.2 大型网站架构目标 高性能:提供快速的访问体验。 高可用:网站服务一直可以正常访问。 可伸缩:通过硬件增加/减少,提高/降低处理能力。 安全性:提供网站安全访问和数据加密、.原创 2021-10-05 09:26:05 · 825 阅读 · 0 评论 -
【用户画像】从0到1掌握用户画像知识体系
一、初始用户画像1.1 用户画像随着用户的一切行为数据可以被企业追踪到,企业的关注点日益聚焦在如何利用大数据为经营分析和精准营销服务,而要做精细化运营,首先要建立本企业的用户画像。提到用户画像的概念,我们区分下用户角色(Persona)和用户画像(Profile):1.1.1 用户角色用户角色本质是一个用以沟通的工具,当我们讨论产品、需求、场景、用户体验的时候,为了避免在目标用户理解上的分歧,用户角色应运而生。用户角色建立在对真实用户深刻理解,及高精准相关数据的概括之上,虚构的包含典型用原创 2021-09-25 09:49:36 · 2690 阅读 · 0 评论