自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(232)
  • 资源 (1932)
  • 收藏
  • 关注

原创 HTML 表单标签

注释:<input type="checkbox"> 和 <input type="radio"> 中必须设置 value 属性。请把"for"属性的值设置为相关元素的 id 属性的值。type="button", "reset", "submit" - 定义按钮上的显示的文本。type="text", "password", "hidden" - 定义输入字段的初始值。type="checkbox", "radio", "image" - 定义与输入相关联的值。

2024-04-30 10:54:44 1121

原创 克拉默法则:被忽视的线性代数宝藏,揭秘其惊人应用!

1. 线性方程组的解: 克拉默法则适用于变量和方程数目相等的线性方程组,通过计算行列式来找到方程组的唯一解或判断其无解或有无限多解的情况。3. 行列式的计算: 克拉默法则还可以用于计算行列式的值,特别是在求解齐次和非齐次线性方程组时,需要用到行列式的概念和计算技巧。2. 多元隐函数求偏导: 在处理多元隐函数方程组时,可以利用克拉默法则来求取方程组的偏导数,进而分析函数的性质。综上所述,克拉默法则在高等数学中有着广泛的应用,尤其在线性代数领域内,它是理解和解决线性方程组问题的基础工具。

2024-04-30 10:53:51 857

原创 Python入坑系列-pyside6桌面编程之认识并设置理想字体效果

在开发桌面程序时,尽量保持字体统一风格,保持最佳展示效果。字体Pyside6有他自己字体实现机制,主要通过QFont、QFontInfo、QFontMetrics、QFontMetricsF设置字体效果,但比使用html字体样式复杂的多,需要通过这些类的接口来查询和设置字体各种属性,最后由操作系统来渲染。

2024-04-26 00:29:22 1639

原创 HTML5 新增的标签

表示运行中的进程,可以使用progress元素显示JavaScript中耗时时间函数的进程。ruby 元素由一个或多个字符(需要一个解释/发音)和一个提供该信息的 rt 元素组成,。只有当 command 元素位于 menu 元素内时,该元素才是可见的。表示页面中的一个内容区块,比如章节、页眉、页脚或页面的其他部分。表示一段独立的流内容,一般表示文档主体流内容中的一个独立单元。表示整个页面或页面中一个内容区块的脚注。还包括可选的 rp 元素,定义当浏览器不支持 "ruby" 元素时显示的内容。

2024-04-26 00:27:44 653

原创 coredns部署

三:coredns-deployment.yaml。二:coredns-configmap.yaml。一:coredns-rbac.yaml。四:coredns-svc.yaml。##configmap 解析。

2024-04-24 01:02:03 818

原创 数据分析达人揭秘:网站爬虫技术全攻略

接下来,本篇文章将详细阐述网站爬虫技术的基本方法、先进技术以及必要的实用工具,并着重强调在实践中需要注意的关键环节,助您更深入且有效地掌握这项重要技能。此外,现代爬虫具备强大的反爬虫防护能力,通过智能化的隐形特性应对挑战。其模仿真人用户行为,遵循预设规则逐一搜集网页内容,抽取关键信息及数据,积累大量结构化数据,助力精确预测市场走向和竞争对手力量对比,深度挖掘业内见解。敬请切记遵守相关的法令法规和行业规范,保护好您的权益,同时,应尊重他人隐私,以便有效率地获取网络中的丰富信息资源。

2024-04-24 00:58:30 723

原创 样本量估算:不仅仅是公式和软件

一方面,它提出要根据药物进行分层,但另一方面,又假定了 5 种药物的有效率和目标值完全相同。然而,从假设检验的角度来看,这涉及到多重假设检验的问题,会增加假阳性错误的风险。更重要的是明确研究目的,并确保研究内容与目的相适配。这样,不需要乘以 5,只需要控制总的阳性错误。总之,样本量估算并非仅仅是数字的计算,而是需要综合考虑研究目的、设计和逻辑的过程。只有在明确研究思路的基础上,才能进行准确、有意义的样本量估算。本文将以一个对 5 种常见药物疗效进行评价的研究方案为例,探讨样本量估算背后的关键问题。

2024-04-10 00:39:25 236

原创 支持向量机——SVM

SVM 是一种机器学习算法,它的全称是支持向量机(Support Vector Machine)。它主要用于解决二分类问题,即给定一组数据,将它们分为两类。SVM 的基本思想是在特征空间中寻找一个最优的超平面,使得两类数据在该超平面两侧的间隔最大,从而提高分类的准确性和泛化能力。SVM 还可以通过使用核函数来处理非线性可分的数据,将它们映射到更高维的空间中,再寻找最优的超平面进行分类。SVM 的优点有:可以处理高维数据,不需要降维; 可以处理线性可分和非线性可分的数据; 可以避免过拟合,具有良好

2024-04-10 00:38:30 421

原创 9种最常用数据分析方法,解决90%分析难题

用户路径分析追踪用户从某个开始事件直到结束事件的行为路径,即对用户流向进行监测,可以用来衡量网站优化的效果或营销推广的效果,以及了解用户行为偏好,其最终目的是达成业务目标,引导用户更高效地完成产品的最优路径,最终促使用户付费。比如一个商超进行产品分析的时候,就可以对每个商品的利润进行排序,找到前20%的产品,那这些产品就是能够带来较多价值的商品,可以再通过组合销售、降价销售等手段,进一步激发其带来的收益回报。分析业务数据,确定当前最关键的改进点,作出优化改进的假设,提出优化建议;

2023-08-14 00:14:21 367

原创 基于大数据的用户标签体系建设思路和应用

掌上医讯一直以来都致力于打造医生的今日头条和智能化的学习平台,通过大数据技术实现医生学习的智能化和个性化,而要构建这样一个学习平台,最基础的就是要建立用户的标签体系,经过长时间的学习、思考、借鉴和实践,现在已经有了自己的标签构建思路,并且也已经提取出了符合自身业务的标签。对用户属性及行为等属性的抽象和聚类,通过剖析用户的基础数据为用户贴上相应的总结概括性标签及指数,标签代表用户的兴趣、偏好、需求等,指数代表用户的兴趣程度、需求程度、购买概率等。标签的维护需要生成规则,需要定义权重,需要更新策略。

2023-07-02 11:56:48 1061 1

原创 有了数据湖,数据仓库究竟能不能被取代?他们又有什么样的区别呢?

数据仓库采集、处理过程中存储下来的数据一般是以结构化的形式存在的,即使原始数据是非结构化的,但这些非结构化数据也只是在源头暂存一下,它通过结构化数据的形式进入数据仓库,成了数据仓库的基本存储格式,这个跟数据仓库的模型(维度或关系建模)都是建立在关系型数据基础上的特点有关。都是预先设计并生成好的,数据仓库建设最重要的工作就是建模,其通过封装好的、稳定的模型对外提供有限的、标准化的数据服务,模型能否设计的高内聚、松耦合成了评估数据仓库好坏的一个标准,就好比数据中台非常强调数据服务的复用性一样。

2023-06-25 09:49:29 293

原创 华为孟晚舟:数字化转型三个核心洞见

在华为近10年的数字转型过程中,作业数字化、数字平台化、平台智能化、智能实战化,正在实现“小问题”自动决策、自动执行,“大问题”推送分析、辅助决策。数字化转型,要对准战略方向,支撑战略达成,实现既定的商业目标,这是数字化转型的起点。华为自身在数字化转型中沉淀的技术、工具和经验,将持续开放在华为云上,与此同时,全球伙伴的优秀实践也将逐步承载在华为云上,支撑好企业“上云”“用云”。无论是在当下,还是在长远的未来,“数字化”的旋律一旦奏响,便将穿透企业的边界,连点成线、聚线成面,共同创造产业互联的时代。

2023-06-25 09:41:43 935

原创 企业级大数据平台建设参考 淘宝滴滴美团360快手京东

从金融业务,物流业务,电商业务,保险业务、健康业务等不同业务的特点和需求出发,逐步构建成标准化、可管理、可维护、可理解、可复制、一站式、体系化的数据中台,解决了前面提到的业务复杂、数据异构、烟囱化开发、建设成本高等问题。总结,大数据平台的出现伴随着业务的不断发展,数据的不断增长,数据需求的不断增加,数据分析及挖掘的场景而逐步形成。构建,在此基础上开发了自己的调度系统和开发系统。面向业务,奇麟思考的是通过提供简单易用的一站式大数据处理的平台,降低使用门槛,简化大数据平台工作,帮助业务释放数据价值,赋能业务。

2023-06-20 21:34:34 909

原创 七大维度解读「中台」的前世今生

中台最早被大家所注意,我相信一定是因为阿里巴巴的中台战略。2015年12月7日,时任阿里巴巴集团CEO的张勇在一封内部邮件中说到:“今天其,我们全面启动阿里巴巴集团2018年中台战略,构建符合DT时代的更创新灵活的大中台、小前台的组织机制和业务机制。”,以此为标志,阿里之前的“厚平台,薄应用”也就是顺势变成了“大中台,小前台”。说到阿里中台的缘起,我们就不得不说一下Supercell这家公司。2015 年年中,马云带领阿里巴巴集团高管拜访了一家芬兰的小型游戏公司 Supercell。让马云及其高管团队感到惊

2023-06-20 21:34:25 222

原创 如何管控数据?

只有建立相应的标准,同时加强业务的标准化工作,规范重点业务内容,强化业务管理。并在实时过程中加强现有数据的交互性,支撑统一的业务管理,只用建立的数据标准,才能推动主数据系统的建设,完成重点数据的统一管理,为后期数据模型完全共享打下坚实的基础。随着企业业务的增长,越来越多的数据汇入大数据平台,同时在建设数据仓库的时候,我们还进行了数据分层管理,数据会存在多份共存情况,那么此时我们就要做数据生命周期管理,都需要做的工作,数据从各个数据源过来,我们都要进行数据质量的管理,也就是我们常说的数据治理。

2023-06-19 15:06:01 316

原创 知乎用户画像与实时数仓的架构与实践

数据质量管理是测度、提高和验证质量,以及整合组织数据的方法等一套处理准则,而体量大、速度快和多样性的特点,决定了大数据质量所需的处理,有别于传统信息治理计划的质量管理方式。针对历史实时数据需求无承接方的现象,已有用户画像系统无法满足多样的人群定向的现状,及业务方进一步人群分析的业务诉求,提出基础设施层选用Apache Doris作为实时数据仓库技术选型,业务工具层建设实时数据集成、实时数据调度、实时数据质量中心等系统,应用层建设实时数据应用和用户画像应用的方案。数据属性不完整,例如:数据属性空值。

2023-06-15 10:08:29 1657

原创 中车质量管理体系

日常质量监督检查机制覆盖产品制造全过程(工序),以专职质量检查员为执行主体,质量控制关口前移,常态化关注人、机、料、法、环、测等作业现场质量要素控制和管理制度执行情况,避免质量管理体系内部审核网大孔稀、抽样不足导致的质量漏洞,以及关键和特殊过程审核覆盖不到位形成的质量控制盲区等问题。才能发挥质量管理的最大效用。为推进质量方针和质量理念落地,充分发挥以质量门和质量里程碑为主要特色的实物质量管控机制、立体质量管理体系监督检查机制的作用,中车唐山通过优化质量管理激励措施、方法,建立并不断完善质量考核联动机制。

2023-06-15 10:07:10 971

原创 元数据详解

元模型管理即基于元数据平台构建符合CWM规范的元数据仓库,实现元模型统一、集中化管理,提供元模型的查询、增加、修改、删除、元数据关系管理、权限设置等功能,支持概念模型、逻辑模型、物理模型的采集和管理,让用户直观地了解已有元模型的分类、统计、使用情况、变更追溯,以及每个元模型的生命周期管理。数字化时代,企业需要知道它们拥有什么数据,数据在哪里、由谁负责,数据中的值意味着什么,数据的生命周期是什么,哪些数据安全性和隐私性需要保护,以及谁使用了数据,用于什么业务目的,数据的质量怎么样,等等。

2023-06-14 15:00:06 1240

原创 用户增长分析模型,该如何搭建

则越应该采取“大浪淘沙”式的增长策略,大量获客之后,通过高门槛+重服务,筛选出大客户,紧紧抓住大客户的需求。因此在评估获客方式的时候,优先看的是每一类方式是否能触达对应的用户,再看转化效果。当然,这样做也有挑战,就是数据分析的范畴,突破了现有数据,需要结合大量的行业数据与测试数据,才能下结论。这一步,常规的投放分析/获客分析也会做,但经常陷入细节,过分纠结每个渠道的ROI,形成“瘸子里边挑将军”的局面。因此在客群选择阶段做分析,要结合调研/竞品分析开展,及时了解竞争对手的客群结构,避免盲人摸象,越做越瞎。

2023-06-14 14:59:50 1232

原创 详解数据仓库和数据集市:ODS、DW、DWD、DWM、DWS、ADS

答:嗯,我是这样理解的,站在一个理想的角度来讲,如果 ods 层的数据就非常规整,基本能满足我们绝大部分的需求,这当然是好的,这时候 dwd 层其实也没太大必要。数据集市(Data Mart),也叫数据市场,数据集市就是满足特定的部门或者用户的需求,按照多维的方式进行存储,包括定义维度、需要计算的指标、维度的层次等,生成面向决策分析需求的数据立方体。该层是在DWD层的数据基础上,对数据做一些轻微的聚合操作,生成一些列的中间结果表,提升公共指标的复用性,减少重复加工的工作。

2023-06-13 20:11:25 2744

原创 详解非结构化数据治理

ECM 企业内容管理是一种专注于非结构化数据领域的软件类型, 其涵盖了企业网盘、文档管理、知识管理、文件安全交换、工程协同设计、文件安全外发、档案管理、影像文件管理、电子文档安全管理、文档云、ISO 质量文件体系管理、GMP 质量文件体系管理、非结构化数据管理平台、工程内容管理等应用软件,以及基于 AI 智能和 Graph 知识图谱技术的智能推荐、智能搜索、智能定密、智能安全分析等内容智能应用。这就对企业的非结构化文档数据管理提出了更高的要求,尤其是非结构化文档数据的准确性、及时性、一致性、安全性等方面。

2023-06-12 15:00:45 1039

原创 详解大厂实时数仓建设

目前各大公司的产品需求和内部决策对于数据实时性的要求越来越迫切,需要实时数仓的能力来赋能。传统离线数仓的数据时效性是 T+1,调度频率以天为单位,无法支撑实时场景的数据需求。即使能将调度频率设置成小时,也只能解决部分时效性要求不高的场景,对于实效性要求很高的场景还是无法优雅的支撑。因此实时使用数据的问题必须得到有效解决。实时计算框架已经经历了三代发展,分别是:Storm、SparkStreaming、Flink,计算框架越来越成熟。一方面,实时任务的开发已经能通过编写 SQL 的方式来完成,在技术层面能很好

2023-06-12 14:59:21 824

原创 数据资产目录建设之数据分类全解

按照线分类法,按照业务属性(或特征),将基础电信企业数据分为若干数据大类,然后按照大类内部的数据隶属逻辑关系,将每个大类的数据分为若干层级,每个层级分为若干子类,同一分支的同层级子类之间构成并列关系,不同层级子类之间构成隶属关系。管理主体就是“WHO”,管理范围就是“WHERE”,这两个对象一确定,就说清楚了是“谁”具体负责“哪里”的事情,职责范围就清晰了,业务条线自然而然就划分出来了。但是我们分类的时候一般就分个3、4级就行了,在《指引》里,建议用MS-MS划分一次就行,剩下的层级放在数据归类阶段进行。

2023-06-11 23:22:01 1026

原创 数据治理之元数据管理的利器——Atlas入门宝典

它通常是一个经典的单体前端(可能是一个 Flask 应用程序),连接到主要存储进行查询(通常是 MySQL/Postgres),一个用于提供搜索查询的搜索索引(通常是 Elasticsearch),并且对于这种架构的第 1.5 代,也许一旦达到关系数据库的“递归查询”限制,就使用了处理谱系(通常是 Neo4j)图形查询的图形索引。要在Atlas中存储新类型的元数据,需要了解类型系统组件的概念。作为对人工智能团队的数据支撑,我们听到的最多的质疑是 “正确的数据集”,他们需要正确的数据用于他们的分析。

2023-06-11 23:03:54 1686

原创 数据治理体系指南

在激烈的市场竞争下,大数据厂商提出来数据治理的各种理念,有的提出覆盖数据全生命周期的数据治理,有的提出以用户为中心的自服务化数据治理,有的提出减少人工干预、节省成本的基于人工智能的自动化数据治理,在面对这些概念的时候,我们一方面要对数据现状有清晰的认识,对数据治理的目标有明确的诉求,另一方面还要知道数据治理中各种常见的误区,跨越这些陷阱,才能把数据治理工作真正落到实处,项目取得成效,做到数据更准确,数据更好取,数据更好用,真正地用数据提升业务水平。数据标准化难落地,是数据治理行业的现状,不容回避。

2023-06-10 15:01:04 1328

原创 数据治理|数据资产中心

广义的数据资产涵盖一切非结构化、半结构化和结构化数据,狭义的数据资产主要包括业务侧的业务日志、流数据的topic、批数据的数据表、生产调度任务/作业,模型层的指标、维度和数据集,应用层的报表、API、应用/服务等,本文主要面向狭义的数据资产,其中又以大家接触最多的数据表、数据指标、报表为主。综上,数据资产中心的核心用户是各业务侧的数据分析师、产品经理、数据运营等用户,他们构成了数据资产中心的消费端,是数据资产得以流通并进而产生交换价值的关键,而资产中心供给端的用户群体主要是数据开发者和数据管理者。

2023-06-10 14:57:45 1271

原创 数据治理:如何建立数据共享机制

各地各部门在使用政务数据的过程中,应根据业务需求的实际情况,按照最低限度申请使用的权限,要明确使用方式,并遵守相应的权限要求,在规定的范围和界限内来使用政务数据资源,不能随意它用或乱用。在政务数据资源的共享使用中,应由拥有共享管理权的部门,充当调度、协调、仲裁的角色,对数据共享中出现的争议和问题进行处置和裁决,对不按照规则存储、维护和使用数据的部门进行责任追溯。比如说政府部门在履职的过程中,需要另外一个部门的数据,但没有统一集中的平台,也没有基于这种目录交换的逻辑共享的体系,那怎么办呢?

2023-06-09 13:25:21 1987

原创 数据治理 | 质检监控中心

除了质量之外,一些核心报表资产,由于面向用户的级别较高,业务关注度较广,对产出的及时性要求较高,而如果这类报表上游较复杂,往往会出现上游一个任务节点重启超时,甚至重启失败,造成整个下游任务挂起,最终报表产出严重超时,在业务侧引发事故,此时,我们就需要第一时间感知到各个任务节点的产出结果、作业执行情况等数据,有问题第一时间报警处理,SLA便能解决这类问题。质量监控:面向具体数据资产,通过配置定时调度监控任务,分级报警处置,主要功能包括监控规则配置,分级预警配置,报警任务处置等。

2023-06-09 13:23:51 1482

原创 数据要素产业链分析报告

我国数据要素市场总体滞后于现实需求,但随着数据要素市场的不断培育壮大,政府、企业、数据交易机构、科研院所等数据要素市场主体逐步投入市场运作,将进一步促进数据要素市场的发展,推进数据要素市场化、价值化进程。此外,数据采集、数据标注、数据清洗、数据审核、数据确权、数据服务等一系列围绕数据应用的业务属性也会成熟起来,进而为各种数据应用场景提供支撑服务,多元数据的融合将更加紧密。根据中国信通院定义,,数据的分析能力直接决定了数据的价值,数据分析厂商需具备相关行业业务知识和经验,这需要长时间积淀,短时间内难以破局。

2023-06-08 14:07:21 2396

原创 数据项目管理的痛点与实践

项目成员不能放手去做,依赖性强,项目经理本身还有一堆文档要写、协调事儿要处理示,结果就是项目经理四处救火,忙得要死,且团队成员也很难独撑一面。往往需求来了,不加以深入分析和设计,就急急忙忙向公司申请一大批开发人员介入,后期又过早把人员释放,导致测试阶段和上线后问题不断,没有人员及时修复系统缺陷。项目经理作为一线基础管理人员,对外有客户、甲方、用户、监理,对上有领导,对内项目团队成员,需要合理规划、统筹安排、有效沟通才能真正把项目做好。反之,就会引起职工的不满,挫伤职工的积极性,降低团队的士气。

2023-06-08 14:06:29 605

原创 数据仓库、数据湖、湖仓一体,有什么区别?

其次,存储到数据湖中的数据通常会按照原始形态直接存储,随着业务和使用场景的发展,会使用不同的计算 存储的数据进行分析与处理,数据湖中的数据在一个企业组织中通常会被多个不同应用、系统和部门使覆盖的场景广泛并且范围也会动态延展,因此需要提供更多的灵活性以适应快速变化的应用场景;数据湖对存取的数据没有格式类型的限制,数据产生后,可以按照数据的原始内容和属性,直接存储到数据湖, 无需在数据上传之前对数据进行任何的结构化处理。Delta Lake 是一个统一的数据管理系统,为云上数据湖带来数据可靠性和快速分析。

2023-06-07 13:44:30 1056

原创 数分必备干货|64个数据分析常用术语详解

通常指产生目标转化前的明确流程,比如在淘宝购物,从点击商品链接到查看详情页,再到查看顾客评价、领取商家优惠券,再到填写地址、付款,每个环节都有可能流失用户,这就要求商家必须做好每一个转化环节,漏斗是评价转化环节优劣的指标。如:年龄、体重等变量。这里的“可视化”并非普通的图型或饼图,可视化指是的复杂的图表,图表中包含大量的数据信息,但可以被很容易地理解和阅读。异常值是指严重偏离一个数据集或一个数据组合总平均值的对象,该对象与数据集中的其他它相去甚远,因此,异常值的出现意味着系统发生问题,需要对此另加分析。

2023-06-07 13:39:32 343

原创 深度解析用户画像标签体系构建方法

用户画像,即用户信息标签化,通过收集用户的社会属性、消费习惯、偏好特征等各个维度的数据,进而对用户或者产品特征属性进行刻画,并对这些特征进行分析、统计,挖掘潜在价值信息,从而抽象出用户的信息全貌。举个用户年龄标签的例子。用户标签是整个系统的数据基础,是链接标签系统和画像系统的桥梁。

2023-05-18 23:42:05 938

原创 华为的数字化战略与1234方法论

在大量的行业数字化转型实践中,华为摸索、积累出了一套应用数字化技术实现业务成功的战略框架与战术工具集,对业务可持续创新发展的最佳实践进行了总结,提炼了其中具有通用性和普适性的关键点与要素,形成了一套简单、可操作的方法,总结起来就叫“1234方法”。数字化转型实际上是业务的转型升级,要从业务视角主动思考转型的目标和路径,将转型落实到具体的业务运作中。新技术是业务提升的巨大推动力,企业应该在新技术的探索上进行适度的超前投入,通过持续的探索和学习,将新技术的威力变为实际的业务价值,推动业务持续转变。

2023-05-18 23:38:57 820

原创 如何学会战略性思维?

金字塔中的思想必须遵守“每一层次的想法都是下面分组想法的总结”、利用演绎推理法或归纳推理法的“每一组的想法都是归纳推理或演绎推理的一部分”和较为主管意义的“每一组的想法都是按照推理顺序进行排列的”三个子规则,以一种对观众最有意义的方式讲述故事。为了让参与者对问题的认识更加结构化,从而形成广泛的想法,并为每个想法提供更好的可追踪性,弗雷德提出了三种围绕特定问题的“向上”的方法。在生物学中,突变是基因中微小的随机变异,是自我复制过程中的一个错误,是自然选择的第一步,是随机的、不可预测的,但也是必不可少的。

2023-05-18 00:31:09 576

原创 如何搭建一个数据仓库

为了便于落地,我根据自己的经验,总结出上面的七个步骤:梳理业务流程、垂直切分、指标体系梳理、实体关系调研、维度梳理、数仓分层以及物理模型建立。依托数仓分层的设计理论,根据实际业务场景,我们就可以梳理出整体的数据流向图。这张图会很清晰的告诉所有人,数据从那来,到哪里去,最终提供什么样的服务。如果分析出这个业务过程应该有这个指标,但是没有数据,请标注出来,提出收集数据的需求。越到底层,越接近业务发生的记录,越到上层,越接近业务目标。我们将能够获取到的数据,提取实体,绘制ER图,便于之后的维度建模。

2023-05-18 00:29:35 826

原创 浅谈数据仓库建设中的数据建模方法

从笔者的经验来看,再没有现成的行业模型的情况下,我们可以采用实体建模的方法,和客户一起理清整个业务的模型,进行领域概念模型的划分,抽象出具体的业务概念,结合客户的使用特点,完全可以创建出一个符合自己需要的数据仓库模型来。因此,在整个数据仓库的模型的设计和架构中,既涉及到业务知识,也涉及到了具体的技术,我们既需要了解丰富的行业经验,同时,也需要一定的信息技术来帮助我们实现我们的数据模型,最重要的是,我们还需要一个非常适用的方法论,来指导我们自己针对我们的业务进行抽象,处理,生成各个阶段的模型。

2023-05-15 14:42:18 553

原创 七大维度解读「中台」的前世今生

中台最早被大家所注意,我相信一定是因为阿里巴巴的中台战略。2015年12月7日,时任阿里巴巴集团CEO的张勇在一封内部邮件中说到:“今天其,我们全面启动阿里巴巴集团2018年中台战略,构建符合DT时代的更创新灵活的大中台、小前台的组织机制和业务机制。”,以此为标志,阿里之前的“厚平台,薄应用”也就是顺势变成了“大中台,小前台”。说到阿里中台的缘起,我们就不得不说一下Supercell这家公司。2015 年年中,马云带领阿里巴巴集团高管拜访了一家芬兰的小型游戏公司 Supercell。让马云及其高管团队感到惊

2023-05-15 14:38:24 653

原创 美团数据指标体系搭建实战

从体验过程中来看,饿了么除了以上数据指标体系外,还包括对营销和服务数据指标的搭建,分别正对商户在营销前后和手段不同的情况下收益数据和发展趋势情况以及在售、出餐、售后的环节中因商户服务造成的数据波动。而服务商展现的数据充分体现商户从接单,出餐到售后这全覆盖订单交易流程,体现商户的服务在促进线上订单交易中的效果,一定程度上提醒了商户对于自身服务的改进。本店铺在平台上的订单【总价中优惠金额所占的比例】的均值分布。在美团商家版中,美团为商家搭建的数据指标体系,很好的指导了商家的经营发展方向以及提供经营状况概览。

2023-05-14 15:06:40 670

原创 简单聊一聊数据治理的策略

但问题就在于,人性天然有建设性和破坏性两面,想要秩序的存在并维持下去,本身就是需要投入非常大的建设精力和成本的,而且这个成本还不是一成不变的,它是随着公司资产的累加而增加的,也是会随着公司战略、制度和文化的革新变化而变化的,因此,数据治理工程中追求完美主义是不可取的,我们要学会分类分级,学会判断优先级,学会抓大放小,允许有序和无序的并存。同理,过度追求高准确率,监控规则一定会设置的异常苛刻,那自然被报警的数据都是存在异常的,准确率100%,但是这样往往很多异常数据会被监控系统给漏掉,漏报率就会异常的高!

2023-05-14 15:02:38 587

苹果MR发布在即,XR赛道风云再起.doc

苹果MR发布在即,XR赛道风云再起.doc

2024-06-11

镍行业深度:结构性高景气,供需寻找新平衡.doc

镍行业深度:结构性高景气,供需寻找新平衡.doc

2024-06-11

绿氢:从0到1,构建新老能源绿色纽带.doc

绿氢:从0到1,构建新老能源绿色纽带.doc

2024-06-11

尼龙复材迎千亿市场,生物基尼龙乘势而上.doc

尼龙复材迎千亿市场,生物基尼龙乘势而上.doc

2024-06-11

钠电池深度报告:钠电破晓,成长可期.doc

钠电池深度报告:钠电破晓,成长可期.doc

2024-06-11

金属3D打印,产品升级牵引,降本增效驱动应用拓展.doc

金属3D打印,产品升级牵引,降本增效驱动应用拓展.doc

2024-06-11

看好中高端环氧树脂和酚醛树脂进口替代.doc

看好中高端环氧树脂和酚醛树脂进口替代.doc

2024-06-11

自动驾驶研究系列一:端到端架构渐行渐近.doc

自动驾驶研究系列一:端到端架构渐行渐近.doc

2024-06-11

智能制造前瞻布局,把握MEMS传感器国产替代机遇.doc

智能制造前瞻布局,把握MEMS传感器国产替代机遇.doc

2024-06-11

智能汽车-线控制动篇:高级智驾关键执行器,国产替代崛起正当时.doc

智能汽车-线控制动篇:高级智驾关键执行器,国产替代崛起正当时.doc

2024-06-11

造船行业深度报告:零碳转型东风,替代燃料奇点.doc

造船行业深度报告:零碳转型东风,替代燃料奇点.doc

2024-06-11

政策支持对机床至关重要.doc

政策支持对机床至关重要.doc

2024-06-11

运动控制行业:高端装备大脑,机器人孕育新空间.doc

运动控制行业:高端装备大脑,机器人孕育新空间.doc

2024-06-11

有色金属行业深度:百年未有之变局,黄金时代!.doc

有色金属行业深度:百年未有之变局,黄金时代!.doc

2024-06-11

行业奇点将近,积极把握苹果MR新品周期.doc

行业奇点将近,积极把握苹果MR新品周期.doc

2024-06-11

新能源汽车:双层涂布方兴未艾,模头国产崛起打开空间.doc

新能源汽车:双层涂布方兴未艾,模头国产崛起打开空间.doc

2024-06-11

新能源汽车下乡打开蓝海市场.doc

新能源汽车下乡打开蓝海市场.doc

2024-06-11

线控制动:自动驾驶执行层技术高地,笃行可至.doc

线控制动:自动驾驶执行层技术高地,笃行可至.doc

2024-06-11

人工智能加速落地,光芯片与光模块开启高景气周期.doc

人工智能加速落地,光芯片与光模块开启高景气周期.doc

2024-06-11

数控系统,工业母机之魂,自主可控之基.doc

数控系统,工业母机之魂,自主可控之基.doc

2024-06-11

用友实施方法论.pptx

用友实施方法论

2024-10-14

软件公司类型分析及内部组织架构.pptx

软件公司类型分析及内部组织架构

2024-10-14

计算机专业求职面试前准备,.pptx

计算机专业求职面试前准备,

2024-10-14

面试后注意事项,提高面试通过率.pptx

面试后注意事项,提高面试通过率

2024-10-14

ERP系统介绍.pptx

ERP系统介绍

2024-10-14

02-NCC企业动态建模.pptx

02-NCC企业动态建模

2024-10-14

Oracle 数据库简述.pptx

Oracle 数据库简述

2024-10-14

SQL命令与函数(第二章)

SQL命令与函数(第二章)

2024-10-14

微信视频号运营从入门到精通教程.pptx

微信视频号运营从入门到精通教程.pptx

2024-07-19

达人如何做好商业化内容 (1).docx

达人如何做好商业化内容 (1).docx

2024-07-19

地产画册终稿.docx

地产画册终稿.docx

2024-07-19

多规合一中的空间大数据解决方案.docx

多规合一中的空间大数据解决方案.docx

2024-07-19

Windows 10技术与应用大全.docx

Windows 10技术与应用大全.docx

2024-07-19

短视频快手报告告:老铁经济,快手江湖.docx

短视频快手报告告:老铁经济,快手江湖.docx

2024-07-19

26.【Mob研究院】2021年中国移动游戏行业深度洞察报告.docx

26.【Mob研究院】2021年中国移动游戏行业深度洞察报告.docx

2024-07-19

Facebook+x+Shopify+跨境电商白皮书.docx

Facebook+x+Shopify+跨境电商白皮书.docx

2024-07-19

千亿市场何以勇立潮头:锂电回收行业工艺优化思路探索.doc

千亿市场何以勇立潮头:锂电回收行业工艺优化思路探索.doc

2024-06-11

智能驾驶ChatGPT时刻有望来临.doc

智能驾驶ChatGPT时刻有望来临.doc

2024-06-11

再次强调教育是AI最佳落地场景之一.doc

再次强调教育是AI最佳落地场景之一.doc

2024-06-11

丝杠深度:精密仪器传动之冠.doc

丝杠深度:精密仪器传动之冠.doc

2024-06-11

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除