![](https://img-blog.csdnimg.cn/20201014180756925.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
大数据
文章平均质量分 87
王老狮
现500强企业担任核心技术骨干,有多年的技术开发和管理经验。曾在公司主导过开放平台系统架构的设计,大数据平台架构设计。现主要负责公司数据中台体系的从0到1的建设,擅长分布式,高并发,大数据等技术领域。在系统安全、微服务、技术架构等领域输出多篇技术专利。对新技术有着极高的热情,喜欢钻研和研究未知的领域,善于分享,输出技术文章全网阅读200W左右。善于目标驱动,抛弃过往的经验,回到问题的本质。
展开
-
为什么要做数据治理以及如何进行数据治理?
多国将数据战略上升为国家战略数据治理是促进数据价值实现重要保障数据开放共享是释放数据价值基础条件数据质量管理是释放数据价值的关键环节流程化提供工作流程与模板将数据治理工作拆解为需求调研、 概要设计、 详细设计、 数据开发、 部署运维、 培训六个阶段, 并规定每个阶段的输入输出内容及模板自动化提供产品与工具产品(赋能) 包括: 资产管理平台、 标签管理平台、 资源服务平台、 BI工具(提效) 包括: 针对数据接入、 开发、 调度等提供工具批量化实施智能化。原创 2022-10-24 15:47:49 · 2684 阅读 · 5 评论 -
数据平台建设的痛点,如何进行元数据治理?
(),又称、,为描述的数据(data about data),主要是描述数据(property)的,用来支持如指示存储位置、数据、查找、文件记录等功能,被称为数据的数据。原创 2022-09-28 17:26:09 · 1200 阅读 · 0 评论 -
如何提高数据质量?数据常见问题以及根因分析
在数据平台建设过程中,经常遇到需求难以管控,数据准确性不高等各种问题,今天将我们建立中台过程中遇到的数据问题以及通过什么方法去解决的做个总结数据开发没有可视化的开发平台,导致数据同步流程数据任务没有很好地进行管理,任务的调度,资源分配,稽查以及报警机制数据模型很少有合理化的进行建模设计,更多是为了实现需求尔设计表结构,每层表存储数据利用率不高数据开发效率低,数据报表交付慢。原创 2022-09-07 12:26:56 · 2389 阅读 · 2 评论 -
数据中台体系化建设核心方法论
大家好,我是王老狮,最近一直忙于工作,没有更新博客,借着和C站的专家们进行分享交流,强迫自己花时间写了一些内容,今天就把交流会上的一些分享心得分享给大家。原创 2022-09-04 10:03:35 · 1202 阅读 · 10 评论 -
漫谈数据安全-老板担心敏感数据泄露,该如何建设数据的安全体系?
背景随着数据的不断迭代,数据种类和体量越来越多,那么数据的保护以及如何防止敏感数据的泄漏是当前面临比较大的挑战。数据安全的痛点解决数据误删除问题;解决敏感数据泄露问题;生产环境和测试环境隔离痛点问题解决方案如何解决数据误删问题数据的备份与恢复一、冷备通过对物理文件的拷贝也可达到备份的效果,但是需要注意的是通过拷贝物理文件进行备份期间,要避免数据写入。一般用于历史归档数据的备份。二、热备文本文件导入导出ClickHouse通过其 ALTER TABLE…FREEZE 功能提供了原创 2022-05-09 09:00:00 · 2851 阅读 · 12 评论 -
漫谈数据治理一-数据老有问题,我们该如何提高数据质量?
一、前言大家好,我是王老狮,狮是工程师的狮哈。细心地小伙伴应该发现我改名字了,具体改名原因呢?毕竟过了一年了,我也成长了,DarkKing感觉有点太中二了,因此换个成熟稳重一点的名字。(难道我会告诉你我有起名困难症吗?)随着互联网后期以及物联网的崛起,甚至互联网公司们已经不满足现实世界,诞生了元宇宙概念开始往虚拟世界方向走。包括上海也将元宇宙当做重点建设方向去布局。身为韭菜的你是不是瑟瑟发抖。现实中收割完之后,虚拟世界里继续收割。真是走廊上铺地铺,不留余地啊。到底元宇宙是好是坏,我们不做评论。但同原创 2022-02-13 12:24:37 · 4322 阅读 · 12 评论 -
ClickHouse安装以及使用
一、下载安装包# wget -P # 下载到指定目录$ wget https://repo.yandex.ru/clickhouse/rpm/stable/x86_64/clickhouse-client-21.8.4.51-2.noarch.rpm$ wget https://repo.yandex.ru/clickhouse/rpm/stable/x86_64/clickhouse-common-static-21.8.4.51-2.x86_64.rpm$ wget https://r原创 2021-11-07 16:26:25 · 1274 阅读 · 5 评论 -
一文掌握大数据架构师需要具备的能力和格局
大数据架构师是一个综合学科,除了平台编码,架构设计,更需要了解行业领域、以及具备产品和运维的思维能力。本文梳理了作为一个架构师应该具备哪些能力,文章比较长,干货满满,看完绝对有不同的感悟。硬能力:一.平台建设 二.数据搜集 三.数据价值 四.数据安全 五.质量保障 软实力:六:个人素质 七:技术能力 八:产品与运营思维 九:团队建设管理能力 十:人生开悟之路硬能力 一:平台建设 1.行业平台(走马观花) 大平台 谷歌云 亚马逊云 阿里云 腾讯云原创 2021-03-04 14:57:28 · 3612 阅读 · 12 评论 -
数据治理三-Atlas与Hive数据集成
一、安装环境JDK 1.8二、安装Hadoop1、下载hadoophttp://mirror.bit.edu.cn/apache/hadoop/选择合适的版本下载hadoopwgethttp://mirror.bit.edu.cn/apache/hadoop/common/hadoop-3.3.0/hadoop-3.3.0.tar.gz执行 进行解压,为了方便使用吗,mv进行修改名称tar -xzvfhadoop-3.3.0.tar.gzmvhado...原创 2021-02-04 15:52:59 · 2587 阅读 · 5 评论 -
HIve安装踩坑手册
hive是基于Hadoop的一个数据仓库工具,所以我们要安装hive首先要安装Hadoop。本文hadoop和hive的安装方式和我踩的一些坑记录起来分享给大家目录一、安装环境二、安装Hadoop1、下载hadoop2、修改环境变量三、安装hive1、下载hive2、修改环境变量3、修改hivesite 配置4、验证是否安装成功四、错误记录1、配置文件中存在异常字符二、guava版本不一致一、安装环境JDK 1.8二、安装Hadoop1、下原创 2021-06-26 17:13:34 · 655 阅读 · 0 评论 -
数据治理二-Atlas2.1 100%安装启动成功方法
atlas网上资料太少了,并且千篇一律,实在没有营养。经过又两天的摸索终于把atlas成功的启动起来。接下来把启动方式详细的记录起来,如果按照下面的操作,还是启动失败,可以私信我。一、安装环境JDK1.8Zookeeper(atlas自带)Kafka(atlas自带)Hbase(atlas自带)Solr(atlas自带)二、安装步骤1、解压包编译成功之后,会在apache-atlas-sources-2.1.0/distro/target目录生成多个tar包,找到apac原创 2021-01-17 13:39:47 · 3324 阅读 · 8 评论 -
数据治理一-Atlas2.1编译踩坑之路
坑爹的东西,花了我2天时间才成功编译!主要一个问题卡的太久 - 。 -。把我的踩坑过程记录一下,希望可以帮助大家,有其他问题可以在评论区留言,我会一一解答。一、编译环境contOS7JDK8Maven 3.6部署包:2.1.0https://atlas.apache.org/#/Downloadsmvn仓库地址:http://maven.aliyun.com/nexus/content/groups/public编译环境不一样,问题肯能不一样。二、安装atlas1、下..原创 2021-01-10 13:26:11 · 3093 阅读 · 5 评论