- 博客(6)
- 收藏
- 关注
RSS订阅原创 穿越水务数据迷宫概述
穿越海洋，到达从未到过的地方 ——葡萄牙诗人卡莫恩斯 在DT时代，可靠的、管理有方的数据已经成为企业组织成功的关键因素。无论哪个行业，都需要通过数据来开展业务或者服务客户。数据不仅仅为你的业务流程提供动力，还为你提供支持企业获得成功所需的商业智慧。更重要的是通过数据挖掘，可以更深入了解目前企业运营情况，以便改造流程并实现企业的战略目标。 然而可靠的数据不是偶...
2020-07-05 20:24:44
206
转载 数据质量监控工具-Apache Griffin
数据质量监控工具-Apache Griffin一、概述随着业务发展和数据量的增加，大数据应用开发已成为部门应用开发常用的开发方式，由于部门业务特点的关系，spark和hive应用开发在部门内部较为常见。当处理的数据量达到一定量级和系统的复杂度上升时，数据的唯一性、完整性、一致性等等校验就开始受到关注，而通常做法是根据业务特点，额外开发job如报表或者检查任务，这样会比较费时费力。目前遇到的表...
2019-03-22 16:14:33
805
原创 Linux安装轻量级BI工具--superset
Windows安装轻量级BI工具–superset创建虚拟环境1.下载 Anaconda2.执行安装命令：sh Anaconda3-5.1.0-Linux-x86_64.sh3.创建虚拟环境 conda create -n superset python=3.64.启动虚拟环境 activate superset安装pip install superset==0.27.0(其他版本...
2019-03-12 16:12:55
1058
原创 如何确保敏感数据安全
自然人、法人的许多信息涉及到个人隐私、商业机密等，在共享时需要高度保证数据的安全性，以防止非法窃听、信息涉密等。一般对敏感信息做以下安全保障：第一步：建立敏感信息识别模型，对身份证号、婚姻、个人财产等敏感信息进行梳理和识别。第二步：对敏感信息的使用做脱敏或者加密处理。第三步：数据服务对外共享数据时，对敏感信息增加数字水印，确保在数据涉密发生后，能追溯定位到涉密的部门、人员。...
2019-02-21 15:10:52
2871
1
原创 任务调度中心Azkaban安装指南
1.环境准备1.jdk82.yum install gcc yum install gcc-c++2.下载安装包git clone git@github.com:azkaban/azkaban.gitgit checkout 3.30.1 #指定版本3.mysql配置1 mysql> CREATE DATABASE azkaban;2 mysql> CREATE U...
2019-02-19 18:35:28
235
翻译 数据简史
数据简史手工接线的电路板是早期形态计算机的“插件”，这种硬线连接方式决定了计算机应该如何处理数据。纸带和穿孔卡片磁带磁盘存储器数据库管理系统耦合处理器在线事务处理数据仓库并行数据管理Data Vault大数据分界线...
2019-02-19 18:00:48
361
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人