数据库
文章平均质量分 89
whoami_zy
whoami
展开
-
开始数仓前的一些准备工作
如何开始数仓前的一些准备工作,避免在后期更轻松和更少的踩坑。 做了几个关于数仓的项目,其中几个有完整需求管理,数据模型文档管理,数据管理,血缘关系管理以及自主研发的ETL平台。也做过需求不明确以及没有任何的数据模型文档,在最终核对数据时发现是数据质量问题的导致。 谈点自己的看法,项目开始应当和项目组核心的组员一起做好完整的项目计划(项目人员还未完全进入项目,团队组建中),识别项目中出现的各种风险,做好风险应对策略,比如需求频繁更改、核心人员离职以及一些不确定因素等。了解项目的具体需求和业务,确定需求变原创 2021-06-20 17:19:09 · 443 阅读 · 1 评论 -
数仓必须会的函数总结
这篇文章主要是对数仓工作的一个总结。数仓工作中,除了数据架构另外就是数据模型实施了。今天总结一下工作中遇到的大部分实现场景。 今天总结的也是遇到最常见的,用得最多的,也是需要掌握的。话不多说,上菜。 基础的sql语法以及一些时间的加减处理这里就不说了。放张我整理的图就行。然后挑重要的说。 第一个要说的就是UDF、UDAF、UDTF函数。 udf全称是User Defined Function,即用户自定义函数。通常是为了满足我们特定场景的一些需求。当然Hive...原创 2021-06-20 17:03:50 · 502 阅读 · 0 评论 -
搭建一个简单的mongodb服务
搭建简单的mongodb服务器 1.首先到mongodb的官网下载linux编译好的二进制文件。将其解压到linux的目录文件夹下 2.创建一个叫做mongodb_server的目录文件 3.在mongodb的文件夹里面创建data文件夹(用于储存数据库数据文件),log文件夹(用于储存数据库的日志文件),创建bin文件夹(用于储存数据库的可执行文件),创建conf文件夹(储存数据库的配原创 2016-12-01 16:35:50 · 450 阅读 · 0 评论 -
mongoDB的操作---增删改查
mongo数据库不用自己创建。 在使用mongo的时候如果不存在数据库,在使用数据库的时候会根据需求自动创建数据库。 1.use 切换数据库 2. show dbs// 查看所有数据库 3. db.dropDatabase() 删除数据库 数据库中一张表可以看作一个集合 表的操作 whoami 作为一个数据库 use whoami 对表进行操作 1.插入(原创 2016-12-01 16:41:37 · 273 阅读 · 0 评论 -
关于HBase的SingleColumnValueFilter的坑
由于某些需求,我们在查询hbase的时候,经常需要用到Filter。使用filter过滤来得到我们想要得到的值。 使用场景:我们需要通过Hbase里面的某些列的组合来查找符合这些条件的行。类似于mysql里面的where条件查询。根据列来查询。 下面是通过三列中的三个数据来查询到符合这三列的所有数据。 一般情况下,我们通过列来查询值,可能需要多个列组合的过滤。思路就是先创建一个FilterL原创 2016-12-14 13:35:35 · 6998 阅读 · 1 评论