- 博客(30)
- 收藏
- 关注
RSS订阅原创 用户行为数据采集
Flume——Hadoop——VMVM环境准备 安装JDK 安装Hadoop Hadoop运行模式 本地模式 伪分布式 完全分布式 集群启动 组件逐一启动。 模块启动
2021-11-23 18:38:05
829
原创 对DW（数仓）的理解
DW定义数据仓库(Data Warehouse)可以缩写成DW、DWH，是一个集成的(integrated)、面向主题的(subject oriented)、反应历史变化(time variant)的、相对稳定的(non-volatile)数据集合，用于支持管理决策(decision making support)。数仓最重要的——数据集成。企业的数据通常是存储在多个异构数据源，要进行统计分析，就先要对数据进行一致性整合——数据集成。 集成之后按照主题进行重组。 DW存储的是历史...
2021-11-22 17:52:00
790
原创 DB和DW对比
DW和DB对比 DB DW 相同点 概念 是一种逻辑概念，通过数据库软件来实现存放数据的一个地方。 由很多表组成，表是二维的，一张表里可以有很多字段。 从逻辑上讲，和DB没有区别，都是通过数据库软件来实现存放数据的一个地方。 不同点 ...
2021-11-21 21:16:11
3258
原创 mysql常用
mysql常用mysql大小写大小写规则决定因素修改大小写规则所以按照最规范的来书写删除表数据mysql大小写大小写规则决定因素MySQL语句中字母大小写规则随着语句元素（是否是二进制、字符集）的不同而变化，同时还要取决于MySQL一个只读的系统变量lower_case_file_system，这个决定了当前文件系统是否区分大小写。一般情况，在Windows下Mysql的数据库和表名是大小写不敏感的，而在大多数类型的Unix系统中是大小写敏感的。修改大小写规则在my.ini文件中，在[mysql
2021-07-08 23:22:15
103
原创 SQL-最值问题-topN
SQL-topN数据源top1数据源-- 建表CREATE TABLE `deal` ( `uid` varchar(255) DEFAULT NULL COMMENT '用户ID', `time` varchar(255) DEFAULT NULL COMMENT '用户交易时间', `amount` varchar(255) DEFAULT NULL COMMENT '用户交易额') ENGINE=InnoDB DEFAULT CHARSET=utf8;-- 插入数据INSER
2021-07-08 23:21:53
651
原创 数仓整体知识
目录一、数据仓库岗位1. 架构师2. 建模工程师3. ETL开发工程师4. BI工程师大数据的相关系统？数仓设计中心数据资产中心数据质量中心指标系统数据地图一、数据仓库岗位在数仓这个领域大概有这么几类岗位：1. 架构师做整个数仓项目顶层架构设计的人，包括制定数仓实施方案、规划实施路线、工具选型等，需要具有专业的理论知识和行业经验，就是要既懂技术又懂业务。2. 建模工程师对技术基础，熟悉数仓的几种建模理论，掌握一些数仓建模工具，同时也对业务有一定理解的人，通常的工作就是分析业务、分析需求，创建各类
2021-05-12 22:17:20
272
原创 mysql连接查询
mysql连接查询1. 内连接查询 inner join2. 外连接查询 outer join1）左外连接查询 left outer join2）右外连接查询 right outer join3）全外连接查询交叉连接 cross join自连接自然连接1. 内连接查询 inner join2. 外连接查询 outer join1）左外连接查询 left outer join2）右外连接查询 right outer join3）全外连接查询说明：mysql没有full outer join——my
2021-05-11 18:58:49
158
原创 mysql-group by原理
mysql-group by原理一、查询1. group by1）分组原理2）分组查询需要注意的二、聚合函数1. count()函数1）参数总结一、查询1. group by1）分组原理分组之前select * from score;+------+------+-------+| s_id | c_id | score |+------+------+-------+| 01 | 01 | 80 || 01 | 02 | 90 || 01 | 0
2021-05-11 18:50:16
232
原创 mysql整体知识
4篇23章第1篇 基础知识第2篇 核心技术数据查询1. 单表查询2. 聚合函数查询3. 连接查询1）内连接查询 inner join2）外连接查询 outer join1> 左外连接查询 left outer join2> 右外连接查询 right outer join3> 全外连接查询 没有full outer join——mysql不支持3）复合条件连接查询—在内/外连接查询基础上加限制条件4. 子查询5. 合并查询结果6. 定义表和字段别名7. 使用正则表达式查询常用函数1. MyS
2021-05-11 18:46:35
60
原创 mysql基础
文章目录前言一、运算符1. 算数运算符2. 比较运算符3. 逻辑运算符4. 位运算符—难点5. 运算符优先级二、流程控制语句1. if语句2. case语句3. while循环语句4. loop循环语句5. repeat循环语句总结前言一、运算符1. 算数运算符2. 比较运算符3. 逻辑运算符4. 位运算符—难点5. 运算符优先级二、流程控制语句1. if语句2. case语句3. while循环语句4. loop循环语句5. repeat循环语句总结...
2021-05-11 10:49:02
175
原创 几类SQL练习题
提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档文章目录前言一、to prepare data1. create database school2. create table3. insert4. select二、使用步骤1.引入库2.读入数据总结前言提示：这里可以添加本文要记录的大概内容：例如：随着人工智能的不断发展，机器学习这门技术也越来越重要，很多人都开启了学习机器学习，本文就介绍了机器学习的基础内容。提示：以下是本篇文章正文内容，下面案例可供参考一、to prepa
2021-05-10 18:14:03
414
原创 cmd操作mysql
cmd操作mysqloverall打开终端/DOS启动服务器mysql server（1）Windows任务管理器（2）命令行登录服务器mysql serverWindows安装mysql官网下载安装包。解压。配制环境。登录mysql server。启动mysql环境：Windows本地启动mysql server：电脑任务管理器 --> 服务（服务里面都是服务器）–> 打开MySQLWins + r打开运行界面 --> 输入cmd --> 打
2021-05-10 12:11:52
206
1
原创 Hive函数面试高频考点
目录行转列列转行排序函数日期函数四个By区别窗口函数/开窗函数行转列collect_set() --行转列，去重。不同行转为一个集合，可按序号取值collect_list() --行转列，不去重。concat()concat_ws()列转行explode (array):返回多行array中对应的元素。如explode(array('A','B','C'))explode(map):返回多行map键值对对应元素。如explode(map(1,'A.
2020-11-29 22:35:59
161
原创 Hive函数总结
Hive函数总结hive有哪些函数？hive (test_db)> show functions;查看具体的一个函数hive (test_db)> desc function concat;查看具体的一个函数并举例hive (test_db)> desc function extended concat;内置函数简单函数数学函数nvl（）round(double d, int n) --返回保留n位小数的近似d值floor(double d) --向左取整ce
2020-11-29 12:19:07
169
原创 离线数仓——T+1处理数据
离线数仓（基于Hadoop体系）数仓建模 数仓为什么建模？ 数仓建模发展 数仓建模理论有哪些？ 你是怎么建模的？数仓分层 数仓分层思想云上离线数仓（阿里云）整体架构 数据源=>DTS同步数据=>DataWork（底层是MaxCompute）=>DB...
2020-11-28 22:10:11
3685
1
原创 ADS层
按照主题出报表设备主题会员主题商品主题营销主题报表数据来源dwd、dws。数据用默认格式存储，不做压缩。还有哪些主题？划分主题就是你要分析哪个大块，粗粒度。目的：可以更好地分类，有整体概念。例如：地区主题、活动主题、优惠券主题等等。...
2020-11-25 21:29:39
1360
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人