- 博客(9)
- 收藏
- 关注
RSS订阅
1原创 Linux高级命令和Shell编程
Linux高级命令 该章节的所有操作都在/export/data/shell目录进行，请提前创建该目录. mkdir-p /export/data/shell/ 重定向命令 1、重定向>Linux 允许将命令执行结果重定向到一个文件，本应显示在终端上的内容保存到指定文件中。如：ls >test.txt ( test.txt 如果不存在，则创建，存在则覆盖其内容 )。案例：将/目录下文件的详情保存到test.txt文件中...
2021-09-07 16:44:47
284
原创 Hive数据仓库
数据仓库的介绍 数据仓库的基本概念 数据仓库，英文名称为Data Warehouse，可简写为DW或DWH。数据仓库顾名思义，是一个很大的数据存储集合，出于企业的分析性报告和决策支持目的而创建，对多样的业务数据进行筛选与整合。它为企业提供一定的BI（商业智能）能力，指导业务流程改进、监视时间、成本、质量以及控制。数据仓库的输入方是各种各样的数据源，最终的输出用于企业的数据分析、数据挖掘、数据报表等方向。 数据仓库的主要特征 数据仓库是面向主题的（Su...
2021-05-18 10:41:43
602
原创 scala
Mysqlview视图 概述 视图是由数据库中的一个表或多个表导出的虚拟表，是一种虚拟存在的表，方便用户对数据的操作。视图是一个虚拟表，是从数据库中一个或多个表中导出来的表，其内容由查询定义。同真实表一样，视图包含一系列带有名称的列和行数据。但是，数据库中只存放了视图的定义，而并没有存放视图中的数据。这些数据存放在原来的表中。使用视图查询数据时，数据库系统会从原来的表中取出对应的数据。因此，视图中的数据是依赖于原来的表中的数据的。一旦表中的数据发生改变，显示在视图中的数据也会发生改...
2021-05-13 11:30:06
449
原创 Hive优化
Hive优化:1.Fetch抓取 :目的:让hive sql 能不走MR 尽量不走MR通过hive的参数来配置, 决定哪些sql可以不走MR:set hive.fetch.task.conversion :可选值: none | minimal | more 默认值 morenone: 如果配置了此值, 表示所有的查询操作, 都会执行MRminimal : 如果配置了此操作, 执行查询 全部数据 和根据字段查询操作 和 limit , 可以不走MR 其他都走MRmore: 如果
2021-05-08 16:03:52
319
转载 数据仓库和数据库有什么区别和联系？
数据仓库和数据库有什么区别和联系？简而言之，数据库是面向事务的设计，数据仓库是面向主题设计的。数据库一般存储在线交易数据，数据仓库存储的一般是历史数据。数据库设计是尽量避免冗余，一般采用符合范式的规则来设计，数据仓库在设计是有意引入冗余，采用反范式的方式来设计。数据库是为捕获数据而设计，数据仓库是为分析数据而设计，它的两个基本的元素是维表和事实表。维是看问题的角度，比如时间，部门，维表放的就是这些东西的定义，事实表里放着要查询的数据，同时有维的ID。单从概念上讲，有些晦涩。任何技术都是为应用服务
2021-04-29 10:57:11
2157
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人