数据科学汇集

基于“Doris”的type2拉链表的Mysql实现

Python3.6.9 Flink 1.15.2消费Kafaka Topic

用Excel实现二级分类筛选级联自动联动

Doris 数据模型及自动分区使用案例

Clickhouse集群安装及表引擎使用案例

DataGrip 通过结果集生成insert into values语句

Docker方式安装redash 9

Mondrian3.14.0部署及使用

数据仓库FoodMart完整初始化表及数据Mysql版-数仓入门必知必会案例

Apache Superset pip3 安装

大数据Lambda架构概述

Oracle旧版本12C下载安装详解

SQL Server索引查找 索引扫描 B-Tree与索引存储原理索引查找的演示案例聚集索引查找索引查找（index seek）即查询条件内命中索引，直接接用主键匹配时触发聚集索引查找(Index Seek)SELECT * FROM EMPLOYEESWHERE id IN(10,100,1000,10000,100000,1000000)SELECT * FROM EMPLOYEES WHERE id = 57864SELECT * FROM EMPLOYEES WHERE id

SQL Server 聚集索引非聚集索引键查找过程详解索引的相关术语1 堆(Heap)是一种没有指定排序的数据结构，通俗的理解堆就像是按照顺序排放的杂物。在数据库里也即是对应没有聚集索引。2 聚集索引：一个表只有一个聚集索引且数据存放在聚集索引内。3 非聚集索：是一个B-树(B-Tree)结构，它包含了索引键和指向数据行的指针。我们可以在堆或聚集索引类型的表里创建非聚集索引。一个表的非聚集索引最多支持999个。在覆盖索引的应用场景下，可以定义非聚集索引时指定包含(include)其它字

SQL Server 堆型数据与执行计划使用案例索引的相关术语1 堆(Heap)是一种没有指定排序的数据结构，通俗的理解堆就像是按照顺序排放的杂物。在数据库里也即是对应没有聚集索引。2 聚集索引：一个表只有一个聚集索引且数据存放在聚集索引内。3 非聚集索：是一个B-树(B-Tree)结构，它包含了索引键和指向数据行的指针。我们可以在堆或聚集索引类型的表里创建非聚集索引。一个表的非聚集索引最多支持999个。在覆盖索引的应用场景下，可以定义非聚集索引时指定包含(include)其它字段。

SQL Server存储过程加密与解密过程详解加密概述SQL Server的存储过程支持对其创建脚本的加密，即即便是数据库管理员也无法查看其脚本内容。本文即介绍一种方法对存储过程的加密和解密。加密实例加密存储过程创建示例加密存储过程见下(即加了WITH ENCRYPTION选项，脚本内容不可见)：Create PROCEDURE usp_inlightWITH ENCRYPTIONASBEGIN print 'Can not see me! 1 ' print 'Can

SQL逻辑执行过程详解表与数据-- 1 创建 HR.Employees表CREATE TABLE HR.Employees( empid INT NOT NULL IDENTITY, lastname NVARCHAR(20) NOT NULL, firstname NVARCHAR(10) NOT NULL, title NVARCHAR(30) NOT NULL, titleofcour

Oracle ETL日志审计存储过程示例需求概述在ETL中，为了方便跟踪每个步骤的执行情况，需要建立日志审计表来跟踪以便后期的跟踪与问题问题。本文就通过一个存储过程来实现对存储过程执行异常的跟踪(审计)。代码实现-- 1 存储过程ETL_TRACE跟踪存储过程执行情况/*功能：用于记录存储过程运行的日志参数说明: ownername 存储过程的用户名 procname 存储过程名 stepname 步骤名 errcode 错误码 errtext 错误内容*/CREA.

SQL Server常见系统存储过程1 sp_who功能及说明: 当前数据库实例的用户、会话、进程信息。 参数主要包括用户(@loginame='xxxx')、会话状态(仅活动的即ACTIVE)、回话ID三个参数里的一个。如果不加参数则返回该数据库实例下的所有会话信息。返回参数：主要有会话ID、执行计划上下文ID、状态、登录名、主机名、阻塞进程对应的会话ID、数据库名、命令(TSQL、SQL、数据库内部命令代号)、请求ID。示例：-- 1 不传参数sp_who...

TSQL存储过程概念与案例实战存储过程存储过程由一个或多个 T-SQL 语句或对.NET公共语言运行时 (CLR) 方法的引用所构成的一组程序块。这里的T-SQL语句包括执行DDL、DML语句、应用临时表、动态SQL、定义异常处理等。但是相比于函数，它不能嵌套在查询里，但它可以调用其它的存储过程，即存储过程可以相互调用。存储过程和常见的程序语言类似，可以指定输入和输出参数。SQL Server通过缓存存储过程的执行计划进而达到节约时间、降低CPU、内存的目的。存储过程相对于在应用端实现业务逻

T-SQL SQL Server UDF自定义函数概念与案例实战函数的定义这里的函数指的是用户自定义函数(UDF)全名为(user-defined function)，以下简称为函数。它是数据库里的用户自定义程序，用户可以指定输入参数，制定计算逻辑，最终返回一个标量的值或者结果集。一般我们通过T-SQL或者CLR来定义函数，这里我们重点介绍的是T-SQL的方式。还有一类函数是系统内置的函数又称之为系统函数，我们直接调用即可。函数的使用场景函数可以在很多场景下使用，对一个标量和表（表变量）

关系数据库三范式详解声明与简介为了建立冗余较小、结构合理的数据库,设计数据库时必须遵循一定的规则。在关系型数据库中这种规则就称为范式。常见的范式有1范式、2范式、3范式。1范式字段原子不可分1范式要求字段是原子的，即可不分的。So，咋理解？直接上个例子。比如学校的计算机社团招聘了，需要我们填写些基本信息，比如学号、姓名、邮箱、系名、系主任，我们记做表stu。可能是因为填写规则没说清楚的原因，有的同学把邮箱写了2个，而一般我们只需要填写一个常用邮箱即可。重点来了这里

SQL Server查询所有数据库下模式名需求描述找到SQL Server里所有数据库下的schema.输出格式为数据库名、模式名。思路概述#1 思路概述1) 找到显示当前数据库下schema的系统视图。这里对应的是sys.schemas。2) 找到可以查询所有数据库的系统视图，这里是sys.databases3) 给所有数据库加个序号，以方便后续遍历。4）通过WHILE循环匹配 3）里的序号。5） 拼接动态SQL生成每个数据库查询schema的SQL语句。6.

数据库除关系运算符案例详解

技术调研的经验分享1 声明本文是技术调研的个人经验分享，仅作交流，不喜尽管喷。2 技术调研简介随着数据更新和硬件的迭代不断加快，技术也加快更新的步伐，特别是像大数据、人工智能（AI）、深度学习等技术分支领域的遍地开花。作为技术人员，我们面对突入其来的技术风暴该怎样抉择呢？比如大数据、Flink比较流行，Deep Learning比较火，我们该从哪里入手呢？本文将结合笔者的经验来分享研究一些新的技术。业务和场景决定...

BAT脚本结合SQL应用案例本文是BAT(批处理脚本)结合SQL的应用，脚本结合了OSQL(可执行Transact-SQL语句 )、BCP（执行数据导入导出的工具）、BLAT(命令行发邮件的工具)。需求介绍通过BAT编写脚本实现源数据核对、增量数据入库、数据校验、邮件通知功能。支持按照日、周、月的方式对数据进行手动更新。关于源数据的说明： 1 当前执行的数据库环境是SQL Server2如果Day、...

SCD缓慢变化维拉链表SQL实现1 缓慢变化维概述SCD英文Slow Changing Dimensions(SCD 缓慢变化维)，它是数据仓库建模过程中一个非常重要的概念。众所周知数据仓库是基于历史数据的，而历史数据的变化依赖于维度的定义，缓慢变化维就是用来跟踪和表现维度表变化的一种方法。注: 1 当前代码演示环境是SQL Server，基于Merge语法，其它数据库类似。 2 SCD缓慢变换维Kettle实现常见有3中分...

AdventureWorksDW 与数据仓库概述1 AdventureWorksDW 2019简介AdventureWorks 是SQL Server里的示例数据库。它构建在一家虚拟的大型跨国生产公司，该公司生产金属和复合材料的自行车，产品远销北美、欧洲和亚洲市场。AdventureWorksDW是其数据仓库版，本文主要演示如何还原该示例数据库。2 数据仓库示例概述2.1 结构说明1 参照里的介绍生成AdventureWorksDW2019...

Yarn资源分配示例1 简介此手册应用于yarn资源按照队列分配的情景。2 准备2.1 环境说明hadoop版本: hadoop-2.5.0-cdh5.3.33 配置3.1 配置说明1) Yarn-site.xml里配置yanr能用到的资源总数以及公平调度策略所在路径#在虚拟机关机情况下，选中后点击设置，在控制器SATA处点击右边的加号以创建虚拟硬盘。

Sentry UDFWhiteList bug分析1 简介此手册应用于row_number、unbase64、windowingtablefunction在开启sentry后不能执行的bug分析。2 准备2.1 环境说明Sentry版本: sentry-1.4.0-cdh5.3.3注:核对了最新版Sentry(sentry-1.5.1-cdh5.7.0)已无此问题.前同

Hive多字符分割列1 简介此手册应用于hive建表时指定列按照多字段分割的情景。2 准备2.1 环境说明hive版本: 1.1.0-cdh5.4.73 使用3.1 使用说明方法一)通过org.apache.hadoop.hive.contrib.serde2.RegexSerDe格式的serde。1) 建表语句#指定以^|~作为分隔符CRE

Hortworks Hadoop 2.4.2安装、配置1简介此手册应用于virtualbox虚拟机硬盘紧张时添加额外硬盘时的情景。1.1 参考资料http://docs.hortonworks.com/HDPDocuments/Ambari-2.2.2.0/bk_Installing_HDP_AMB/bk_Installing_HDP_AMB-20160509.pdf

Sqoop安装、使用手册1 Sqoop简介Sqoop是一款开源的工具，主要用于在Hadoop(Hive)与传统的数据库(mysql、postgresql...)间进行数据的传递，可以将一个关系型数据库（例如： MySQL ,Oracle ,Postgres等）中的数据导进到Hadoop的HDFS中，也可以将HDFS的数据导进到关系型数据库中。2 准备2.1 环境说明1 Sqoo

Hbase权限配置、使用手册1 Hbase权限控制简介Hbase的权限控制是通过AccessController Coprocessor协处理器框架实现的，可实现对用户的RWXCA的权限控制。2 配置配置hbase-site.xmlCM主页→点击hbase(进入Hbase主页)→点击配置1 点击左侧的Hbase服务范围启用Hbase权限控制，设置Hbase超级用户hba

Hbase复制使用手册1 Hbase复制简介通过hbase的replication功能实现集群间的相互复制.2 环境这里hbase版本为hbase-0.98.6-cdh5.3.33 配置各个集群里配置hbase-site.xml里的复制功能:hbase.replicationtrue完整配置文件附录: hbase.

HAWQ手动安装及使用手册1 HAWQ简介HAWQ 是 Pivotal 设计的一个大规模并行 SQL 分析处理引擎，支持事务处理。HAWQ 将复杂的查询分割成简单的任何，并分发到并行处理系统中的处理单元执行。包括查询规划器、动态管道、前沿互联和查询执行优化器等等。提供最高级别的性能和可伸缩性。HAWQ 基于 Hadoop 架构是GPon HDFS。2 准备2.1 环境说明

Impala 安装1 准备1.1 新增Impala用户并加入sudo权限chmod u+w /etc/sudoersvi /etc/sudoersimpala   ALL=(ALL) NOPASSWD: NOPASSWD: ALLchmodu-w /etc/sudoers1.2准备rpm安装文件和jar包1.2.1 见附件内的Hadoop5.0.1Impala1.3

Hadoop手动升级HA配置手册1 Hadoop组件升级本文是Apache hadoop、Hbase升级至CDH版hadoop、Hbase,同时涵盖了Hadoop HA的配置的操作手册..2 Hadoop升级2.1 Hadoop升级准备2.1.1 环境说明Hadoop原始版本、升级版本分别为:Apache Hadoop 1.2.1,hadoop2.5.0-CDH5.3.3

Sentry手动安装、使用手册1 Sentry简介Apache Sentry 是Cloudera公司发布的一个Hadoop开源组件，截止目前还是Apache的孵化项目，它提供了细粒度级、基于角色的授权以及多租户的管理模式。Sentry当前可以和Hive/Hcatalog、Apache Solr 和Cloudera Impala集成，未来会扩展到其他的Hadoop组件，例如HDFS和HBas

CDH Hadoop安装(基于Cloudera Manager半在线方式)1 CM简介Cloudera Manager是一个端到端的管理CDH集群的工具。它通过管理CDH集群（组件安装、服务管理、参数监控、问题诊断、性能监控）各个环节从而增强集群管理的质量, 增强规范性,降低运营成本。2 准备2.1 环境说明1 该安装方式依赖如下linux组件:httpd, mysql