caoyongfei

原创 openday

原创 seatunnel 2.3.1全流程部署使用

seatunnel 2.3.1 安装部署使用 将mysq导入到hive

原创 数据仓库-日期维度表的设计与实现

本文基于python的chinese_calendar和pymysql库编写了一个生成日期维表（日期-工作日-节假日维度表），用于对业务主题表进行维度建模，实现方式简单，一键生成，数据可靠。

原创 DBeaver 连接Hive-3.1.2

使用dbeaver连接大数据集群中的hive数据库hadoop3.x集群

原创 kafka源码解读流程图——【生产】【消费】【服务端】

kafka源码解析流程图

原创 LVM逻辑卷管理

lvm 结构图

原创 Hive经典面试问题（五）——流式问题

Hive经典面试问题 流式问题

原创 Hive经典面试问题（四）——交叉重复问题

Hive经典面试问题 交叉重合问题

原创 Hive经典面试题（三）——间隔连续问题

Hive经典面试问题 间隔连续问题

原创 Hive经典面试题（二）——分组问题

Hive经典面试题：分组问题

原创 Hive 经典面试题（一）——连续问题

hive 经典面试题 连续问题

原创 Hive UDF UDTF 实现与使用

hive udf和udtf的实现与使用

原创 基于Goaccess实现Nginx访问日志的可视化态势感知分析

基于goaccess实现Nginx访问日志的可视化态势感知分析

原创 MySQL中count(*),count(1),count(列名)的区别

对于MyISAM引擎：count(*),count(1),count(列名)是没有区别的，因为内部有专门的计数器维护着行数。对于InnoDB引擎：count(*),count(1)效果相同，引擎会读一遍数据，复杂度是O(n),可以统计列为null的行，但count(列名)的形式不会统计null的行。...

原创 win10 word2016+ 打空格出现方框

输入法半角和全角模式的原因半角模式下是输入点打开输入法修改：接着最后

原创 Android kotlin 自定义View 旋转、移动、放缩 ImageView

Android kotlin 自定义View，继承ImageView功能：放缩：三指操作旋转：两只操作移动：单指操作

原创 MySQL中 BIGINT UNSIGNED value is out of range

MYSQL中当两个字段相减时，如果其中一个或两个字段的类型的unsigned无签名类型，如果想减的值小于0则会报错（BIGINT UNSIGNED value is out of range）处理办法：例：select a - b from table解决方案：select if(a >= b, a - b, - (b - a)) from tbl...

原创 Hive中关于Mysql的问题解决方案

Hive中关于Mysql的问题解决方案

原创 ClickHouse

1、概述ClickHouse 是俄罗斯的Yandex于2016年开源的列式存储数据库（DBMS），主要用于在线分析处理查询（OLAP），能够使用SQL查询实时生成分析数据报告。2、数据类型2.1 整型Int8 - [-128 : 127]Int16 - [-32768 : 32767]Int32 - [-2147483648 : 2147483647]Int64 - [-9223372036854775808 : 9223372036854775807]无符号整型范围（0~2

原创 Kylin

1、概述Apache Kylin是一个开源的分布式分析引擎，提供Hadoop/Spark之上的SQL查询接口及多维分析（OLAP）能力以支持超大规模数据，它能在亚秒内查询巨大的Hive表。2、Kylin架构3、相关概念OLAP（online analytical processing）从各个方面观察信息，以达到深入理解数据的目的，也称多维分析OLAP类型OLAP Cube：MOLAP基于多维数据集，一个多维数据集称为一个OLAP Cube维度：分析数据的数据的角度度量

原创 azkaban

azkaban

原创 Flume流程详解

Flume流程详解

原创 Oozie

Oozie——主要用于定时调度任务、多任务执行的逻辑顺序调度

原创 Sqoop

Sqoop主要用于在Hadoop(Hive)与传统的数据库(mysql、postgresql...)间进行数据的传递，可以将一个关系型数据库（例如 ： MySQL ,Oracle ,Postgres等）中的数据导进到Hadoop的HDFS中，也可以将HDFS的数据导进到关系型数据库中。

原创 HbaseUtils

HbaseUtils实现一些常用方法

原创 Hbase常见问题

Hbase常见问题

原创 Rowkey设计三大原则

RowKey设计三大原则：唯一性原则（类似于关系型数据库的主键）长度原则(最大值64K，实际使用10-100byte)散列原则(使得rowkey没有规律，可以均匀分布）

原创 HBase预分区

1、概述每一个region维护着startRow与endRowKey，如果加入的数据符合某个region维护的rowKey范围，则该数据交给这个region维护。（默认一个分区，范围是(-∞,+∞)）2、预分区操作2.1、手动指定（开发中不使用）//1、设置分区键//四个分区键create 'staff1','info','partition1',SPILTS => ['1000','2000','3000','4000']//16进制序列预分区create ‘staff2

原创 Hbase的读数据和写数据流程

Hbase的读数据和写数据的流程

原创 Hbase简介和基础命令使用

Hbase简介和基础命令使用

原创 Kafka架构

Kafka架构简单描述

原创 Kafka定义、安装、增删改查命令

kafka的基本架构和原理

原创 Flume使用案例

Flume使用案例

原创 Flume的使用概述

Flume的基本使用

原创 Hive调优

Hive的基本调优手段

原创 HIve文件存储格式和压缩总结

HIve文件存储格式

原创 Hive-Rank

1、函数说明RANK() 排序相同时会重复，总数不会变DENSE_RANK() 排序相同时会重复，总数会减少ROW_NUMBER() 会根据顺序计算2、案例实操计算每门学科成绩排名。创建表并导入数据create table score(name string,subject string, score int) row format delimited fields terminated by "\t";load data local inpath '/opt/m

原创 Hive开窗函数

Hive开窗函数的基本使用

原创 Hive常用函数

Hive常用函数

原创 Hive-桶排序

1、概念对于一张表或者分区，Hive 可以进一步组织成桶，也就是更为细粒度的数据范围划分。分桶是将数据集分解成更容易管理的若干部分的另一个技术。分区针对的是数据的存储路径；分桶针对的是数据文件。2、案例操作创建分桶表create table stu_buck(id int, name string)clustered by(id) into 4 bucketsrow format delimited fields terminated by '\t';...