qq_53157924的博客

在向表中插入数据的时候，经常遇到这样的情况：首先判断数据是否存在；如果不存在，则插入:如果存在，则更新。

在工作中使用DBeaver作为数据库管理工具，虽然也是不错的选择，但是从Navicat转移过来还是不顺手，特别是对于SQL脚本的一个管理，和Navicat相比十分不方便，在探索过DBeaver过后，发现了一个比较方便的管理方法。

insert into 和 insert overwrite 都是往表中插入数据的。

Dbeaver的快捷键还支持自定义，用户可在Dbeaver中打开“快捷键”窗口（快捷键：Ctrl + Shift + L），进行自定义快捷键。以上是Dbeaver常用快捷键的介绍，在使用Dbeaver编辑器时，掌握这些常用快捷键是非常重要的，它们能为用户在操作上提供便利和高效性，缩短操作时间，提高工作效率。希望通过本篇文章的介绍，有助于您更好地使用Dbeaver。

工作中经常需要查看服务器的任务日志，而日志太多，不好筛选，所以记录一下常用的通过关键词看日志的方法。

以上语句创建了一个sales表，按照sale_date列转化为天数进行分区，共划分了多个子表p20210101存储sale_date小于'738156'的数据，即2021年10月份之前数据，p20210101子表存储sale_date小于'738187'即2023-11-01的数据即2021年10月份数据，以此类推，每个分区都存储一个月的数据。创建分区表需要指定分区键和分区类型。当数据量巨大时，使用普通的表查询效率会非常低下，而使用分区表技术可以将数据按照特定的规则进行拆分，从而提高查询效率和响应速度。

在工作使用DBeaver过程中发现，一段时间不适用DBeaver会发现数据库连接就会断开，SQL查询失败，非常烦人，总是需要断开重新连接。右键数据库连接点击 编辑连接——>初始化——>连接保持 改成60s。

在使用DBeaver第一次连接数据库时，我是连接HIVE数据库，会下载驱动进行连接，但是报错。打开DBeaver——>窗口——>首选项——>连接——>驱动——>Maven添加国内镜像。原因是无法下载中心仓库的驱动，可以通过配置Maven仓库镜像解决。然后将该镜像向上移动到第一位，应用并关闭再次下载驱动就可以了。输入阿里云Maven国内镜像。

从上表可得HBase表有如下特点：1、HBase表由两个要素组成：行键和列族2、行键是唯一的，行键按照字典序排序存储3、列族由不定个数的列组成。即使是同一个列族，不同行的数据列也是允许不一致的。例如“row_key_1”和“row_key_2”两行数据的列族“列族1”可以包含完全不同的列，可以有不同数目的列，也可以有不用的列名。4、某个值可以在HBase里面存储多个版本，最新的版本在最前面。

获取指定行中指定列族下所有列的数据信息 get 'Student','rowkey3','baseInfo'# 获取指定行中指定列的数据信息 get 'Student','rowkey3','baseInfo:name'# 获取指定行中指定列族下所有列的数据信息get 'Student','rowkey3','baseInfo'命令格式： create '表名称', '列族名称 1','列族名称 2','列名称 N'# 获取指定行中所有列的数据信息get 'Student','rowkey3'

Hbase和Hive在大数据架构中处在不同位置，Hbase主要解决实时数据查询问题，Hive主要解决数据处理和计算问题，一般是配合使用。Hbase与Hive都是架构在hadoop之上的。都是用HDFS作为底层存储。HIve清洗处理后的结果，如果是面向海量数据随机查询场景的可存入Hbase。通过ETL工具将数据源抽取到HDFS存储；通过Hive清洗、处理和计算原始数据；数据应用从HBase查询数据；

Jenkins运行pipeline脚本构建docker镜像无权限问题，报错拒绝访问，解决方法