- 博客(13)
- 收藏
- 关注
RSS订阅原创 spring boot增加JWT验证并在springdoc中自动添加token
【代码】spring boot增加JWT验证并在springdoc中自动添加token。
2024-02-22 09:24:54
775
1
原创 HBase连接异常（InaccessibleObjectException）问题解决
InaccessibleObjectException异常解决
2022-09-01 09:44:16
1618
原创 Kafka工作流程及文件存储机制
1、Kafka工作流程图Kafka中消息是以topic进行分类的，生产者生产消息，消费者消费消息，都是面向topic的。topic是逻辑上的概念，而partition是物理上的概念，每个partition对应于一个log文件，该log文件中存储的就是producer生产的数据。Producer生产的数据会被不断追加到该log文件末端，且每条数据都有自己的offset。消费者组中的每个消费者，都会实时记录自己消费到了哪个offset，以便出错恢复时，从上次的位置继续消费。由于生产者生产的消息会不断加
2022-01-13 14:34:05
115
原创 大数据之Kafka
一、Kafka基础架构1.Producer：消息生产者，就是向kakfa broker发消息的客户端；2.Cousumer：消息消费者，向kafka broker取消息的客户端；3.Consumer Group（CG）：消费者组，由多个cunsumer组成。消费者组内每个消费者消费不同分区的数据，一个分区只能由一个组内消费者消费；消费者组之间互不影响。所有的消费者都属于某个消费者组，即消费者组是逻辑上的一个订阅者；4.Broker：一个kafka服务器就是一个Broker。一个集群由多个broke
2022-01-07 11:06:04
67
原创 Hive alter column
Hive alter column列名命名规则在 Hive 0.12.0 及更早版本中，列名只能包含字母、数字和下划线。在 Hive 版本 0.13.0 及更高版本中，默认情况下可以在反引号 (`)内指定列名并包含任何 Unicode 字符 ，但是，点 (.) 和冒号 (???? 在查询时会产生错误。 在由反引号分隔的字符串中，除双反引号 (``) 表示一个反引号字符外，所有字符都按字面意思处理。 通过将 hive.support.quoted.identifiers 设置为 none，可以使用
2021-11-17 14:32:55
5608
原创 Hive DDL
hive 4.0.0 修改表/分区/列修改表修改表名ALTER TABLE old_table_name RENAME TO new_table_name;从0.6版本开始，对内部表的重命名将移动其在HDFS的位置。从Hive 2.2.0 开始重命名已更改。只有在没有 LOCATION 子句且在其数据库目录下创建表时，才会移动内部表的 HDFS 位置。 0.6 之前的 Hive 版本只是在不移动 HDFS 位置的情况下重命名了 Metastore 中的表。修改表PropertiesALT
2021-11-16 14:30:20
1131
原创 hive 4.0.0 DDL
hive 4.0.0 DDL删除表DROP TABLE [IF EXISTS] table_name [PURGE]; -- (Note: PURGE available in Hive 0.14.0 and later)DROP TABLE会删除此表的元数据和数据。如果配置了Trash(并且没有指定PURGE)，数据实际上会被移动到.Trash/Current目录。元数据完全丢失。当删除一个外部表（用EXTERNAL修饰的表）时，表中的数据不会从文件系统中删除。启动Hive 4.0.0
2021-11-14 18:52:29
1238
原创 2021-11-04
hive 4.0.0 DDL倾斜表如果一个表中具有一个或多个列具有偏斜值，那么可以创建倾斜表来提高此表的性能。 通过指定经常出现的值（即倾斜值），Hive 会自动将这些值拆分为单独的文件（或表存储时的目录），并在查询期间考虑这一事实，如果可能的话，它可以跳过或包含整个文件（或目录）。可以在表创建期间在表级别进行指定。下表表示字段key的1，5，6具有倾斜倾向CREATE TABLE list_bucket_single (key STRING, value STRING) SKEWED BY
2021-11-04 10:02:25
475
原创 2021-11-02
hive 4.0.0 DDL——table创建表CREATE [TEMPORARY] [EXTERNAL] TABLE [IF NOT EXISTS] [db_name.]table_name -- (Note: TEMPORARY available in Hive 0.14.0 and later) [(col_name data_type [column_constraint_specification] [COMMENT col_comment], ... [constraint_sp
2021-11-02 16:48:13
896
原创 hive 4.0.0 DDL
hive 4.0.0 DDL语句说明数据库创建数据库：CREATE [REMOTE] (DATABASE|SCHEMA) [IF NOT EXISTS] database_name [COMMENT database_comment] [LOCATION hdfs_path] [MANAGEDLOCATION hdfs_path] [WITH DBPROPERTIES (property_name=property_value, ...)];[] 表可有可无；（|）表二选一；RE
2021-11-02 10:35:59
368
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人