BigData
文章平均质量分 59
~观豪cci
这个作者很懒,什么都没留下…
展开
-
hive问题集
错误:ERROR : FAILED: Error in acquiring locks: Locks on the underlying objects cannot be acquired. retry after some time org.apache.hadoop.hive.ql.lockmgr.LockException: Locks on the underlying objects cannot be acquired. retry after some time解决办法: set h原创 2022-05-27 09:54:40 · 2656 阅读 · 0 评论 -
【无标题】
文章目录滚动策略分区提交分区提交触发器分区时间的抽取分区提交策略完整示例定义实体类自定义source写入fileflink提供了一个file system connector,可以使用DDL创建一个table,然后使用sql的方法将数据写入hdfs、local等文件系统,支持的写入格式包括json、csv、avro、parquet、orc。一个最简单的DDL如下:CREATE TABLE fs_table (user_id STRING,order_amount DOUBLE,原创 2022-05-27 09:49:27 · 244 阅读 · 0 评论 -
Hive通过元数据库获取表的数据量,占用空间
Hive通过元数据库获取表的数据量,占用空间SELECT a.TBL_ID, d.`NAME` dbName, a.TBL_NAME, b.PARAM_VALUE numRows, c.PARAM_VALUE totalSizeFROM TBLS AS a left JOIN TABLE_PARAMS AS b on a.TBL_ID = b.TBL_ID left JOIN TABLE_PARAMS AS c on a.TBL_ID = c.TBL_ID left JOIN原创 2021-12-20 10:44:06 · 2774 阅读 · 0 评论 -
FLink1.13.1+FlinkCDC2.0.2+Hudi0.10构建流批一体数仓
构建hudi(1)通过国内镜像拉取源码gitclone https://github.com/apache/hudi.git(2)修改pom.xmlvim pom.xml-- 直接添加 <repository> <id>nexus-aliyun</id> <name>nexus-aliyun</name> <url>http://maven.aliyun.com/nexus/原创 2021-09-28 10:17:32 · 2492 阅读 · 1 评论 -
Flink
1. flink介绍基于事件驱动,在flink中,一切都是由流组成,离线数据是有界限的流,实时数据是没有界限的流,这就是有界流和无界流3. Flink部署3.3 Standalone模式3.3.1 Standalone模式运行无界流WorkCount1. 启动standalone集群 bin/start-cluster.sh2. 命令行提交Flink应用 bin/flink run -d -m hadoop162:8081 -c com.atguigu.flink.java原创 2021-09-27 20:32:57 · 504 阅读 · 0 评论 -
往mysql 写入数据报错
往mysql 写入数据报错错误1:Data truncated for column ‘root_rank’ at row 22报错原因写入该字段的数据长度大于该字段定义的最大长度,比如定义了字段user_name VARCHAR(10),这个字段定义了最长写入10位字符,但是,如果你写入的数据超过了10位字符,那么就会出现该警告信息。传入的数据类型有误。比如定义了字段cost DECIMAL(10,2),这个字段小数点后有两位,但是,如果你写入的数据为超过了两位小数,比如10.1122,则会出现该原创 2021-07-02 10:25:45 · 418 阅读 · 0 评论 -
java 日期处理
文章中,用的API是SimpleDateFormat,它是属于java.text.SimpleDateFormat,所以请记得import进来!用法:SimpleDateFormat sdf = new SimpleDateFormat( " yyyy-MM-dd HH:mm:ss " );这一行最重要,它确立了转换的格式,yyyy是完整的公元年,MM是月份,dd是日期,至于HH:mm:ss就不需要我再解释了吧!ps:为什么有的格式大写,有的格式小写,那是怕避免混淆,例如MM是月份,mm是分转载 2021-05-27 10:34:06 · 59 阅读 · 0 评论 -
HBase
第1章 HBase简介HBase是一种分布式、可扩展、支持海量数据存储的NoSQL数据库。1.2 HBase数据模型逻辑上,HBase的数据模型同关系型数据库很类似,数据存储在一张表中,有行有列。但从HBase的底层物理存储结构(K-V)来看,HBase更像是一个multi-dimensional map。1.2.3 数据模型--Name Space 命名空间,类似于关系型数据库的DataBase概念,每个命名空间下有多个表。--Region 往HBase写入数据时,字段可以动态、按需指定原创 2020-10-13 09:45:04 · 91 阅读 · 0 评论