- 博客(11)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 hive问题集
错误：ERROR : FAILED: Error in acquiring locks: Locks on the underlying objects cannot be acquired. retry after some time org.apache.hadoop.hive.ql.lockmgr.LockException: Locks on the underlying objects cannot be acquired. retry after some time解决办法： set h
2022-05-27 09:54:40
2449
原创 【无标题】
文章目录滚动策略分区提交分区提交触发器分区时间的抽取分区提交策略完整示例定义实体类自定义source写入fileflink提供了一个file system connector，可以使用DDL创建一个table，然后使用sql的方法将数据写入hdfs、local等文件系统，支持的写入格式包括json、csv、avro、parquet、orc。一个最简单的DDL如下：CREATE TABLE fs_table (user_id STRING,order_amount DOUBLE,
2022-05-27 09:49:27
206
原创 集成ldaps认证报错
报错：[ERROR] 2022-01-13 21:38:45.095 org.apache.dolphinscheduler.api.security.impl.ldap.LdapService:[114] - ldap search errorjavax.naming.CommunicationException: simple bind failed: xxx.xx.x.xx:636Caused by: javax.net.ssl.SSLHandshakeException: java.secu
2022-01-14 14:14:50
607
原创 Hive通过元数据库获取表的数据量，占用空间
Hive通过元数据库获取表的数据量，占用空间SELECT a.TBL_ID, d.`NAME` dbName, a.TBL_NAME, b.PARAM_VALUE numRows, c.PARAM_VALUE totalSizeFROM TBLS AS a left JOIN TABLE_PARAMS AS b on a.TBL_ID = b.TBL_ID left JOIN TABLE_PARAMS AS c on a.TBL_ID = c.TBL_ID left JOIN
2021-12-20 10:44:06
2528
原创 FLink1.13.1+FlinkCDC2.0.2+Hudi0.10构建流批一体数仓
构建hudi（1）通过国内镜像拉取源码gitclone https://github.com/apache/hudi.git（2）修改pom.xmlvim pom.xml-- 直接添加 <repository> <id>nexus-aliyun</id> <name>nexus-aliyun</name> <url>http://maven.aliyun.com/nexus/
2021-09-28 10:17:32
2453
1
原创 Flink
1. flink介绍基于事件驱动，在flink中，一切都是由流组成，离线数据是有界限的流，实时数据是没有界限的流，这就是有界流和无界流3. Flink部署3.3 Standalone模式3.3.1 Standalone模式运行无界流WorkCount1. 启动standalone集群 bin/start-cluster.sh2. 命令行提交Flink应用 bin/flink run -d -m hadoop162:8081 -c com.atguigu.flink.java
2021-09-27 20:32:57
453
原创 往mysql 写入数据报错
往mysql 写入数据报错错误1：Data truncated for column ‘root_rank’ at row 22报错原因写入该字段的数据长度大于该字段定义的最大长度，比如定义了字段user_name VARCHAR(10)，这个字段定义了最长写入10位字符，但是，如果你写入的数据超过了10位字符，那么就会出现该警告信息。传入的数据类型有误。比如定义了字段cost DECIMAL(10,2)，这个字段小数点后有两位，但是，如果你写入的数据为超过了两位小数，比如10.1122，则会出现该
2021-07-02 10:25:45
390
转载 java 日期处理
文章中，用的API是SimpleDateFormat，它是属于java.text.SimpleDateFormat，所以请记得import进来！用法：SimpleDateFormat sdf = new SimpleDateFormat( " yyyy-MM-dd HH:mm:ss " );这一行最重要，它确立了转换的格式，yyyy是完整的公元年，MM是月份，dd是日期，至于HH:mm:ss就不需要我再解释了吧！ps:为什么有的格式大写，有的格式小写，那是怕避免混淆，例如MM是月份，mm是分
2021-05-27 10:34:06
44
原创 Hive笔记整理
第1章 Hive简介1.1 Hive是什么 Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张表，并提供类SQL查询功能。 本质是：将HQL转化成MapReduce程序[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-Mh9IO31I-1621844364484)(C:\Users\guanh\AppData\Roaming\Typora\typora-user-images\1599050462293.png)] （1）Hive处
2021-05-24 16:21:13
322
原创 HBase
第1章 HBase简介HBase是一种分布式、可扩展、支持海量数据存储的NoSQL数据库。1.2 HBase数据模型逻辑上，HBase的数据模型同关系型数据库很类似，数据存储在一张表中，有行有列。但从HBase的底层物理存储结构（K-V）来看，HBase更像是一个multi-dimensional map。1.2.3 数据模型--Name Space 命名空间，类似于关系型数据库的DataBase概念，每个命名空间下有多个表。--Region 往HBase写入数据时，字段可以动态、按需指定
2020-10-13 09:45:04
73
大数据学习资料之hive
2020-09-27
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人