大数据
39°风
凡事预则立不预则废
展开
-
Hive 动态分区向表插入数据报错 GC overhead limit exceeded (分区过多场景)
hive 报错 动态分区 数据量很小,但是分区比较多的情况可以适用下面参数–启用自动排序参数,强制产生reduce任务。原创 2022-11-16 09:44:40 · 1412 阅读 · 0 评论 -
mysql启动时报错:Starting MySQL... ERROR The server quit without updating PID file (/opt/mysql/data/mysql
该报错需要结合mysqlerr日志看,err日志目录在mysql的my.cnf文件中查找。通过查看日志报错2022-02-11T06:46:13.661051Z 0 [Note] --secure-file-priv is set to NULL. Operations related to importing and exporting data are disabled2022-02-11T06:46:13.661154Z 0 [Note] /usr/local/mysql/bin/mysqld原创 2022-02-11 14:58:16 · 1020 阅读 · 0 评论 -
oracle mysql SqlServer 元数据查询sql
oracle mysql SqlServer 元数据查询sqlSqlserver:查询所有表名 和表信息如下:SELECT 表名 = d.name,--case when a.colorder=1 then d.name else '' end, 表说明 = case when a.colorder=1 then isnull(f.value,'') else '' end, 字段序号 = a.colorder, 字段名 = a.na原创 2021-11-16 15:34:23 · 916 阅读 · 0 评论 -
mysql,oracle 一键转hive建表语句、oracle转hive表结构转换脚本 、mysql转hive、oracle转hive
**mysql转hive转换脚本:**SET SESSION group_concat_max_len = 102400;SELECT a.TABLE_NAME , b.TABLE_COMMENT , concat('DROP TABLE IF EXISTS hive库名.hive表名前缀ods_',a.TABLE_NAME,';CREATE EXTERNAL TABLE IF NOT EXISTS hive库名.hive表名前缀ods_',a.TABLE_NAME ,' (原创 2021-10-13 16:11:58 · 1008 阅读 · 0 评论 -
关于flink基于事件时间窗口 不处理末尾窗口数据 或者数据不够一个窗口的时间时 ,一直等待不处理
https://juejin.cn/post/6850418110010179597BoundedOutOfOrdernessTimestampExtractor 的实现中必须要根据新消息中的时间戳来产生水印然后触发窗口计算,我代码中数据源发出10条消息后不够窗口时间的3秒,并且再不产生消息,所以窗口不触发。还有就是末尾窗口剩只够2s的数据 ,不触发最后一个窗口的计算解决方案覆写BoundedOutOfOrdernessTimestampExtractor的getCurrentWatermark方法原创 2021-06-30 20:21:31 · 1985 阅读 · 1 评论 -
scala 不是内部命令或外部命令 解决
scala 不是内部命令或外部命令 解决新电脑安装scala时,先安装的scala,配置好环境变量后,再安装的jdk,结果第一次cmd可以运行scala,关机后再次运行scala不可以,原因是需要先安装jdk再安装scala,如以安装,调整下环境变量的顺序即可,将scala的环境变量放在java的后边![在这里插入图片描述](https://img-blog.csdnimg.cn/20210518092805902.png?x-oss-process=image/watermark,type_ZmFu原创 2021-05-18 09:29:26 · 3291 阅读 · 2 评论 -
虚拟机克隆后无法联网
问题:centos-6.9 虚拟机克隆后,修改ip,修改MAC地址,并删除rm -rf /etc/udev/rules.d/70-persistent-net.rules文件后,执行了reboot重启命令。这时可以联网,ifconfig也有eth0和IP,但是,当我关机后再次重启,ifconfig没有eth0只有io。也ping不了百度(nat模式联网)解决:再次删除了rm -rf /etc/udev/rules.d/70-persistent-net.rules文件,然后reboot,发现可以ping百原创 2021-04-17 13:17:38 · 103 阅读 · 0 评论