mizuhokaga-CSDN博客

0接手前辈的一个项目有新需求，虽然ods层表是全量采集的不过为了稳妥起见备份原始ods层的表1.备份分区表旧表名是kpi，先like完全复制原表结果生成bak后缀的备份表create table if not exists kpi_bak like kpi我倾向于用like 而不是as select。like虽然只能复制表结构不能带数据，但是可以完全复制表结构（包括分区），备份数据后所占空间和原表差不多。as select 备份表可以复制表结构和数据，语法简单。缺点是备份表的分区字段会变

2022-05-18 14:53:34 2834

原创 SQL 中 like 与 rlike 关键字编写时个人备注

以下均为个人理解，后续待补充likelike：是模糊匹配，like需要配合通配符来使用，否则column like "mizuho" 是等价于 column = "mizuho"rlikerlike 等价于regexp，是正则column rlike "mizuho" 查询的记录比like会多...

2022-04-22 15:52:23 740

原创 java 中日期格式化的 YYYY 和 yyyy 易错记录

情况 Date date=new Date("12/31/2021"); SimpleDateFormat s=new SimpleDateFormat("YYYY-MM-dd"); System.out.println(s.format(date));这段代码输出结果是2022-12-31SimpleDateFormat 的格式换成 "yyyy-MM-dd"则可以正常输出2021-12-31原因StackOverflow 一个帖子说的很直白@“YYYY” is w

2022-03-09 16:07:37 695 1

原创基于Hive内部接口实现的Hive数据血缘的介绍

文章目录Hive 数据血缘实现介绍表级别表级别总结推荐阅读:字段级别字段级别总结推荐阅读:Hive 数据血缘实现介绍Hive作为一个离线数仓工具,其实自带了数据血缘分析的解决方案:表级别: org.apache.hadoop.hive.ql.tools 下的LineageInfo类字段级别:这里有两种方式org.apache.hadoop.hive.ql.hooks.LineageLogger类Execution Hooks机制本文只做简单介绍,方便自己查询表级别LineageIn

2022-02-20 20:53:34 3830 1

原创【已开源】基于Vue2和jsPlumb.js的模仿sqlFlow数据血缘图的前端页面【源代码已更新】

基于Vue和jsplumb的模仿sqlFLow数据血缘图的前端

2022-02-14 14:58:53 9993 31

原创 Vue中使用jsplumb遇到的一些坑~基于Vue和jsPlumb.js的模仿sqlFlow数据血缘图的前端页面~

序之前基于jsPlumb.js的模仿sqlFlow数据血缘图的前端页面里就有人催我写Vue版本的,虽然当时想着年前写完,不过本来就不是写前端的,拖拖拉拉一句话"年后再说".现在年过完了,也该还债了XD这篇文章是记录Vue版本的利用jsPlumb模仿sqlFlow数据血缘图的前端页面所踩下的自己的坑:Vue版本的利用jsPlumb模仿sqlFlow数据血缘图的前端页面链接:(待更新)Vue使用版本:vue2,vuecli 4.5.15问题列表vue-router和vuecli版本冲突已解

2022-02-08 14:20:20 2127 2

原创 warning in ./node_modules/vue-router/dist/vue-router.esm-bundler.js “export ‘watchEffect‘ was not

问题利用vue cli 新建前端项目,安装vue-router后浏览器控制台报错:Uncaught TypeError: Object(…) is not a function终端这边爆warning in ./node_modules/vue-router/dist/vue-router.esm-bundler.js "export ‘watchEffect’ was not解决**本人版本:@vue/cli 4.5.15 **创建vue2项目确定是vue-router的问题后,想

2022-02-07 14:24:28 7337 12

原创不满意Markdown 原生代码块样式？不妨试试这个美化代码截图工具~~

痛点平时写文章有时候需要分享代码，而原生代码块样式和网站上的代码块往往不能满足需要。而网上往往看到的技术文章的代码片段又美观又清晰（如图）。这是MAC系统的vscode下面的Dracula这个主题的风格的样式，但我们可以通过美化代码截图工具来获得相同的效果。网站在线地址是 https://carbon.now.sh/自由选择样式后，点击 Export即可导出。...

2021-12-27 17:01:18 1582 1

原创安装DSS时 hive 更换元数据库mysql版本遇到的一些坑

1.需求本地虚拟机尝试安装DSS时，mysql 需求5.5+。实测5.5.47不行。得升级mysql版本。这里升级到mysql5.7。和生产环境用的大版本一致。2.mysql升级Centos7 mysql5.5升级为mysql5.7 非rpm 以压缩包的方式3. hive配置文件修改bug 1Establishing SSL connection without server‘s identity verification is not recommended.解决方法：MySQL在高版本

2021-12-16 11:30:55 2116

原创 Centos7 mysql5.5升级为mysql5.7 非rpm 以 tar包的方式

1. 需求安装DataSphereStudio，需求mysql5.5+，实测机器的5.5.47安装不了，原因参考上篇博客需要将mysql 升级到5.7版本。机器之前是压缩包直接安装的mysql5.5，yum update升级不了。所以用压缩包升级2.步骤-1. 停掉mysql服务serivce mysqld stop下载5.7压缩包，centos7下linux通用的就行了https://dev.mysql.com/downloads/mysql/5.7.html#downloads

2021-12-16 11:00:14 1593

原创安装 DataSphereStudio-Doc 报错：Invalid default value for ‘update_time‘

0.完整报错：安装 DataSphereStudio-Doc，在安装Linkiss时，报错ERROR 1067 (42000) at line 32 in file: '/usr/local/dss_linkis/linkis/db/linkis_ddl.sql': Invalid default value for 'update_time'Failed to + source linkis_ddl.sql***********Error: failed to + install Linkis

2021-12-15 17:03:22 944

原创基于Hive解析AST的模仿sqlFlow无中间表的字段级数据血缘的后端

0、前言之前写了篇基于jsPlumb.js的模仿sqlFlow数据血缘图的前端页面，是利用jsplumb.js模仿sqlflow的前端。然后有些小伙伴想看后端代码，当时第一版代码写得太乱了，所以就没直接发。磨了1个月，虽然还有bug但是也算基本能跑了。

2021-11-30 10:39:56 2323 9

原创 jsPlumb.deleteEveryConnection is not a function && jsPlumb清除画布 jsPlumb删除所有节点和所有连线

0.问题在利用jsPlumb.deleteEveryConnection 删除所有连线报错jsPlumb.deleteEveryConnection is not a function!1.解决jsPlumb.js 版本是Community Edition社区版 1.7.6。我的jsPlumb是cdn引入的，直接去网页上查看js源文件。发现deleteEveryConnection方法的确搜索不到，然后翻了下，在文件中找到了detachEveryConnection()！使用jsPlumb

2021-11-29 14:28:26 4019

原创本地计算机上的mysql服务启动停止后,某些服务在未由其他服务或程序使用时将自动停止

问题：mysql版本：mysql-5.7.23-winx64win10系统报错：本地计算机上的mysql服务启动停止后,某些服务在未由其他服务或程序使用时将自动停止场景：之前一直没使用到了mysql，某天发现任务管理器中mysqld.exe 所占内存过高，遂手动关闭了mysql服务（没在任务管理器中kill mysqld.exe ），今天需要用到mysql特地打开报错解决尝试几次后均无法打开，我重新打开任务管理器，忽然发现有mysqld.exe 进程，非常奇怪！我直接kil

2021-11-11 11:12:04 1001

原创 NoViableAltException(334@[])

一、问题利用从hive源码中剥离的词法解析器解析sql发现select u.name, o.orderid from order o join user u on o.uid = u.uid;一条简单sql报错，NoViableAltException(334@[])。最后发现问题是 order 和 user 名称。二、解决由于order和user是hive的保留关键字（关键字大全参考这里将表名改成其它如 orderr、userr利用反单引号 ` 修饰String sj = “s

2021-10-25 09:12:55 1453

原创【已开源】基于jsPlumb.js的模仿sqlFlow数据血缘图的前端页面

一、概况接到了数据血缘的需求，前端要求效果类似sqlflow。通过大佬的类似demo发现了jsplumb这个连线库。然后看文档和github一些demo捣鼓出来了。基本效果如下：目前已实现效果：流程图下载为png图片流程图下载为json数据流程图缩放流程图拖动选择连线，线两端的节点高亮...

2021-10-24 18:42:27 15135 62

翻译 MV3 04_Introducing Manifest V3

Introducing Mainfest V3Welcome to Manifest V3向安全、隐私和性能方向上迈进了一步发布于2020年11月9日这个页面介绍了Chrome拓展的Manifest V3版本特性。不仅介绍了引入MV3的背景和原因，还有我们对平台未来的愿景，以及如何优化您的扩展以使用MV3的指导。自十年前发布的拓展插件以来，MV3代表了扩展平台最大的转变之一。扩展插件使用MV3将享受到来自安全、隐私和性能方面的增强；开发者还可以在v3中采用更现代化的Open Web技术，如serv

2021-10-24 15:27:04 544

原创关于字符“.“与Java的split()方法和Javascript的split()、find()方法的那些坑

1.1 Java的split()方法众所周知，Java的split方法碰到某些特殊字符需要转义。例如字符"."用做split()的切割器，需要转义，写法如下:String str="mizuho.kaga";String[] ss=str.split("\\.");双反斜杠是因为\在Java中也需要转义。其他字符例如:|写法为split("\\|")。1.2 Javascript的split()方法Javascript的split()和Java的不同，当使用字符"."用做split()的切割

2021-10-22 10:07:36 268

原创关于html2canvas截图模糊的CDN版本差异的一个坑

问题项目使用html2canvas截图，存在截图模糊。左边是原html，右边是html2canvas生成的截图，明显发现html2canvas生成的模糊一大截查了解决办法，解决html2canvas截图模糊的问题里提到新版的html2canvas里有dpi和scala选项。尝试使用。 html2canvas($("#bg"), { scale: 2 }).then(canvas => { document.body.appendChild(canvas);

2021-10-20 10:14:08 1512

翻译 V3 03_Getting started

起步2014年2月28日星期五发布，2021年7月22日星期四更新扩展程序是由各种不同但相互协作的组件构成的。这些组件包括 backgroud scripts，content script，一个 options page，UI元素和各种逻辑文件。扩展程序组件通过web开发技术所创建：HTML，CSS 和 JavaScript。扩展程序的组件存在与否根据程序的功能需求而定，并不要求扩展程序包含所有的组件。本教程将构建一个扩展程序，允许用户改变当前聚焦页面的背景颜色。它将用到许多扩展程序平台的组件以作为

2021-10-10 17:02:27 933 1

grafana 9.X tar包 grafana-enterprise-9.0.4.linux-amd64.tar

需要一个前端js绘制类似sqlflow流程图的js库，给个名字

如何解析hivesql 或者sparksql

如何通过解析hive sql 得到该sql的数据血缘关系，最好可以到字段级。提供思路就行。