- 博客(22)
- 收藏
- 关注
RSS订阅原创 海豚 dolphinscheduler Failed to load driver class com.mysql.cj.jdbc.Driver 无法创建mysql数据源
在海豚中创建数据源失败，弹窗报错 Failed to load driver class com.mysql.cj.jdbc.Driver in either of HikariConfig class loader or Thread context classloader
2022-02-15 13:57:34
7131
原创 kettle连接hiveServer2
1.保证服务已经启动hiveServer22.kettle安装目录下有一个 pentaho-big-data-plugin文件夹 ，下面有一个配置文件 plugin.properties， 修改引入依赖的文件夹即可。修改插件引入文件夹名hdp25就是这个意思。...
2021-09-26 14:12:45
430
1
原创 企业级 centos7更新python2.7 到 python3.8
网上有很多升级的文章，搞得头晕。我们很有必要花几分钟时间提前理清一些问题（版本，软链接的结构，安装编译路径等，pip3 等），再去安装3.8就很快了。1. 建议保留2.7版本，3.8版本应作为新增。为什么要保留2.7：因为linux或者其他得服务已经依赖了python2.7版本。我们拿到服务器时，并不知道是否有前人已经使用了python2.7版本得依赖服务。所以不建议卸载2.7版本哦。 比如已经安装的yum 服务。cat /usr/bin/yum第一行代码就是 yum第一行代码就 #!/usr
2021-06-27 18:19:19
1126
原创 idea Maven仓库出现xxx.lastUpdate文件，并且Failed to read artifact descriptor for xxx依赖导入失败快速解决方案。
idea Maven仓库出现xxx.lastUpdate文件，并且Failed to read artifact descriptor for xxx依赖导入失败快速解决方案。问题：以下面为例，在项目pom.xml中引入<dependency> <groupId>org.apache.spark</groupId> <artifactId>spark-core_2.12</artifactId> <version
2021-03-19 00:47:51
829
1
原创 1000瓶毒药里面只有1瓶是有毒的，毒发时间为24个小时，问需要最少需要多少只老鼠才能在24小时后试出那瓶有毒。
答案是最少10只.看了网上很多解释. 直接上图就知道了.老鼠的编号,就相当于一个二进制bit位. 喝和不喝酒代表1喝0.对于二进制占位,死亡和存活的排列组合就是唯一的....
2019-12-06 18:41:12
2841
原创 mysql 分组排序,多组里面取topN.
下面是原表.需要实现：按照年级分组，取出每个年级年龄最大同学(取前两个年龄最大)的信息。需要的效果如图二所示。效果：我们需要了解两个个小知识点，组合使用就可以了。1.分组合并函数，group_concat（）group_concat 默认的分隔符是 ‘,’.按照年级分组, 年级只有两个,所以会分成两组,只显示两行。 该函数地作用在于，可以把组内所有字段值,可选择地显示出来。2....
2019-11-19 17:26:41
754
原创 如何禁用win10的水果输入法
在控制面板和自带的卸载软件里， 还是找不到卸载。 用everything软件搜“shuiguo”也查找不到。水果输入法和搜狗输入法很像，但不是同一个软件。 但两者似乎同生共死一样。发现一个可行的办法。解决办法： 先卸载搜狗输入法，再在win10的设置里禁用水果输入法，再重新安装搜狗输入法。 为什么不直接禁用，因为它似乎和搜狗绑定了。第一步：卸载搜狗输入法第二步： win10自带小娜...
2019-11-05 14:58:08
682
原创 win10 Xshell 中文无法输入问题
在vi 或者 vim编辑的时候,我无法输入中文(显示的是问号). 但是可以查看,或者粘贴复制使用中文.原因是win10的自带的微软输入法影响到了使用. 把这些删除掉,保留搜狗输入就可以了解决办法:搜索 “语言” , 编辑语言和键盘选项, 点击选项 , 删除微软拼音. 如果还有其他的,也可以删除掉. (不用担心删除了就没了. 如果需要, 也可以点击 “+” 添加回...
2019-11-04 16:04:41
1857
原创 kettle加快插入速度提升---其阻挠的主要因素
提供kettle插入速度有人提出修改一些数据库配置参数, 或者开启多线程, 多任务. 但是这不算最主要的. 因为大部分时候,数据插入需要对比. 如图: 插入或者更新的操作中, 如果id相同, 就比较内容进行更新. 如果id不同,就进行插入. 意味着,插入的前提是先查找id,进行id值对比. 所以, 提高插入速度, 给id建立索引就可以了....
2019-10-15 15:18:05
2917
原创 kettle全面迁移转移(包括资源库,转换作业,安装软件等)
应用场景: 一个kettle运行里,比如有100个作业(当然作业下包含很多转换). 现在我们需要在另外一台服务器上或者机器上转移其中的50个作业并保证它运行起来. 如何解决.步骤如下:1.保证数据新的机器能登录上50个作业里所有的数据源的数据库. (如果你需要连接多个数据源. 建议在新机器上先用navicat连接各个数据库看一下. 当然,如果你单一的数据源,那就当我没说.)2...
2019-09-29 18:35:16
6255
2
原创 Navicat 连接Oracle报ORA-28547:connection to server failed, probabl错误 ,或连接不同的Oracle服务器 有的可以,有的不行.
ORA-28547 错误解释:客户端连接失败. 可以理解为, 不同的Oracle服务器,Oracle的版本可能不一样, 而我们要连接, 也需要不同的Oracle客户端与之对应这样才能连接. Navicat可以引用,新增各种数据源的连接.解决办法: 去百度搜索"oracle client(oracl数据库)下载" 下载客户端. 安装以后, Navicat引用其IOC.实现如下:1....
2019-09-26 18:44:27
687
原创 主从同步错误导致大量数据丢失, 修复全部数据的方法(万能方法).
主从同步很多时候会因为从库设置没有跳过错误而卡停或者其他原因, 导致同步数据丢失. 实际生产中常常有人会直接停到掉从库二进制日志功能, 再手动去添加最新的主库Position值和MASTER_LOG_FILE值. 但是人为判断,还是会损失掉部分数据. 如果涉及到多表时, 就很难恢复.其实,修复全部数据的方法是 : 重新跑动最新的备份,更改从库拿到最新binlog日志值,这样就可以了...
2019-09-23 23:45:09
1916
原创 kettle实现发送邮件功能 及 解决kettle中 javax.mail.AuthenticationFailedException异常问题。
需求：实现kettle完成一个任务后，进行邮件发送的通知功能。第一步：核心对象 --》 邮件 --》 发送邮件 ； 将其拖拽到右侧开发栏。第二步：双击，进行设置。（备注：187开头的邮箱是收件人，11开头的发送人。服务器的设置里，因为发送端的服务是qq,所以用qq。 如果是168或者其他的，就用其他的）第三步：现在来讲如何获取第三方授权码， 第三方授权码已经融合和邮箱的登录密...
2019-09-09 11:42:28
1981
原创 mysql修改一条记录会触发时间字段更新到最新时间
第一种方法:创建表的时候添加好这个字段.下面的updata_time字段就是设置默认值为当前时间, 并且当一行数据只要有字段的值发生改变, 这个update_time字段也会更新到最新时间.create table `baby` ( `id` int(11) not null auto_increment, `name` varchar(20) default null, `age...
2019-08-30 13:09:53
1401
原创 kettle按顺序插入更新数据 在一个转换里按顺序执行转换先后或者优先级任务
多个转换任务并行同时往一张表里插入数据时,可能不是我们要的插入结果. 比如: 我们生产一批数据,但是在不同的转换里, 如何让这些转换按照顺序往通一张表里插入.如下图所示，搜索选择“数据流优先排序”就可以了。里面可以自由选择1_add到8_add的表插入操作的插入顺序. (内部的字段选择可以灵活使用)...
2019-08-27 18:37:16
5800
原创 idea maven pom添加了tomcat依赖,右栏maven插件列表却显示不出tomcat插件图标
问题阐述：idea-java-maven项目, pom.xml文件添加了tomcat依赖后,右栏maven插件列表却显示不出tomcat插件图标.1.maven依赖没反应过来，点击刷新一下即可。2.如果不是上面的原因,很有可能是插件编译的依赖没有引入,或者编号的JDK版本对应不上. 解决办法: 引入maven插件编译插件,并确认jdk版本. 如下图3.还不行的话, 那就是下载问题了....
2019-08-16 16:34:08
8231
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人