- 博客(83)
- 资源 (1)
- 收藏
- 关注
原创 企业微信接口对接踩坑记录
调用获取部门成员的接口,老是爆出来没有权限。通过提示进去以后,一堆的文字描述,没有一个确切的解决途径。后来通过网上搜索才发现,应用管理这里有个可见范围的按钮,原来设置的是我个人的名字,所以只能看到我个人的信息,能够拿到userid,但是看不到其他的信息,这个接口又能调用成功。
2023-12-01 16:29:33
392
2
原创 记一次SQL Server磁盘突然满了导致数据库锁死事件is full due to ‘LOG_BACKUP‘.
记一次SQL Server磁盘突然满了导致数据库锁死事件is full due to 'LOG_BACKUP'.
2023-12-01 16:12:04
828
原创 python selenium 定位鼠标悬浮后的新弹窗数据
最近需要获取网页上的标签数据,但是标签大于3个以后是隐藏的,需要鼠标hover上去才显示。如下图,图一是刚进来界面展示的,需要知道额外的7个标签则需要将鼠标移动到目标上面去。但是比较尴尬的一个点是,当游览器打开F12后,使用鼠标去选中关键词属性,没有办法有弹出的数据,也就没有办法进行弹出数据的xpath定位。
2023-06-20 14:09:14
1309
1
原创 【解决问题的还得是看源码来得快】Datax脏数据配置问题解决
最近在用Datax进行数据测试,从sql server的数据输出到Doris,Doris安装在虚拟机上,只有3G内存,FE和BE同时安装在一起,由于内存过于小,在数据导入的时候想通过输出速率的方式解决问题,同时也解决脏数据限制配置的问题。脏数据限制会报错,如下图所示:脏数据条数检查不通过,限制是[0]条,但实际上捕获了[1]条网上找了一下没有比较明确的文档,所以直接下载Datax的源码进行搜索。
2023-05-25 14:35:22
2126
2
原创 datax使用实践
datax的工具包可以根据github地址上开源的代码进行下载编译,下载后需要maven等环境。推荐直接下载开源的工具包,开箱即用。
2023-04-25 10:33:38
212
原创 python ‘list‘ object is not callable
最近需要写一个python的同步脚本,将下载下来的excel文件同步到sql server中,在循环批量插入的过程中,构建batch_insert 脚本报错。刚开始看到这个报错比较难受,因为python不想Java哪一行报错提示出来,导致比较不好找。查了一些文档加上一些测试的代码,才发现这个小问题。
2023-04-17 11:10:34
135
原创 遇到mysqladmin flush-hosts报错解决思路
MySQL performance_schema下的hosts表和host_cache,host_cache表会记录连接客户端主机名、IP地址信息和其他连接信息,帮助诊断连接问题;查看报错日志如下,应该是对应的用户报错链接太多了,导致报错。而我们这边的用户都是运维通过一个nginx中转过来的,所以都是同一个ip地址。由于网络原因或其它一些连接错误会导致SUM_CONNECT_ERRORS累加1;COUNT_HANDSHAKE_ERRORS:握手错误计数。SUM_CONNECT_ERRORS:连接错误数。
2023-03-27 11:19:46
635
原创 阿里云dataworks python UDF使用实践
业务上计算业绩需要剔除掉指定放假时间,我们这里的放假时间维护在一个mysql表中,进行动态配置,所以需要自定义函数来计算当前日期几天之后的时间,这几天中如果包含myql表中存储的放假日期,则需要剔除掉,然后进行顺延。如下,计算2023-01-25这个日期7天之后是什么日期,正常是2023-02-02,但是现在需要剔除掉配置时间confid_days中的两天,最后结果是2023-02-04。需要将这个逻辑写成udf函数,进行使用。阿里云函数注册,其中类名出是--文件名.类名 的组合。
2023-02-08 15:32:02
829
2
原创 flink输出表字符格式错误
most bytes 3和most bytes 4,即最多使用3 / 4个字节来表示1个字符!所以,当使用utf8mb4时,可以表示更多字符,例如生僻汉字、冷门符号、emoji表情符号等。sink目标表,新增matrix_crm_name字段,但是mysql表的编码还是utf-8的,导致flink任务报错。在使用MySQL / MariaDB时,所有SQL语句中涉及的字符集都明确的使用utf8mb4,尽量不要使用utf8。重新设置mysql表的编码格式为utf8mb4。
2022-11-07 18:32:17
911
原创 MySql添加索引的几种方式
1、添加primary key(主键索引)alter table 表名 add primary key(列名);2、添加unique(唯一索引)alter table 表名 add unique(列名);3、添加普通索引index(普通索引)alter table 表名 add index 索引名(index name) (列名);4、添加fulltext(全文索引)alter table 表名 add fulltext (列名);5、添加多列索引。
2022-10-20 14:46:07
15072
原创 阿里云数仓实时同步任务binlog解析文档
阿里云dataworks中有实时同步数据库binlog的任务配置,起源是业务数据库中数据被回滚了,所以借助数仓这边的同步任务数据进行解析和监控更新时间。
2022-10-17 17:05:31
820
原创 SQL中JOIN、LEFT JOIN、RIGHT JOIN 的区别
JOIN是INNER JOIN的简写,LEFT JOIN 是LEFT OUTER JOIN的简写。
2022-06-28 07:57:09
1012
原创 IDEA无错误爆红,invalid cache无效 解决方法
背景:开发项目没有错误,但是idea总是提爆红,能够正常编译通过。清理缓存以后也没有改变。后续设置Java Complier 的版本一致,再重新将缓存失效得以解决,原因可能是版本有的是1.8,有的是8,导致idea识别是有问题。...
2022-03-22 11:48:47
2647
原创 IDEA 菜单栏没有Tools选项
最近因为需要用到Mysql to H2插件,需要到Tools这个菜单栏上找到转换地址,但是自己的IDEA上就是没有这个:换了好几种版本的IDEA依然没有,最后全局搜索才找到:
2022-01-24 10:15:42
4466
1
原创 【IDEA】Compilation failed: internal java compiler error
参考文档:https://blog.csdn.net/ruoxiyun/article/details/88256928除了上面参考文档中的jdk版本、maven中的java版本等问题外。仍然报错,此后在评论区找到了解决方法:需要把complier的堆内存大小设置大一点。...
2021-09-01 11:36:54
127
原创 桥水以创意择优所用的工具和行为准则
教练考虑到对任何人而言,为了合理应对各种情况需要记住太多的原则,而从书本中寻找答案又不如直接咨询意见来得更容易,我开发了这个教练工具。教练汇聚了各种(或很多种)情况(例如,不认同别人的评估意见,有人说谎或从事了违反职业道德的行为等),形成了一个案例库,并与可适用的相关原则一一挂钩,可以帮助人们进行应对。你在使用教练时,也可以针对其提供建议的质量给出反馈意见,从而有助于使教练更加完善,在未来提出更好的建议。教练将像Siri(苹果手机上的智能语音控制功能)一样,越来越有用。集点器集点器作为一个.
2021-04-20 13:39:25
815
原创 如何进行问题深挖
深挖是指深入了解一个部门或领域的问题根源,进而制定计划使其进行改进。深挖不同于诊断,是一种广泛了解、深入探究的方式。它的作用不在于揭示每个问题的原因,而是要揭示造成80%不良后果的20%左右的问题。深挖有两个步骤,之后的步骤制订和执行。如果操作得当,两个步骤的深挖可以在大约4小时内完成。深挖要分别、独立进行,这点很重要,防止同时朝多个方向进行。我来带你过一遍深挖的流程,对每个步骤提供一些指导和案例。第一步:列举问题。快速列出核心问题。要很具体,因为这是有效找出解决方案的唯一方式。不要泛...
2021-04-13 14:06:40
1914
原创 mysql shell 查看执行历史记录
less ~/.mysql_history服务器本身会记录。https://stackoverflow.com/questions/27244793/how-to-search-in-the-mysql-command-history
2021-03-31 09:48:59
234
原创 maven clean 默认删除根目录下target文件夹
背景原来这个工程是手动打包,上传到服务器上,命令启动的。现在要接入标准发布系统,需要把原来打在模块下的ROOT.war, 复制到根目录下,发布系统会拉取根目录下的war文件进行部署。目标效果如下:问题在打包过程中,maven会自动执行maven clean ,删除根目录下的target文件夹,导致war包获取不到。maven clean的版本是2.5。解决方案最外层pom升级maven clean:<build> <plugins>..
2021-03-12 16:08:57
3289
原创 记一次大数据工程上云问题汇总以及系统排查问题思路(Error loading PartitionExpressionProxy)
工程环境概述java 8 ;maven;jfinal 3.3;hive 1.1.0-cdh5.4.1;由于系统上云,需要在新的环境中重新部署。系统的功能是获取hive元数据,对元数据进行分析和生命周期管理等功能。框架采用JFinal和Cron4jPlugin插件实现任务定时调度。部署工程中出现的问题在部署的过程中主要存在两方面的问题,一方面是代码需要重新更新到最新的配置,例如一些ip更新,端口更新,还有代码需要和现在线上的hiveserver2版本相适应;另一方面是服务器环境的问题,此.
2021-03-09 19:56:44
923
转载 Java中常用定时任务框架
转载出处:https://www.cnblogs.com/wenbronk/p/6433178.htmljava中的定时任务, 使用java实现有3种方式:1, 使用普通thread实现 @Test public void test1() { // 单位: 毫秒 final long timeInterval = 1000; Runnable runnable = new Runnable() { .
2021-03-08 11:37:15
1117
原创 测试linux系统中文件写入中是否可以复制到新文件
测试python脚本如下:count = 0while True: with open('test.txt','a') as f: f.write(str(count) + '\n') count = count + 1 print count if count == 1000000000000: break写入文件为test.txt,执行如下shell脚本cp test.txt test_new.tx.
2021-02-22 16:09:53
302
原创 【需求】使用python将mysql数据进行处理汇总,存入hive表中
python连接mysql数据库用pip安装好pymysql库,python版本 3.6,连接数据库 import pymysql import xlwt import datetime from pyhive import hiveconn = pymysql.connect(host='********', user = '***', password = '****', database = '****', charset = 'utf8')cursor = conn.
2021-02-20 10:59:58
374
1
转载 python linux 使用pandas报错:ModuleNotFoundError: No module named ‘_bz2‘
python脚本如下:import pandas as pdfrom sqlalchemy.engine import create_engineeg = create_engine('hive2://10.65.144.237:7001/default')pd.read_sql('show tables', eg)python 版本:3.6该错误是缺失_bz2.cpython-36m-x86_64-linux-gnu.so这个os文件,处理步骤如下:1)下载该文件h.
2021-02-07 15:23:34
1723
原创 hbase shell命令使用实战
目录进入HBase shell查看库表查看表结构插入一条数据查看表中数据删除表查看‘TEST_ORDER’ 表行数get 查看指定数据删除某一列清空表数据进入HBase shellhbase shell查看库表注意:不要加分号;list查看表结构describe 'TEST_ORDER'插入一条数据put 'TEST_ORDER','00001','info:userna...
2021-02-02 19:45:45
209
原创 大数据技术框架和学习路线(保持技术点更新)
基于如下的大数据框架以及学习路线,我们按照每个标题进行整理和汇总。欢迎补充技术要点。一、大数据技术基础1、linux操作基础linux系统简介与安装 linux常用命令–文件操作 linux常用命令–用户管理与权限 linux常用命令–系统管理 linux常用命令–免密登陆配置与网络管理 linux上常用软件安装 linux本地yum源配置及yum软件安装 linux防火墙配置 linux高级文本处理命令cut、sed、awk linux定时任务crontab2、shell.
2021-01-24 18:26:47
393
原创 linux 文件夹 上传文件Not writable
由于运维的误操作,将我们服务器上的/opt问价夹给覆盖了,导致重新部署项目后,上传文件报如下错误。通过前端console中查看到错误信息:解决方案:sudo chmod 777 -R /xxx/xxx/...参考文章:https://blog.csdn.net/weixin_43562948/article/details/104110136...
2021-01-21 13:33:40
705
原创 python 批量插入数据库数据
安装pymysqlimport pymysqluser='root'pwd='123456'conn=pymysql.connect(host='IP地址',user='root',password='123456',database='sys',charset='utf8') cursor=conn.cursor() #cursor=conn.cursor(cursor=pymysql.cursors.DictCursor)#执行sql语句# sql='select .
2020-12-15 18:34:51
599
原创 使用python自动获取央行官网汇率并发邮件
工程地址:https://github.com/yanghong/chiara_project.git主要模块:1、获取页面数据,使用正则表达式进行筛选数据2、存入excel3、发送邮件代码示例:def get_html(url): chrome_options = webdriver.ChromeOptions() # 使用headless无界面浏览器模式 chrome_options.add_argument('--headless'..
2020-12-02 15:44:37
1309
原创 Spring 容器创建过程(笔记)
Spring容器的refresh()【创建刷新】基于AbstractApplicationContext:总结Spring容器在启动的时候,会先保存所有注册进来的Bean的定义信息 xml注册bean,<bean> 注解注册Bean,@Service @Component @Bean Spring容器会合适的时机创建这些Bean 用到这个bean的时候,利用getBean创建bean;创建好后保存在容器中。 统一创建剩..
2020-11-12 22:40:41
273
原创 leetcode-88 合并两个有序数组(Java)
//给你两个有序整数数组 nums1 和 nums2,请你将 nums2 合并到 nums1 中,使 nums1 成为一个有序数组。//////// 说明:////// 初始化 nums1 和 nums2 的元素数量分别为 m 和 n 。// 你可以假设 nums1 有足够的空间(空间大小大于或等于 m + n)来保存 nums2 中的元素。////////// 示例://////输入://nums1 = [1,2,3,0,0,0], m = 3//nums2 =...
2020-11-04 21:52:46
133
原创 java checkStyle ‘cast‘ is not followed by whitespace.
项目工程中有开启代码检查,编译报'cast' is not followed by whitespace.ItemInfoTO xretailItemInfo = (ItemInfoTO)result.getData();原因是类型转换后需要空格。ItemInfoTO xretailItemInfo = (ItemInfoTO) result.getData();...
2020-10-30 19:37:19
1014
原创 leetcode-452 用最少数量的箭引爆气球
// 在二维空间中有许多球形的气球。// 对于每个气球,提供的输入是水平方向上,气球直径的开始和结束坐标。// 由于它是水平的,所以纵坐标并不重要,因此只要知道开始和结束的横// 坐标就足够了。开始坐标总是小于结束坐标。//// 一支弓箭可以沿着 x 轴从不同点完全垂直地射出。在坐标 x 处射出一支箭,若有一个气球的直径的开// 和结束坐标为 xstart,xend, 且满足 xsta//rt ≤ x ≤ xend,则该气球会被引爆。可以射出的弓箭的数量没有限制。 弓箭一旦被射出之后,...
2020-10-29 08:15:40
163
原创 leetcode-41 缺失的第一个正数
//给你一个未排序的整数数组,请你找出其中没有出现的最小的正整数。//////// 示例 1://// 输入: [1,2,0]//输出: 3////// 示例 2://// 输入: [3,4,-1,1]//输出: 2////// 示例 3://// 输入: [7,8,9,11,12]//输出: 1//// 输入: [3,2,4,1]// [4,2,3,1]// []//// 提示://// 你的算法的时间复杂度应为O(n),并且只能使用常数级...
2020-10-27 23:44:49
160
原创 leetcode-605 种花问题
//假设你有一个很长的花坛,一部分地块种植了花,另一部分却没有。可是,花卉不能种植在相邻的地块上,它们会争夺水源,两者都会死去。//// 给定一个花坛(表示为一个数组包含0和1,其中0表示没种植花,1表示种植了花),和一个数 n 。能否在不打破种植规则的情况下种入 n 朵花?能则返回True//,不能则返回False。//// 示例 1://////输入: flowerbed = [1,0,0,0,1], n = 1//输出: True////// 示例 2://////输入.
2020-10-27 08:05:32
128
原创 leetcode-435 无重叠区间(使用双端队列Deque)
//给定一个区间的集合,找到需要移除区间的最小数量,使剩余区间互不重叠。//// 注意:////// 可以认为区间的终点总是大于它的起点。// 区间 [1,2] 和 [2,3] 的边界相互“接触”,但没有相互重叠。////// 示例 1://////输入: [ [1,2], [2,3], [3,4], [1,3] ]////输出: 1////解释: 移除 [1,3] 后,剩下的区间没有重叠。////// 示例 2://////输入: [ [1,2], [1...
2020-10-26 13:51:35
127
原创 leetcode-135 分发糖果-贪心算法
//老师想给孩子们分发糖果,有 N 个孩子站成了一条直线,老师会根据每个孩子的表现,预先给他们评分。//// 你需要按照以下要求,帮助老师给这些孩子分发糖果:////// 每个孩子至少分配到 1 个糖果。// 相邻的孩子中,评分高的孩子必须获得更多的糖果。////// 那么这样下来,老师至少需要准备多少颗糖果呢?//// 示例 1://// 输入: [1,0,2]//输出: 5//解释: 你可以分别给这三个孩子分发 2、1、2 颗糖果。////// 示例 2:///.
2020-10-25 22:27:32
260
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人