- 博客(83)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 企业微信接口对接踩坑记录
调用获取部门成员的接口，老是爆出来没有权限。通过提示进去以后，一堆的文字描述，没有一个确切的解决途径。后来通过网上搜索才发现，应用管理这里有个可见范围的按钮，原来设置的是我个人的名字，所以只能看到我个人的信息，能够拿到userid，但是看不到其他的信息，这个接口又能调用成功。
2023-12-01 16:29:33
259
2
原创 记一次SQL Server磁盘突然满了导致数据库锁死事件is full due to ‘LOG_BACKUP‘.
记一次SQL Server磁盘突然满了导致数据库锁死事件is full due to 'LOG_BACKUP'.
2023-12-01 16:12:04
667
原创 python selenium 定位鼠标悬浮后的新弹窗数据
最近需要获取网页上的标签数据，但是标签大于3个以后是隐藏的，需要鼠标hover上去才显示。如下图，图一是刚进来界面展示的，需要知道额外的7个标签则需要将鼠标移动到目标上面去。但是比较尴尬的一个点是，当游览器打开F12后，使用鼠标去选中关键词属性，没有办法有弹出的数据，也就没有办法进行弹出数据的xpath定位。
2023-06-20 14:09:14
1130
1
原创 【解决问题的还得是看源码来得快】Datax脏数据配置问题解决
最近在用Datax进行数据测试，从sql server的数据输出到Doris，Doris安装在虚拟机上，只有3G内存，FE和BE同时安装在一起，由于内存过于小，在数据导入的时候想通过输出速率的方式解决问题，同时也解决脏数据限制配置的问题。脏数据限制会报错，如下图所示：脏数据条数检查不通过，限制是[0]条，但实际上捕获了[1]条网上找了一下没有比较明确的文档，所以直接下载Datax的源码进行搜索。
2023-05-25 14:35:22
1608
2
原创 datax使用实践
datax的工具包可以根据github地址上开源的代码进行下载编译，下载后需要maven等环境。推荐直接下载开源的工具包，开箱即用。
2023-04-25 10:33:38
178
原创 python ‘list‘ object is not callable
最近需要写一个python的同步脚本，将下载下来的excel文件同步到sql server中，在循环批量插入的过程中，构建batch_insert 脚本报错。刚开始看到这个报错比较难受，因为python不想Java哪一行报错提示出来，导致比较不好找。查了一些文档加上一些测试的代码，才发现这个小问题。
2023-04-17 11:10:34
104
原创 遇到mysqladmin flush-hosts报错解决思路
MySQL performance_schema下的hosts表和host_cache，host_cache表会记录连接客户端主机名、IP地址信息和其他连接信息，帮助诊断连接问题;查看报错日志如下，应该是对应的用户报错链接太多了，导致报错。而我们这边的用户都是运维通过一个nginx中转过来的，所以都是同一个ip地址。由于网络原因或其它一些连接错误会导致SUM_CONNECT_ERRORS累加1；COUNT_HANDSHAKE_ERRORS:握手错误计数。SUM_CONNECT_ERRORS:连接错误数。
2023-03-27 11:19:46
574
原创 阿里云dataworks python UDF使用实践
业务上计算业绩需要剔除掉指定放假时间，我们这里的放假时间维护在一个mysql表中，进行动态配置，所以需要自定义函数来计算当前日期几天之后的时间，这几天中如果包含myql表中存储的放假日期，则需要剔除掉，然后进行顺延。如下，计算2023-01-25这个日期7天之后是什么日期，正常是2023-02-02，但是现在需要剔除掉配置时间confid_days中的两天，最后结果是2023-02-04。需要将这个逻辑写成udf函数，进行使用。阿里云函数注册，其中类名出是--文件名.类名 的组合。
2023-02-08 15:32:02
671
2
原创 flink输出表字符格式错误
most bytes 3和most bytes 4，即最多使用3 / 4个字节来表示1个字符！所以，当使用utf8mb4时，可以表示更多字符，例如生僻汉字、冷门符号、emoji表情符号等。sink目标表，新增matrix_crm_name字段，但是mysql表的编码还是utf-8的，导致flink任务报错。在使用MySQL / MariaDB时，所有SQL语句中涉及的字符集都明确的使用utf8mb4，尽量不要使用utf8。重新设置mysql表的编码格式为utf8mb4。
2022-11-07 18:32:17
870
原创 MySql添加索引的几种方式
1、添加primary key(主键索引)alter table 表名 add primary key(列名);2、添加unique（唯一索引）alter table 表名 add unique(列名);3、添加普通索引index(普通索引)alter table 表名 add index 索引名（index name） （列名）；4、添加fulltext（全文索引）alter table 表名 add fulltext （列名）；5、添加多列索引。
2022-10-20 14:46:07
14473
原创 阿里云数仓实时同步任务binlog解析文档
阿里云dataworks中有实时同步数据库binlog的任务配置，起源是业务数据库中数据被回滚了，所以借助数仓这边的同步任务数据进行解析和监控更新时间。
2022-10-17 17:05:31
773
原创 SQL中JOIN、LEFT JOIN、RIGHT JOIN 的区别
JOIN是INNER JOIN的简写，LEFT JOIN 是LEFT OUTER JOIN的简写。
2022-06-28 07:57:09
899
原创 IDEA无错误爆红，invalid cache无效 解决方法
背景:开发项目没有错误，但是idea总是提爆红，能够正常编译通过。清理缓存以后也没有改变。后续设置Java Complier 的版本一致，再重新将缓存失效得以解决，原因可能是版本有的是1.8，有的是8，导致idea识别是有问题。...
2022-03-22 11:48:47
2539
原创 IDEA 菜单栏没有Tools选项
最近因为需要用到Mysql to H2插件，需要到Tools这个菜单栏上找到转换地址，但是自己的IDEA上就是没有这个：换了好几种版本的IDEA依然没有，最后全局搜索才找到：
2022-01-24 10:15:42
4341
1
原创 【IDEA】Compilation failed: internal java compiler error
参考文档：https://blog.csdn.net/ruoxiyun/article/details/88256928除了上面参考文档中的jdk版本、maven中的java版本等问题外。仍然报错，此后在评论区找到了解决方法：需要把complier的堆内存大小设置大一点。...
2021-09-01 11:36:54
106
原创 桥水以创意择优所用的工具和行为准则
教练考虑到对任何人而言，为了合理应对各种情况需要记住太多的原则，而从书本中寻找答案又不如直接咨询意见来得更容易，我开发了这个教练工具。教练汇聚了各种（或很多种）情况（例如，不认同别人的评估意见，有人说谎或从事了违反职业道德的行为等），形成了一个案例库，并与可适用的相关原则一一挂钩，可以帮助人们进行应对。你在使用教练时，也可以针对其提供建议的质量给出反馈意见，从而有助于使教练更加完善，在未来提出更好的建议。教练将像Siri（苹果手机上的智能语音控制功能）一样，越来越有用。集点器集点器作为一个.
2021-04-20 13:39:25
741
原创 如何进行问题深挖
深挖是指深入了解一个部门或领域的问题根源，进而制定计划使其进行改进。深挖不同于诊断，是一种广泛了解、深入探究的方式。它的作用不在于揭示每个问题的原因，而是要揭示造成80%不良后果的20%左右的问题。深挖有两个步骤，之后的步骤制订和执行。如果操作得当，两个步骤的深挖可以在大约4小时内完成。深挖要分别、独立进行，这点很重要，防止同时朝多个方向进行。我来带你过一遍深挖的流程，对每个步骤提供一些指导和案例。第一步：列举问题。快速列出核心问题。要很具体，因为这是有效找出解决方案的唯一方式。不要泛...
2021-04-13 14:06:40
1796
原创 mysql shell 查看执行历史记录
less ~/.mysql_history服务器本身会记录。https://stackoverflow.com/questions/27244793/how-to-search-in-the-mysql-command-history
2021-03-31 09:48:59
210
原创 maven clean 默认删除根目录下target文件夹
背景原来这个工程是手动打包，上传到服务器上，命令启动的。现在要接入标准发布系统，需要把原来打在模块下的ROOT.war, 复制到根目录下，发布系统会拉取根目录下的war文件进行部署。目标效果如下：问题在打包过程中，maven会自动执行maven clean ，删除根目录下的target文件夹，导致war包获取不到。maven clean的版本是2.5。解决方案最外层pom升级maven clean：<build> <plugins>..
2021-03-12 16:08:57
3157
原创 记一次大数据工程上云问题汇总以及系统排查问题思路（Error loading PartitionExpressionProxy）
工程环境概述java 8 ；maven；jfinal 3.3；hive 1.1.0-cdh5.4.1；由于系统上云，需要在新的环境中重新部署。系统的功能是获取hive元数据，对元数据进行分析和生命周期管理等功能。框架采用JFinal和Cron4jPlugin插件实现任务定时调度。部署工程中出现的问题在部署的过程中主要存在两方面的问题，一方面是代码需要重新更新到最新的配置，例如一些ip更新，端口更新，还有代码需要和现在线上的hiveserver2版本相适应；另一方面是服务器环境的问题，此.
2021-03-09 19:56:44
866
转载 Java中常用定时任务框架
转载出处：https://www.cnblogs.com/wenbronk/p/6433178.htmljava中的定时任务, 使用java实现有3种方式:１， 使用普通thread实现 @Test public void test1() { // 单位: 毫秒 final long timeInterval = 1000; Runnable runnable = new Runnable() { .
2021-03-08 11:37:15
1072
原创 测试linux系统中文件写入中是否可以复制到新文件
测试python脚本如下：count = 0while True: with open('test.txt','a') as f: f.write(str(count) + '\n') count = count + 1 print count if count == 1000000000000: break写入文件为test.txt，执行如下shell脚本cp test.txt test_new.tx.
2021-02-22 16:09:53
281
原创 【需求】使用python将mysql数据进行处理汇总，存入hive表中
python连接mysql数据库用pip安装好pymysql库，python版本 3.6，连接数据库 import pymysql import xlwt import datetime from pyhive import hiveconn = pymysql.connect(host='********', user = '***', password = '****', database = '****', charset = 'utf8')cursor = conn.
2021-02-20 10:59:58
336
1
转载 python linux 使用pandas报错：ModuleNotFoundError: No module named ‘_bz2‘
python脚本如下：import pandas as pdfrom sqlalchemy.engine import create_engineeg = create_engine('hive2://10.65.144.237:7001/default')pd.read_sql('show tables', eg)python 版本：3.6该错误是缺失_bz2.cpython-36m-x86_64-linux-gnu.so这个os文件，处理步骤如下：1）下载该文件h.
2021-02-07 15:23:34
1654
原创 hbase shell命令使用实战
目录进入HBase shell查看库表查看表结构插入一条数据查看表中数据删除表查看‘TEST_ORDER’ 表行数get 查看指定数据删除某一列清空表数据进入HBase shellhbase shell查看库表注意：不要加分号；list查看表结构describe 'TEST_ORDER'插入一条数据put 'TEST_ORDER','00001','info:userna...
2021-02-02 19:45:45
184
原创 大数据技术框架和学习路线(保持技术点更新)
基于如下的大数据框架以及学习路线，我们按照每个标题进行整理和汇总。欢迎补充技术要点。一、大数据技术基础1、linux操作基础linux系统简介与安装 linux常用命令–文件操作 linux常用命令–用户管理与权限 linux常用命令–系统管理 linux常用命令–免密登陆配置与网络管理 linux上常用软件安装 linux本地yum源配置及yum软件安装 linux防火墙配置 linux高级文本处理命令cut、sed、awk linux定时任务crontab2、shell.
2021-01-24 18:26:47
342
原创 linux 文件夹 上传文件Not writable
由于运维的误操作，将我们服务器上的/opt问价夹给覆盖了，导致重新部署项目后，上传文件报如下错误。通过前端console中查看到错误信息：解决方案：sudo chmod 777 -R /xxx/xxx/...参考文章：https://blog.csdn.net/weixin_43562948/article/details/104110136...
2021-01-21 13:33:40
674
原创 python 批量插入数据库数据
安装pymysqlimport pymysqluser='root'pwd='123456'conn=pymysql.connect(host='IP地址',user='root',password='123456',database='sys',charset='utf8') cursor=conn.cursor() #cursor=conn.cursor(cursor=pymysql.cursors.DictCursor)#执行sql语句# sql='select .
2020-12-15 18:34:51
570
原创 使用python自动获取央行官网汇率并发邮件
工程地址：https://github.com/yanghong/chiara_project.git主要模块：1、获取页面数据，使用正则表达式进行筛选数据2、存入excel3、发送邮件代码示例：def get_html(url): chrome_options = webdriver.ChromeOptions() # 使用headless无界面浏览器模式 chrome_options.add_argument('--headless'..
2020-12-02 15:44:37
843
原创 Spring 容器创建过程（笔记）
Spring容器的refresh()【创建刷新】基于AbstractApplicationContext：总结Spring容器在启动的时候，会先保存所有注册进来的Bean的定义信息 xml注册bean,<bean> 注解注册Bean，@Service @Component @Bean Spring容器会合适的时机创建这些Bean 用到这个bean的时候，利用getBean创建bean；创建好后保存在容器中。 统一创建剩..
2020-11-12 22:40:41
256
原创 leetcode-88 合并两个有序数组（Java）
//给你两个有序整数数组 nums1 和 nums2，请你将 nums2 合并到 nums1 中，使 nums1 成为一个有序数组。//////// 说明：////// 初始化 nums1 和 nums2 的元素数量分别为 m 和 n 。// 你可以假设 nums1 有足够的空间（空间大小大于或等于 m + n）来保存 nums2 中的元素。////////// 示例：//////输入：//nums1 = [1,2,3,0,0,0], m = 3//nums2 =...
2020-11-04 21:52:46
110
原创 java checkStyle ‘cast‘ is not followed by whitespace.
项目工程中有开启代码检查，编译报'cast' is not followed by whitespace.ItemInfoTO xretailItemInfo = (ItemInfoTO)result.getData();原因是类型转换后需要空格。ItemInfoTO xretailItemInfo = (ItemInfoTO) result.getData();...
2020-10-30 19:37:19
950
原创 leetcode-452 用最少数量的箭引爆气球
// 在二维空间中有许多球形的气球。// 对于每个气球，提供的输入是水平方向上，气球直径的开始和结束坐标。// 由于它是水平的，所以纵坐标并不重要，因此只要知道开始和结束的横// 坐标就足够了。开始坐标总是小于结束坐标。//// 一支弓箭可以沿着 x 轴从不同点完全垂直地射出。在坐标 x 处射出一支箭，若有一个气球的直径的开// 和结束坐标为 xstart，xend， 且满足 xsta//rt ≤ x ≤ xend，则该气球会被引爆。可以射出的弓箭的数量没有限制。 弓箭一旦被射出之后，...
2020-10-29 08:15:40
130
原创 leetcode-41 缺失的第一个正数
//给你一个未排序的整数数组，请你找出其中没有出现的最小的正整数。//////// 示例 1://// 输入: [1,2,0]//输出: 3////// 示例 2://// 输入: [3,4,-1,1]//输出: 2////// 示例 3://// 输入: [7,8,9,11,12]//输出: 1//// 输入: [3,2,4,1]// [4,2,3,1]// []//// 提示：//// 你的算法的时间复杂度应为O(n)，并且只能使用常数级...
2020-10-27 23:44:49
140
原创 leetcode-605 种花问题
//假设你有一个很长的花坛，一部分地块种植了花，另一部分却没有。可是，花卉不能种植在相邻的地块上，它们会争夺水源，两者都会死去。//// 给定一个花坛（表示为一个数组包含0和1，其中0表示没种植花，1表示种植了花），和一个数 n 。能否在不打破种植规则的情况下种入 n 朵花？能则返回True//，不能则返回False。//// 示例 1://////输入: flowerbed = [1,0,0,0,1], n = 1//输出: True////// 示例 2://////输入.
2020-10-27 08:05:32
111
原创 leetcode-435 无重叠区间（使用双端队列Deque）
//给定一个区间的集合，找到需要移除区间的最小数量，使剩余区间互不重叠。//// 注意:////// 可以认为区间的终点总是大于它的起点。// 区间 [1,2] 和 [2,3] 的边界相互“接触”，但没有相互重叠。////// 示例 1://////输入: [ [1,2], [2,3], [3,4], [1,3] ]////输出: 1////解释: 移除 [1,3] 后，剩下的区间没有重叠。////// 示例 2://////输入: [ [1,2], [1...
2020-10-26 13:51:35
107
原创 leetcode-135 分发糖果-贪心算法
//老师想给孩子们分发糖果，有 N 个孩子站成了一条直线，老师会根据每个孩子的表现，预先给他们评分。//// 你需要按照以下要求，帮助老师给这些孩子分发糖果：////// 每个孩子至少分配到 1 个糖果。// 相邻的孩子中，评分高的孩子必须获得更多的糖果。////// 那么这样下来，老师至少需要准备多少颗糖果呢？//// 示例 1://// 输入: [1,0,2]//输出: 5//解释: 你可以分别给这三个孩子分发 2、1、2 颗糖果。////// 示例 2:///.
2020-10-25 22:27:32
245
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人