- 博客(39)
- 资源 (2)
- 收藏
- 关注
RSS订阅原创 hnswlib报错ItemCannotBeInsertedIntoTheVectorSpaceException
ItemCannotBeInsertedIntoTheVectorSpaceException错误
2024-01-16 20:07:57
481
原创 flink-cdc-mysql The MySQL server has a timezone offset (0 seconds ahead of UTC) which does not match
报错信息 MySQL server has a timezone offset (0 seconds ahead of UTC) which does not match the configured timezone Asia/Shanghai. Specify the right server-time-zone to avoid inconsistencies for time-related fields.接下来就可以正常链接了。
2023-02-06 20:05:08
6272
原创 flink 读取mysql decimal类型出现的是字符串
1，使用.debeziumProperties对cdc解析的底层框架decimal.handling.mode属性设置为string即可。是在读取mysql的数据时候会在底层进行转换成byte数组来传递，但是decimal并没有转换回去，所以在输出时候是AA==这些。再点击configure方法进入设置map属性的位置可以看到 JsonConverterConfig。两种方式都可以对decimal类型进行正常转换，建议使用第二种。这里就可以看到了对decimal的format。
2022-12-20 12:07:42
975
原创 (Ljava/lang/Object；Ljava/lang/Long；)Lorg/apache/flink/kafka/shaded/org/apache/kafka/clients/producer
问题原因是kafka版本过低再项目中导入kafka-client包。
2022-12-09 20:52:52
778
4
原创 datahub关联代码开发
由于datahub是python代码，所有在修改后更换源码查看情况和Java开发起来相差巨大，本文主要介绍怎么使用datahub关联pip源码进行开发。
2022-08-11 12:13:05
784
原创 datahub lineage血缘展示
启动脚本可以按照官网来也可直接到源码中找到对应的docker路径下的yml文件进行启动。血缘的写法其实是python脚本最好（yml在测试中还问题，以后补充）本文的datahub不是阿里的数据工具是元数据datahub。.........
2022-07-29 19:50:13
2356
8
原创 下载jar或自己本地jar发布到自己本地仓库
国内maven仓库大部分使用的是阿里仓，这时候有许多jar包是maven官方发布但是本地阿里没有的，这时候就很麻烦其实只需要到官方下载。
2022-07-28 19:43:28
190
原创 fastjson 数据插入到es时候cannot write xcontent for unknown value of type class java.math.BigDecimal
因为在之前版本的es并不支持bigdecimal处理方式1全局禁止bigdecimal2,局部禁止
2022-07-11 20:10:23
919
原创 远程连接另外一台mysql报错bash: mysql: 未找到命令...
centos系统安装mysql开启远程连接后，其他主机远程连接mysql报错主要是本机上未安装mysql客户端https://dev.mysql.com/downloads/mysql/下载对应mysql客户端点击安装这时候就可以进行远程连接另外一台主机的mysql...
2022-07-09 22:15:37
502
原创 flink on yarn 模式传递vm option参数
最近在使用flink application 模式进行参数传递,flink正常提供的参数可以使用-D进行传递官方地址flink配置选项./bin/flink run-application -t yarn-application \-c com.atta.xt.task.FlinkMappingField \-Djobmanager.memory.process.size=2048m \-Dtaskmanager.memory.process.size=3072m \-Dtaskmanage
2022-03-09 15:54:49
463
原创 关于在flink 状态函数State中使用Tuple类型记录
状态编程通常使用几种基础类型即可，但是特殊情况我们可能出现ValueState<Tuple<String>> #TUPLE类型代码记录 使用map作为两种的显示，大家可以一眼看出 private MapState<Long, Tuple5<String, String, String, Long, Long>> mapState; private MapState<Long, Long> timeStateMap;
2022-02-17 16:24:47
1443
原创 hive优化
主要是为了记录一些hive端碰到和见到的优化信息1. map阶段输出数据压缩 ，在这个阶段，优先选择一个低CPU开销的算法。set hive.exec.compress.intermediate=trueset mapred.map.output.compression.codec= org.apache.hadoop.io.compress.SnappyCodecset mapred.map.output.compression.codec=com.hadoop.compression.lzo.L
2021-11-12 17:27:25
753
转载 52条mysql优化
本文属于转发记录转发来自sql优化1、对查询进行优化，应尽量避免全表扫描，首先应考虑在 WHERE 及 ORDER BY 涉及的列上建立索引。2、应尽量避免在 WHERE 子句中对字段进行 NULL 值判断，创建表时 NULL 是默认值，但大多数时候应该使用 NOT NULL，或者使用一个特殊的值，如 0，-1 作为默认值。注 意3、应尽量避免在 WHERE 子句中使用 != 或 <> 操作符。MySQL 只有对以下操作符才使用索引：<，<=，=，>，>=，BE
2021-10-16 14:36:00
101
原创 Spring data jpa查询出来list转换为page
首先说明下这个方法不行，错误Page<String> page = new PageImpl<String>(strings, pageable, strings.size());正确的转换方法 public Object page( @PageableDefault(direction = Sort.Direction.DESC) Pageable pageable ) { List<T> list = new ArrayL
2021-07-07 10:22:26
1004
原创 YARN Node Labels创建记录
YARN Node Labels配置1修改配置文件yarn-site.xml <property> <name>yarn.node-labels.enabled</name> <value>true</value> <description>相当于开启标签</description> </property> <property>
2021-06-29 17:14:29
304
原创 redis布隆过滤器
布隆过滤器1.布隆过滤器的作用主要作用： 防止缓存穿透（当redis上不存在的时候，当请求来的时候就会去查询数据库，数量小的时候没事，但是当数据量大的时候，那此时大量的请求压在数据库可能导致数据库崩溃），黑名单设置（垃圾邮件识别）。2. 构成布隆过滤器的组成就是一个bit数组 和 多个hash函数构成，当数据来的时候通过hash函数多次求的值，在bit数组上对应位置置为1，就代表特定数据。这时候也就有了问题看图比如说A通过hash函数将0，1，2，3，4五个位置的0置为1，B则将2，3，4，6，
2021-06-16 23:58:18
172
原创 LDAPException: Unwilling To Perform (53) Unwilling To Perform
LDAP 修改密码报错在ldap上使用Java代码直接修改对应的principle密码时候出现LDAPException: Unwilling To Perform (53) Unwilling To PerformLDAPException: Server Message: 0000001F: SvcErr: DSID-031A12D2, problem 5003 (WILL_NOT_PERFORM), data 0 LDAPException: Matched DN: at com.nov
2021-06-07 15:19:14
4129
原创 hive添加udf函数
1，临时函数 重启hive后函数失效1）首先在hive中添加jar包 出现added就是成功了hive (default)> add jar /opt/hiveudf2.jar ;Added [/opt/hiveudf2.jar] to class pathAdded resources: [/opt/hiveudf2.jar]2）创建函数CREATE TEMPORARY FUNCTION 定义函数名称 as udf打包的jar中你的函数的路径 hive (default
2021-04-10 15:34:35
890
原创 hive使用时一些常见函数
几个常用的时间函数date_add(A,B) 时间函数 date_add(‘2021-03-18’,-1) -->2021-03-17 当是负数时可以有date_sub(A,B)date_format(date,‘yyyy-MM’) 时间格式化last_day(A) 获取时间A的月份的最后一天next_day(A,‘B’) 获取时间A的下一个时间星期几B的时间 B可以是英语星期的缩写 MO星期一 Monday,Tuesday,Wednesday,Thursday,Friday,Satur
2021-03-18 16:07:31
159
转载 Kafka 会不会丢消息？怎么处理的?
引用 https://mp.weixin.qq.com/s/WHXmGcA4rz0EoncL74GBjQ这个Kafka确实存在丢消息的问题，消息丢失会发生在Broker，Producer和Consumer三种。BrokerBroker丢失消息是由于Kafka本身的原因造成的，kafka为了得到更高的性能和吞吐量，将数据异步批量的存储在磁盘中。消息的刷盘过程，为了提高性能，减少刷盘次数，kafka采用了批量刷盘的做法。即，按照一定的消息量，和时间间隔进行刷盘。这种机制也是由于linux操作系统决定的。
2021-03-08 17:39:01
278
原创 记录一次hive包整体更新替换问题
hive3.1.2整体解压替换之前hiveFAILED: HiveException java.lang.RuntimeException: Unable to instantiate org.apache.hadoop.hive.ql.me错误如果你整体解压替换后，你的hive的配置文件依旧是原来的，看起来好像没有问题，毕竟只是配置hive的mysql元数据之类的信息，但是报错FAILED: HiveException java.lang.RuntimeException: Unable to in
2021-03-05 23:04:39
592
转载 mac配置vm的centos7静态ip配置
mac配置centos7静态IP本文转载自博客园，查了很多这个写的是最正确的了，转载保留下，不知博主是否愿意，若是不行私聊就删，谢谢https://www.cnblogs.com/terrycode/p/12117248.html1.环境配置：创建完快照后启动虚拟机,使用root用户和root密码登录系统1.1 停止防火墙#停止防火墙[root@localhost ~]#systemctl stop firewalld#禁止防火墙随着系统启动而启动[root@localhost ~]#sy
2021-01-24 22:32:34
284
原创 spring data 报错Failure while trying to resolve exception
错误信息： .w.s.m.s.DefaultHandlerExceptionResolver : Failure while trying to resolve exception [org.springframework.http.converter.HttpMessageNotWritableException]java.lang.IllegalStateException: Cannot call sendError() after the response has been committed使
2020-08-21 19:23:39
5359
原创 mysql设置允许远程访问和密码设置不进行安全策略检测
mysql设置允许远程访问进入到mysql后进入mysl库show databases;user mysql进入到mysql库后查表可以看出当前拥有的账户和访问hostselect host,user from user;进行设置远程链接#设置允许远程grant all privileges on *.* to root@'%' identified by '你对应的用户密码' with grant option; flush privileges; #刷新注意这个时候你的密
2020-08-17 10:54:14
273
原创 mysql设置不区分大小写，或设置了不区分大小写lower_case_table_names=1但是没有生效
mysql设置不区分大小写，或设置了不区分大小写lower_case_table_names=1但是没有生效mysql设置不区分大小写操作系统 centosmysql version 5.7及以上修改etc/my.conf文件加入lower_case_table_names=1 为使mysql不区分表名大小写.注意 这段代码必须在**[mysqld_safe]之前 如果你的配置文件没有mysqld_safe**就算了，不影响重启MySQL这时候正常情况下即会成功systemctl resta
2020-08-12 19:53:59
6713
转载 HBase数据结构及读写流程原理
数据结构注意hbase对时间敏感（增删改就是根据时间戳实现的，并不是立刻执行删除数据或者更新数据信息，每次取得最大时间的信息），集群设置时间同步命名空间命名空间相当于mysql 的database。命名空间中包括了表、权限等信息Table表（相当于mysql中的表），所有的表都是命名空间的成员，即表必属于某个命名空间，如果没有指定，则在 default 默认的命名空间中RowKey与 nosql 数据库们一样,RowKey 是用来检索记录的主键。访问 HBASE table 中的行
2020-08-12 19:28:40
271
转载 mysql5.7 以上版本root密码重置
mysql5.7以上root用户密码重置仅限centos系统 不要想Windows系统 Windows系统看了很多，几乎都是失败的，所以Windows系统是否可以修改都是问题。这篇文章是开发中遇到了root用户密码设置错误，或者多次设置导致忘记密码，需要对root密码进行重新设置：在51博客上看到的博主安静的疯子[https://blog.51cto.com/quietmadman/1768057]1，停止 mysql 服务[root@study usr]# systemctl stop my
2020-08-07 17:23:24
149
原创 使用git clone报Filename too long
使用git clone报Filename too long并非原创，很久前读到的博客，忘了是谁了，最近换电脑又碰到了这个问题，写出来加深记忆我们在使用git bash 时候从Github上 获取代码时有可能这个错误，原因在于，老版本Windows默认最大拼接长度260字节，就是文件路径，但是git最大长度是4096，但是git默认使用的是老的Windowsgit config --global core.longpaths true让其使用自身的长度即可...
2020-07-31 10:28:29
208
原创 hashmap获取所有的key
public class MapKey { static HashMap<Object, Object> hashMap; static { hashMap = new HashMap<>(); hashMap.put(1, "name"); hashMap.put("na", "tackew"); hashMap.put("tom", "123"); hashMap.put(1121,
2020-05-27 19:28:04
3175
原创 elasticsearch-7.x.x安装elasticsearch-analysis-ik使用
elasticsearch-analysis-ik官网下载连接https://github.com/medcl/elasticsearch-analysis-ik/tree/master下载完成后无论是zip还是直接git clone下来的都要主要解压后的pom文件注意这里的版本约定 ，我现在下载的最新版约定是7.4.0，但是现在的elasticsearch已经是7.7.0。将这个位置进行修改成你对应 的版本<elasticsearch.version>7.4.0</elastic
2020-05-15 17:38:32
1935
2
原创 runmove JavaWeb项目报错The origin server did not find a current representation for the target resource
这个错误网上有很多知识说明路径错误等问题常见问题网上都有介绍推荐一个网址，他做出了大部分的错误情况但是解决不详细[我在这里只是做一个特殊情况下造成的问题当我们配置web文件时候的前端控制器时路径问题1， 解析所有的 <url-pattern>/</url-pattern>2，不解析jsp文件 <url-pattern>/</url-...
2020-04-23 11:55:37
195
原创 虚拟机设置静态IP不生效问题
虚拟机设置静态IP不生效问题网上很多关于这个方面的文章不是让你卸载网关就是关闭网关，大部分人卸载后发现网络都没了。这里默认你已经配置了静态IP的大部分信息只是静态没有生效1，首先我们使用ip addr查看自己的网络mac地址这里是静态IP需要的重要信息2 ，这时候你打开你的静态ip配置文件vi /etc/sysconfig/network-scripts/ifcfg-ens33你...
2020-04-16 11:34:58
4475
3
elasticsearch-analysis-ik-7.7.0.zip
2020-05-15
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人