- 博客(28)
- 收藏
- 关注
RSS订阅原创 mysql安装过程问题解决
内网版本的mysql的安装过程可能与网上教程中的过程不同。1）在win程序处可以看到 Mysql Server 5.72）在开始界面的Mysql 5.7 Command Line Client处点击无反应。
2024-05-06 16:24:16
329
原创 安装anaconda后打开navigator却一直卡在loading界面
参考：https://blog.csdn.net/yolo_______95/article/details/128701867?跟着此博客主的尝试，修改conda_api.py文件后，仍不成功。断网重启后启动成功。
2024-04-25 14:32:06
159
原创 安装java8之后再安装11出现的问题
出现“java不是内部或外部命令之后经过几次卸载删除也没有办法最后，win+r调出来“运行”，然后regedit（）注册表删除HKEY_LOCAL_MACHINE里的SOFTWARE->javasoft的东西，重装安装11即可
2022-07-18 16:14:58
599
原创 服务器端口分配导致job重启
情况：观察到某job半个多小时之前重启，于是查询jibmanager日志，只能找到如下问题。所以联想到端口的分配问题、错误占用会导致job重启。日志：2022-06-22 10:35:30,951 | INFO | [main] | Unable to allocate on port 32326, due to error: Address already in use (Bind failed) | org.apache.flink.util.NetUtils (NetUtils.java:386)
2022-06-22 11:15:54
378
原创 rockdb
rockdb个人认为有点像是一个可以把磁盘空间当作内存用的一个应用。flink 中存储时，使用rockdb时，rockdb的路径是每台服务器都有的共同的一个路径（在flink.conf文件里配置），使用时先存到本地的路径下，定时会通过异步的方式把内容同步到hdfs。直接只用hdfs时，除了有io开销，还有网络开销。所以当存储的内容较大时，使用rockdb;当存储的内容较小时，使用flie system...
2022-06-13 14:40:26
288
原创 关于rediskey的数量
背景：近期有个其他业务组业务，从hive导出数据到redis，但是观测到部分数据丢失，遂帮忙查询情况：该业务组用的string的方式存储数据，key即为不同的id，因id个数达9亿，所以在观察是keys * 半天才出来，通过dbsize命令查询已经存储了1.9亿的key。但经redis配置查询，每个实例能存储的最大的key的数量为2的32次方，即2.5亿。所以是装不下目标9亿的。解决方案：建议分区hash存储...
2022-06-07 14:38:13
4111
1
原创 private transient ValueState-未完成
不明白为什么使用状态时要用transient修饰？Transient关键词的含义是表示一个成员变量不是该对象序列化的一部分，当这个对象被序列化的时候，transient型的变量的值不包括在序列化的结果中。但是在flink官网中，使用valueState的实例里，都给了transient关键词，其中到底有没有深意呢？...
2021-09-23 10:36:42
366
原创 Flink的valueState约等于java内存里的map
测试代码如图：传进来的数据是依次递加的整数，存的状态是valueState测试结果：可以看出，整数4，6和8都进的第一个线程，但是他们的valueState并没有被共用，而是每个都是自己本身的计数。结论：valueState就类似于以前java里面用的map，键就是flink程序中keyBy的key。...
2021-09-23 10:21:31
324
原创 Flink全局使用的配置信息如何加载
1.要全局的配置放入config里，然后放入环境中：env.getConfig().setGlobalJobParameters(config);2.组件的open方法里：ExecutionConfig.GlobalJobParameters globalJobParameters = getRuntimeContext().getExecutionConfig().getGlobalJobParameters();Map<String, String> globConf = globa
2021-08-09 16:33:57
907
原创 idea-pom-project标签爆红
1.maven的本地仓库重新配置2.删除本地仓库中因为断网未下载完全的lastupdate的jar包find 本地仓库地址 -name “lastUpdated” | xargs rm -rf
2021-06-23 11:04:17
885
2
原创 记redis存储查询问题-StringRedisTemplate与RedisTemplate的区别
之前在某地市进行开发时，布撤控处（下面简称A端）RedisTemplate将匹配字段放在redis,java的代码（下面简称B端）用来匹配redis的信息输出预警结果，用的是jedis api.在接入的redis的配置都一样的情况下，发生了A端数据可存入redis，且可查询到。但是B端检查不到存入的数据。解决方案：后面修复结果是，A端使用StringRedisTemplate代替RedisTemplate，即解决。反思：虽然StringRedisTemplate继承自RedisTemplate，但是两者
2021-05-24 17:49:24
206
1
原创 目前用到的加载配置文件的方法
Properties properties = new Properties();//第一种properties.load(Thread.currentThread().getContextClassLoader().getResourceAsStream(“xxx.properties”));Thread.currentThread().getContextClassLoader().getResourceAsStream(“xxx.properties”);//第二种InputStream i
2021-04-15 10:31:20
105
原创 /dev/null 2＞&1 &
command > /dev/null 2>&1通过以上三部分介绍该语句的函数就是将标准输出和标准错误输出重定向到伪设备/dev/null,它的作用就是执行某个命令将不会有任何日志输出。/dev/null 2>&1 &最后一个&是后台执行的意思。那日志的路径和名字是如何制定的呢？日志的路径和名字是在resources下的log4j2.xml里面配置的。而且日志能够每天自动覆盖。而且这个日志也并不是每次重启就会覆盖以往的，而且会覆盖到某个点，这个是
2021-04-15 10:11:19
235
原创 Zookeeper更新报错空指针-待处理
[16:26:01:417] [ERROR] - org.apache.curator.framework.imps.CuratorFrameworkImpl.logError(CuratorFrameworkImpl.java:703) - Background exception was not retry-able or retry gave up java.lang.NullPointerException: null at org.apache.curator.framework.imps.Ens
2021-04-14 16:41:16
1715
原创 更新zookeeper节点信息
public class TestZookeeper {public static void main(String[] args) {/*1.将zookeeper的相关配置从数据库中获取出来/String zkStr = “”;int retryInterval = 0;int retryIntervalCelling = 0;int retryTimes = 0;/2.根据zookeeper创建curator客户端/ZookeeperConnect zookeeperConnec
2021-04-09 10:21:38
571
原创 关于配置文件的获取
1.先得到配置文件的路径，包括本地路径和服务器路径System.getProperty(“sp.home”, ServerConfig.class.getResource("/").getFile());
2021-04-09 10:00:24
125
原创 Zookeeper节点更新失败问题
zookeeper节点更新失败问题，20210408又一次遇到。两个代码一模一样，但是一个可以连接，一个不可以，最后是发现两个代码的pom配置的zookeeper版本不一样。一个zookeeper是kafka自带的zookeeper版本，一个是用的服务器zookeeper的安装版本3.5.1。修改zookeeper版本和zookeeper服务器安装版本保持一致就可以了。...
2021-04-08 17:06:41
544
原创 关于Lambda架构和Kappa架构
下面的知识点是摘自于b站“课工场优越实训中心”的文章《三张图讲清楚大数据基础设施》文章链接为：https://www.bilibili.com/read/cv8768704?share_source=copy_link&share_medium=iphone&bbid=Z74E607FA37E3C304E68B048B0E9982CAA2A&ts=1611108435lambda架构：结构：1.ServingLayer主要是想用用户的请求，根据用户需求把Batch层和Spe
2021-01-20 10:11:43
480
原创 关于异或
异或的逻辑：相同为0，不同为1可以理解为：异或=加法不进位，减法不借位算法实现：不使用第三方变量，交换两个变量的值方式一：缺点：可能发生溢出a=a+b; 2+3=5b=a-b; 5-3=2a=a-b; 5-2=3方式二：a=a^b; 11 10 =01b=a^b; 01 10 =11a=a^b; 01 11 = 10...
2021-01-18 15:24:01
171
原创 app使用zookeeper进行任务同步
因zk服务器版本升级、ip更换，application也需要更换配置数据库，所以重新在原服务器上部署一次app。遇到的坑：1.zk版本换成了安全版本，所以要进行安全认证。找到产品文档中的安全认证实例代码，添加；下载安全认证的秘钥，打进JAR包或者放到application的config目录。2.zk版本升级成3.5.1，但application原来的依赖的kafka_2.10里面自带的zookeeper是2.5.6，所以需要在原kafka的依赖里排除zk，然后再单独添加zk的依赖。查原代码的版本依赖的
2021-01-14 10:21:15
186
原创 oracle导入dmp文件出现错误
错误描述：gdjzbd-redis6->oracle$ imp rtwtest/rtwtest@qyw full=y file=/home/rtw-flink-oracle.dmp ignore=nImport: Release 11.2.0.4.0 - Production on Tue Jan 5 17:14:28 2021Copyright © 1982, 2011, Oracle and/or its affiliates.All rights reserved.IMP-00058:
2021-01-05 17:33:55
641
原创 M1 MacBook的环境安装
这里写自定义目录标题欢迎使用Markdown编辑器新的改变功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入欢迎使用Markdown编辑器你好！ 这是你第一次使用 Markdown编辑器 所展示的欢迎页。如果你想学习如何使用Mar
2020-12-31 17:02:19
897
2
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人