- 博客(11)
- 收藏
- 关注
原创 记录CDH-kafka配置外网
因为项目需要,需隔壁项目组协助拉取数据,但是公司用的阿里云,且两边的集群不在同一内网,故而需要开放kafka的端口给另外的项目组,以便于他们通过外网连接到kafka。记录以下配置,重启后生效。
2022-12-28 14:57:52
331
原创 200 port command successful. consider using pasv 425 failed to establish connection
windows->Linux:ftp报错200 port command successful. consider using pasv 425 failed to establish connection
2022-07-06 11:17:45
2173
1
原创 spark java.net.BindException: Cannot assign requested address
网上找了下原因,大致上是由于客户端频繁的连服务器,由于每次连接都在很短的时间内结束,导致很多的TIME_WAIT,以至于用光了可用的端 口号,所以新的连接没办法绑定端口,即“Cannot assign requested address”。是客户端的问题不是服务器端的问题。通过netstat,的确看到很多TIME_WAIT状态的连接。client端频繁建立连接,而端口释放较慢,导致建立新连接时无可用端口。网上的解决方法:1、先查看端口是否被占用。2、执行命令修改如下2个内核参数
2022-03-15 08:57:53
662
原创 记录修改taildir source支持windows路径正则
TaildirMatcher(String fileGroup, String filePattern, boolean cachePatternMatching, int cachePatternMatchingDuration) { // store whatever came from configuration this.fileGroup = fileGroup; this.filePattern = filePattern; thi...
2022-03-15 08:46:22
134
原创 记录一次修改flume1.9 taildir source
在测试代码中发现taildir不支持windows。且要上传很多小文件并记录文件名字。使其支持windows很多大佬已经做到,我也是站在巨人的肩膀上,copy他们的。这里记录修改taildir使其支持windows路径在不断的了解flume机制的同时发现了根本问题,hdfs路径不支持冒号作为路径因为我们获取到的fileHeaderKey 是绝对路径,所以是有冒号的fileHeader 设置为 true ,可以将日志文件的绝对路径存储在事件的header中;fileHeaderKey
2021-12-31 16:03:03
1370
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人