- 博客(11)
- 收藏
- 关注
RSS订阅原创 记录CDH-kafka配置外网
因为项目需要，需隔壁项目组协助拉取数据，但是公司用的阿里云，且两边的集群不在同一内网，故而需要开放kafka的端口给另外的项目组，以便于他们通过外网连接到kafka。记录以下配置，重启后生效。
2022-12-28 14:57:52
352
原创 200 port command successful. consider using pasv 425 failed to establish connection
windows->Linux：ftp报错200 port command successful. consider using pasv 425 failed to establish connection
2022-07-06 11:17:45
2317
1
原创 spark java.net.BindException: Cannot assign requested address
网上找了下原因，大致上是由于客户端频繁的连服务器，由于每次连接都在很短的时间内结束，导致很多的TIME_WAIT，以至于用光了可用的端 口号，所以新的连接没办法绑定端口，即“Cannot assign requested address”。是客户端的问题不是服务器端的问题。通过netstat，的确看到很多TIME_WAIT状态的连接。client端频繁建立连接，而端口释放较慢，导致建立新连接时无可用端口。网上的解决方法：1、先查看端口是否被占用。2、执行命令修改如下2个内核参数
2022-03-15 08:57:53
706
原创 记录修改taildir source支持windows路径正则
TaildirMatcher(String fileGroup, String filePattern, boolean cachePatternMatching, int cachePatternMatchingDuration) { // store whatever came from configuration this.fileGroup = fileGroup; this.filePattern = filePattern; thi...
2022-03-15 08:46:22
144
原创 记录一次修改flume1.9 taildir source
在测试代码中发现taildir不支持windows。且要上传很多小文件并记录文件名字。使其支持windows很多大佬已经做到，我也是站在巨人的肩膀上，copy他们的。这里记录修改taildir使其支持windows路径在不断的了解flume机制的同时发现了根本问题，hdfs路径不支持冒号作为路径因为我们获取到的fileHeaderKey 是绝对路径，所以是有冒号的fileHeader 设置为 true ，可以将日志文件的绝对路径存储在事件的header中；fileHeaderKey
2021-12-31 16:03:03
1390
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人