- 博客(4)
- 收藏
- 关注
RSS订阅原创 linux不同服务器不同用户实现免密登录
linux不同服务器不同用户实现免密登录在网上搜索了很多资料，都是不同服务器同一用户的免密登录，最后经过各种尝试发现了实现方法。A服务器的用户user1,B服务器的用户为user2在A服务器切换用户user1,输入命令生成密钥：ssh-keygen –t rsa -P ‘’这条命令是生成无密码秘钥对，rsa 是加密算法，-P ‘’ 表示密码为空。询问其保存路径时直接回车采用默认路径。生成的密钥对：id_rsa和id_rsa.pub，默认存储在"/home/user1/.ssh"目录下。
2020-12-23 17:28:53
1284
原创 flume+kafka，kafka日志存储暴增，数据重复传输
以下是错误配置agent.sources = kafkaSource1 agent.channels = kafkaChannel agent.sinks = sqlSinkagent.sources.kafkaSource1.channels = kafkaChannelagent.sinks.sqlSink.channel = kafkaChannel######source c...
2019-01-16 16:21:32
1253
原创 flume修改sqlsource以针对时间戳增量数据传输
flume修改sqlsource以针对时间戳增量数据传输flume github关于增量数据传输的原理，是通过唯一id，递增，每次记录传输的数据量+current_index=last_index，不符合我们此次项目没有增量id的情况。由于数据存在时间戳标志，因此改写flume sqlsource以应对实际需求：每次增量传输先查询数据库中当前最大的时间戳，记录为maxtime查询数据库：...
2019-01-16 15:08:21
989
1
原创 flume自定义sqlsink写入postgres异常
flume自定义sqlsink写入postgres异常postgres一直报： invalid message format使用java写sqlsink，打印出报错的数据操作行，没有发现格式上有错误，后来用python直接读写oracle到postgres，看到了有异常字符的问题，最后发现是**\u0000** 字符的问题，\u0000是被postgres拒绝的，因为非ASCII unicod...
2019-01-16 14:44:10
625
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人