- 博客(4)
- 收藏
- 关注
原创 linux不同服务器不同用户实现免密登录
linux不同服务器不同用户实现免密登录在网上搜索了很多资料,都是不同服务器同一用户的免密登录,最后经过各种尝试发现了实现方法。A服务器的用户user1,B服务器的用户为user2在A服务器切换用户user1,输入命令生成密钥:ssh-keygen –t rsa -P ‘’这条命令是生成无密码秘钥对,rsa 是加密算法,-P ‘’ 表示密码为空。询问其保存路径时直接回车采用默认路径。生成的密钥对:id_rsa和id_rsa.pub,默认存储在"/home/user1/.ssh"目录下。
2020-12-23 17:28:53
1315
原创 flume+kafka,kafka日志存储暴增,数据重复传输
以下是错误配置agent.sources = kafkaSource1 agent.channels = kafkaChannel agent.sinks = sqlSinkagent.sources.kafkaSource1.channels = kafkaChannelagent.sinks.sqlSink.channel = kafkaChannel######source c...
2019-01-16 16:21:32
1268
原创 flume修改sqlsource以针对时间戳增量数据传输
flume修改sqlsource以针对时间戳增量数据传输flume github关于增量数据传输的原理,是通过唯一id,递增,每次记录传输的数据量+current_index=last_index,不符合我们此次项目没有增量id的情况。由于数据存在时间戳标志,因此改写flume sqlsource以应对实际需求:每次增量传输先查询数据库中当前最大的时间戳,记录为maxtime查询数据库:...
2019-01-16 15:08:21
1010
1
原创 flume自定义sqlsink写入postgres异常
flume自定义sqlsink写入postgres异常postgres一直报: invalid message format使用java写sqlsink,打印出报错的数据操作行,没有发现格式上有错误,后来用python直接读写oracle到postgres,看到了有异常字符的问题,最后发现是**\u0000** 字符的问题,\u0000是被postgres拒绝的,因为非ASCII unicod...
2019-01-16 14:44:10
649
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人