qq_40498209的博客

需求：拉取fsimage文件，解析成csv入库到clickhouse，为监控提供数据1、拉取fsimage在有客户端的机器上执行如下命令，拉取fsimage文件到当前目录下hdfs dfsadmin -fetchImage ./ 2、解析fsimagehdfs oiv -p Delimited -delimiter "|" -i /home/hadoop/fsimage -o fsimage.csv -t /home/hadoop/temp-delimiter:指定分隔符-i：输入文件，

flink官方提供了写metrics的方式，但是相对来说有些不灵活，不符合我当前的要求，也没法自定义动态的label值，于是自定义了sink写入到pushgateway里。代码如下： class MyPushGateWaySink(pushgatewayipport:String) extends RichSinkFunction[(String,String,String)] { var pushgateway:PushGateway = _ var gauge:Gauge = G

java.lang.AbstractMethodError: Method flink/connect/kafka/stringTest$1.deserialize(Lorg/apache/flink/kafka/shaded/org/apache/kafka/clients/consumer/ConsumerRecord;)Ljava/lang/Object; is abstract at flink.connect.kafka.stringTest$1.deserialize(stringTest.j

flink自定义format，解析cdc数据

因为要实现hbase的数据迁移，上游直接下发的region文件即图中文件，要在另一个集群上通过该文件将hbase表恢复步骤如下1.在新集群上创建hbase表，列簇同原表2.将region文件移动到新集群hbase的hdfs上该表的路径下，即图中的/hbase/data/default/hbase_test2下3.开启hbase shell，停用该表（disable ‘hbase_test2’）4.【第一次修复】执行命令： hbase hbck -repair “hbase_test2” &g

仅做记录用package cn.com.xx.sftp;import com.jcraft.jsch.*;import org.apache.commons.lang.StringUtils;import org.apache.hadoop.fs.FSDataInputStream;import org.apache.hadoop.fs.FileSystem;import org.apache.hadoop.fs.Path;import java.io.*;import java.uti

因为集群比较老，选用的spark为2.1.3版本，消费kafka时发生数据积压现象，在调试过程中，调大启动参数spark.streaming.concurrentJobs发现会报消费者不安全异常，查了好久资料，是官方源码问题，需要改动源码加上线程id，改动的类有两个，代码如下CachedKafkaConsumer/* * Licensed to the Apache Software Foundation (ASF) under one or more * contributor license a

将kafka的offset保存到zk,当任务因为某些原因终止，一段时间内没有发现，再次重启会发生offset越界问题，是因为zk中保存到offset已过期，所以，任务启动时应该做一次判断，将kafka最小的offset与zk中的比较，如果kafka最小的offset还要比zk中保存的大，此时应该从kafka的offset加一点偏移量开始消费，我这边由于数据量比较大，偏移量为50wimport java.util.Propertiesimport kafka.utils.{ZKGroupTopicDir

我尽量写的详细一点，从主函数开始main没啥东西，就是一个方法的调用path：制表符分割的csv文件ip：es的ip地址port：9200，看到网上很多说bulkprocessor用9300的，但是我用一直报错，两个都试一下吧args[2]:ES的用户名args[3]:ES的密码readcsv readcsv = new readcsv();readcsv.readCsv(path,ip,port,args[2],args[3]);readcsvpublic class readcsv

读取test.csv的内容，map将内容转换为Row类型，然后注册为tableval stream = env.readFile(inputFormat,"D://test.csv",FileProcessingMode.val stream = val stream = env.readFile(inputFormat,"D://fsimage.csv",FileProcessingMode.PROCESS_CONTINUOUSLY,1000L).setParallelism(1)val strea