自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(14)
  • 收藏
  • 关注

原创 ERROR org.apache.kafka.clients.consumer.internals.ConsumerCoordinator报错以及解决

使用springboot的注解@KafkaListener读取指定分区的数据报错,具体原因不明,后续解决办法是将id进行修改,不再读取同一个id的数据。

2024-01-26 16:32:55 495 1

原创 从0开始搭建clickhouse集群

从0开始搭建clickhouse集群(bushi)

2023-02-21 15:18:09 790

原创 springboot项目使用maven打包错误:Failed to execute goal org.apache.maven.plugins:maven-resources-plugin:3.2.0

Failed to execute goal org.apache.maven.plugins:maven-resources-plugin:3.2.0

2023-02-21 14:43:59 376

原创 java操作es查询数据总量

java操作es查询count

2022-07-18 15:00:04 7777

原创 flume监控文件send到kafka

由于需求的变更需要实时传输数据,然后就要将之前的hdfs换成kafka

2022-07-13 17:11:01 562

原创 Shell实时监控目录并将数据修改格式

shell实时文件监控

2022-07-13 16:59:39 262

原创 一个普通的数据接口(mybatis)

springboot集成mybatis

2022-07-04 12:04:17 478 1

原创 java读取kafka数据写入hbase

创建kafka消费者对象和hbase实例: Properties procounsumer = new Properties(); //kafka是服务器地址 procounsumer.put("zookeeper.connect", "dap03:2181/kafka"); //定义消费者组 procounsumer.put("group.id", "aaa"); procounsumer

2022-04-26 14:47:20 703

原创 将json格式数据写到kafka(csv转json)

很简单的一个小demo,没有封装,通俗易懂public class test1 { public static void main(String[] args) throws IOException { // kafka生产者配置 Properties properties = new Properties(); properties.setProperty("bootstrap.servers", "dap01:9092");

2022-04-26 14:31:13 2711

原创 flume监控文件sink到hdfs

启动命令建议全路径/home/mjxt/apache-flume-1.9.0-bin/bin/flume-ng agent -n a1 -f /home/mjxt/test_flume/flume-conf.properties -Dflume.root.logger=DEBUG,Console配置如下# 定义agenta1.sources = s1a1.channels = c1a1.sinks = k1# sources类型a1.sources.s1.type = taild

2022-01-25 17:43:47 1295

原创 将idea的项目打包成jar上传至linux运行传参

先是idea的jar包点击okappaly下一步点开选择你刚才点的jar包点build然后打包完成上传至linux我选择的是rz直接上传,没有的可以直接使用命令yuminstall -ylrzsz下载此插件运行jar包命令java -jar xxx.jar "参数" "参数"我的代码块需要三个参数 这是我的执行命令 fileReadRunnable.run(args[0],args[1],args[2]);...

2022-01-21 17:10:11 2304

原创 txt转成excel表格

开发是idea,用maven <!--jxl--> <dependency> <groupId>net.sourceforge.jexcelapi</groupId> <artifactId>jxl</artifactId> <version>2.6.12</version> </de

2022-01-14 12:42:54 208

原创 关于在idea运行本地MapReduce的问题

在idea运行一个很普通的wordcount所需环境,反正也不知道是不是这样,就都配了没配之前一直报错Could not locate executabl ....\hadoop-2.7.3\hadoop-2.7.3\bin\winutils.exe in the Hadoop binaries配置完毕之后重启电脑就OK了.下面是pom依赖<?xml version="1.0" encoding="UTF-8"?><project xmlns="htt.

2022-01-10 16:56:38 1209

原创 配置hadoop本地环境报错

hadoop本地

2022-01-10 15:57:50 823 1

空空如也

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除