JINGXI的博客

一、Hg介绍http://localhost:80808080端口为restful api接口http://localhost:8088/8088端口为hg的可视化组件端口1、Hg中的图概念图类似于普通数据库的数据库概念每种标签类似于数据表一个图包含了所有数据所有具有相同关系相同scheam的数据可以放到一个图中Hg中创建图不像普通数据库一样cerate databas...

1、报错Java.io.IOException:Premature EOF from inputStream可以看到是重演编辑日志时候出错了2、hadoop元数据目录Edits_ 编辑日志Fsimage_ 通过编辑日志合并而来的Edits_inprogress 正在往里写的编辑日志Seen_txid ...

1.概述1.目前的ES支持查询集群健康的API，网上也有一堆关于Es的监控的插件以及非插件2.大部分只能监控集群当前的状态，但是有时候业务上会遇到未分配的分片问题，我们无法通过未分配的分片定位到它们的位置，此时对于集群的修复是比较麻烦的。2.值得探讨不知道是不是闭着门造轮子，如果有知道过更好的监控方案的可以联系我，非常感谢!3.解决方案为了实现集群异常前的状态推送，并及时定位...

偏移量保存到数据库一、版本区别之前版本的kafka偏移量都是保存在kafka中的，而现在的kafka偏移量保存在了自己的一个特殊主题__consumer__offsets中二、维护思路根据传入的主题以及消费者组，先判断库中是否存在当前消费者组的消费记录，如果不存在，则证明为第一次消费，获取主题每分区当前的偏移量保存入库，如果存在，则读取库中各分区偏移量字段，封装为MAP，传入创建Dstre...

偏移量保存到数据库一、版本介绍具体使用方法，请看这两篇文章，下面只介绍需要修改的地方Kafka1.0.x偏移量管理以及维护思路使用等的问题看这一篇文章https://blog.csdn.net/qq_41922058/article/details/86478250Kafka2.0.0偏移量管理以及维护思路使用等的问题看这一篇文章https://blog.csdn.net/qq_419...

偏移量保存到数据库一、版本问题由于kafka升级到2.0.0不得不向上兼容，之前kafka1.0.0的接口已经完全不适应上个工具，重写偏移量维护Kafka1.0.x偏移量管理以及维护思路使用等的问题看上一篇文章https://blog.csdn.net/qq_41922058/article/details/86478250二、代码改动比较kafka-1.0.x版本，需要改动获取偏移量...

准备编程语言介绍scala、java、python、R都有spark对应的api，但如果想深入理解spark还是需要学习scala的。（scala中隐式转换特性可以很大程度提高spark开发效率）；Scala（FP+OP面向对象和函数式编程混合语言）优势在于函数式编程；scala是在java之外套了一层壳，编译之后还是.class，运行在jvm，所以java语言在学习大数据组建中也特别重要...

由于工作原因，博客没进行更新，不过文章的确写了，就是太懒不想排版，code21.cn可能不会更新了，服务器费用的确太贵场景模拟kafka实时json格式数据解析写入hive了解FlumeFlume中最重要的概念就是agent，数据流向基本依靠这三个组件•Source：用来消费（收集）数据源到Channel组件中 数据源•Channel：中转临时存储，保存所有S...

1.Git、Github、GiteeGit 是一种版本控制系统，是一个命令，是一种工具。 Github 是一个基于git实现在线代码托管的仓库，向互联网开放，企业版要收钱。 Gitee 即码云，是 oschina 免费给企业用的，不用自己搭建环境。2.下载安装Githttps://github.com/git-for-windows/git/releases/...

版权声明：本文为博主原创文章，转载请注明出处：https://blog.csdn.net/qq_41922058一、问题来源做项目开发查询所有用户功能时出现的一个严重逻辑错误。要开发一个带有后台管理用户的功能：于是先进行数据库数据查询封装进JavaBean添加进数据结构，发现界面展示的数据并不是自己想要的数据，而是最后一条记录的重复数据。二、问题展示 查询代码：public static List...