大数据合集
文章平均质量分 67
记录日常大数据开发过程中遇到的问题,新技术点
cullinans
这个作者很懒,什么都没留下…
展开
-
Flink StreamingFileSink 文件到hdfs 文件一直处于inprogress状态无法生成正式文件
问题描述:任务逻辑是通过实时读取Kafka数据,一分钟计算一次数据,并利用Flink StreamingFileSink将数据落地到HDFS文件中。为了应对大促剧增的数据量,对当前运行稳定的集群进行了扩容处理,任务重启后发现写入的hdfs文件一直处于inprogress状态无法滚动生成正式文件。解决过程:开始是猜想可能是并行度过多,导致产生大量临时文件,文件句柄太多,关闭耗时导致文件一直无法完成合并?将并行度调整到1,发现问题并没有解决。又猜想是因为调整了checkpoint参数,禁用掉che原创 2022-01-30 10:53:11 · 7460 阅读 · 2 评论 -
CDH集成Flink开启Kerberos认证报错解决方法:Could not find a ‘KafkaClient‘ entry in the JAAS configuration.
问题CDH集成Flink,开启Kerberos认证之后,Flink任务中访问kafka运行时遇到如下错误信息: Could not find a 'KafkaClient' entry in the JAAS configuration. System property 'java.security.auth.login.config' is /pub/yarn/nm/usercache/cs/appcache/application_1611045309594_0115/jaas-1662202841原创 2021-01-20 16:37:42 · 6035 阅读 · 2 评论 -
一致性哈希算法的原理与实现
一致性哈希算法是分布式系统中常用的算法。比如,一个分布式的存储系统,要将数据存储到具体的节点上,如果采用普通的hash方法,将数据映射到具体的节点上,如key%N,key是数据的key,N是机器节点数,如果有一个机器加入或退出这个集群,则所有的数据映射都无效了,如果是持久化存储则要做数据迁移,如果是分布式缓存,则其他缓存就失效了。 因此,引入了一致性哈希算法:把数据用ha转载 2017-06-28 23:25:54 · 724 阅读 · 0 评论 -
高版本logstash收集log4j日志
前言logstash在旧版本中有log4j输入插件可以直接通过项目中配置log4j来实现日志的收集,但是在高版本的logstash利用log4j插件是收集日志时一直收集不到, 通过阅读最新官方文档,才发现高版本logstash的log4j插件已经过时,官方推荐使用filebeat输入插件来log4j日志。利用filebeat收集log4j日志,官方文档有相关介绍,下述内容是本人实践记录总结,不...原创 2018-03-29 10:54:37 · 8243 阅读 · 6 评论 -
windows系统安装运行filebeat
windows安装filebeat,记录一下防止自己忘记。下载安装包 下载地址:https://www.elastic.co/downloads/beats/filebeat解压到指定目录打开解压后的目录,打开filebeat.yml进行配置。①:配置 Filebeat prospectors->path 这里的路径是所要收集日志的路径 ②:配置 enab...原创 2018-03-30 10:18:41 · 14296 阅读 · 2 评论 -
Elasticsearch 使用教程
前言该文章是我读《Elasticsearch权威指南》后的知识总结,学习任何一门技术,读任何一本书都需要总结知识经验,好记性不如烂笔头,初识elasticsearch,如有总结不恰当的地方,还请各路大神不吝赐教。Elasticsearch知识总结:一.是什么Elasticsearch 是一个分布式、可扩展、实时的搜索与数据分析引擎。它是全文检索、结构化搜索、分析以及这三个功能的...原创 2018-03-30 10:48:39 · 647 阅读 · 0 评论 -
CDH5.16.1 集成 Flink-1.10.0
CDH5.16.1 集成Flink-1.10.0提示:文章写完后,目录可以自动生成,如何生成可参考右边的帮助文档文章目录CDH5.16.1 集成Flink-1.10.0前言一、pandas是什么?二、使用步骤1.引入库2.读入数据总结前言一、pandas是什么?二、使用步骤1.引入库2.读入数据总结前言提示:这里可以添加本文要记录的大概内容:例如:随着人工智能的不断发展,机器学习这门技术也越来越重要,很多人都开启了学习机器学习,本文就介绍了机器学习的基础内容。提示:以下是本篇文章正文内容,原创 2020-11-07 12:30:48 · 1418 阅读 · 1 评论