自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

一只皮皮熊

随便写点啥

原创 kafka的86条笔记,全会的肯定是高手
原力计划

笔记源自:《深入理解kafka:核心设计与实现》 前言 请原谅我使用这种标题党标题。文章内容比较松散,涉及Kafka基本概念、后台设计、运营优化等各个方面。假如每一项都掌握很好的话,一定就是kafka高手! 正文 同一主题下的不同分区包含的消息是不同的,分区在存储层面可以看作一个可追加的日志...

2020-06-01 20:13:29 136 0

原创 【HBase】从MiniBase学LSM算法
原力计划

MiniBase学习笔记 https://github.com/pierre94/minibase HBase相对复杂,想要快速啃下来比较困难。而MiniBase吸收了HBase最核心的引擎部分的精华,希望可以通过学习MiniBase以小见大,能够对自己理解HBase这个庞然大物有所帮助。...

2020-05-18 15:51:13 52 0

原创 【kafka】__consumer_offsets部分分区异常导致消费不到数据问题排查
原力计划

部分消费组无法通过broker(new-consumer)正常消费数据,更改消费组名后恢复正常。

2020-04-24 13:15:25 236 0

原创 【kafka】源码分析-Producer过程全解
原力计划

Kafka,作为目前在大数据领域应用最为广泛的消息队列,其内部实现和设计有很多值得深入研究和分析的地方。 本系列将从kafka 2.2.0源码入手,详细分析kafka的功能设计与实现。其中本篇文章重点分析kafka的producer过程。

2020-04-15 20:19:55 77 0

原创 【Flink】使用kafka-connector消费数据时看不到consumer-id等信息
原力计划

文章目录问题复现初步结论源码分析KafkaConsumer实现FlinkKafkaConsumer实现一句话总结 问题 复现 使用connecor消费数据的时候,我们./bin/kafka-consumer-groups.sh查看消费的情况时发现异常 而使用kafka-client的时候,这些信...

2020-04-10 21:16:24 212 0

原创 【数据结构与算法】一道关于笛卡尔积的笔试题

有英文字典: Map<Character, String[]>,示例如下: a: [a, an] b: [bird, bus] c: [call, car, carry] ... z: [zone] 输入 一个a~z组成的字符串,字符串每一位表示字典的key 输出 key映射的单词组...

2020-04-07 22:35:38 53 0

原创 【kafka】高吞吐源码分析-顺序写入与刷盘机制
原力计划

kafka作为一个处理实时数据和日志的管道,每秒可以处理几十万条消息。其瓶颈自然也在I/O层面,所以其高吞吐背后离不开如下几个特性: - NIO - 磁盘顺序读写 - Queue数据结构的极致使用 - 分区提高并发 - 零拷贝提高效率 - 异步刷盘 - 压缩提高数据传输效率

2020-04-03 13:00:38 157 0

原创 【kafka】源码分析-ZeroCopy助力kafka实现高吞吐
原力计划

文章目录系列前言ZeroCopy基础概念传统IOZeroCopy是什么Java中的ZeroCopykafka实现具体使用使用场景参考 系列前言 kafka作为一个处理实时数据和日志的管道,每秒可以处理几十万条消息。其瓶颈自然也在I/O层面,所以其高吞吐背后离不开如下几个特性: NIO 磁盘顺序读...

2020-04-01 21:17:25 75 0

原创 【kafka】consumer offset提交异常时数据会重复么?
原力计划

文章目录一、问题描述:问题:初步思考二、场景复现:测试环境:复现三、问题分析:日志服务端源码参考 一、问题描述: 问题: kafka consumer消费poll到某分区数据后未及时commit offset,此时另外一个消费线程消费该分区时会消费到重复数据么? 初步思考 我们已知: 一个分区在...

2020-03-31 22:02:20 266 0

原创 【Java】强引用、软引用、弱引用、幻象引用
原力计划

加强对jvm基础知识的了解,将jvm学习的一些知识总结下来。后续将引出一系列文章。 文章目录一、基本概念强引用(StrongReference)软引用(SoftReference)弱引用(WeakReference)幻象引用(PhantomReference)二、价值与精髓抽茧成丝价值1:判断对...

2020-03-30 21:46:15 43 0

原创 【Java】排障方法论
原力计划

大神文章的总结。整理人: pierre 文章目录一、备份现场1、备份应用日志2、记录问题发生的时间3、备份GC日志4、监控基础资源利用率曲线5、获取堆栈快照信息6、Dump内存信息二、分析问题1、CPU综合CPU利用率高排查思路:优化建议:单核CPU利用率高排查思路:优化建议2、内存频繁FULL...

2020-03-26 13:04:25 109 0

原创 【FlinkX】两个issue分析:reader和writer的通道数不一致+获取JobId
原力计划

文章目录issue详情reader和writer的通道数不一致获取JobId代码分析#issue145配置说明源码分析:#issue148 最近准备再花点时间优化一下之前的FlinkX版本,特地去看了一下项目的issues区域,发现两个自己比较关注的issue。 issue详情 reader和...

2020-03-19 20:49:54 92 0

原创 【Scala】一小时学会基础语法
原力计划

改编自 https://learnxinyminutes.com/docs/zh-cn/scala-cn/ Scala可以进行面向对象的声明式编程,也可以进行函数式编程;可以进行业务代码的编制,也可以进行元程序的编制(定义程序的程序);可以开发大规模的服务应用,亦可进行类似shell的脚本编程;...

2020-03-14 10:55:04 50 0

原创 【Flink】双流处理:实时对账实现
原力计划

这里写自定义目录标题一、基础概念二、双流处理的方法ConnectUnionJoin三、实战:实时对账实现需求描述需求分析代码实现相关阅读 更多内容详见:https://github.com/pierre94/flink-notes 一、基础概念 主要是两种处理模式: Connect/Join U...

2020-03-10 16:06:00 345 0

原创 【Flink】状态编程: 订单超时告警

文章目录一、基础概念二、Flink状态编程1、支持的状态类型2、Managed Keyed State六种类型基本API状态的生命周期3、Managed Operator State三、案例:订单延迟告警统计1、需求描述2、需求分析3、数据与模型4、详细实现 一、基础概念 在Flink架构体系中,...

2020-03-04 10:39:59 544 0

原创 【Flink】学习笔记-20200302更新

flink-notes flink的一些学习笔记,将在github上持续更新 https://github.com/pierre94/flink-notes 一、技术博客索引 Flink中文官方文档 综合类,中文,不全 Flink官方博客 读文档永远是学习的首选方向 Fli...

2020-01-13 19:39:09 136 0

原创 【FlinkX】数据同步工具的研究与实践

文章目录一、Flink简介与数据同步需求1、Flink简介2、数据同步需求1)支持多种部署模式2)分布式资源调度能力3)支持断点续传3、常见异构数据同步工具对比二、Flinkx框架实现与原理1、实现概览2、任务自动组装3、并发同步实现分析1)配置文件2)并发读取分析4、断点续传1) 概念解读2) ...

2019-12-12 15:54:06 400 3

原创 【Nacos】Python读取Nacos中的ini配置

一、场景 无论从程序开发还是线上管理,通过本地配置文件\写死代码进行配置管理都是不合适的。 其实本文是一篇水文,使用一个小的方法快速实现了所谓Python近原生的云配置管理,不会太高深。 二、nacos与ConfigParser 1、nacos 阿里巴巴开源的一个配置中心,详见 为什么公司有轮子,...

2019-10-07 18:43:46 778 0

原创 【数据结构】哈希表(hashTable)

复习一下常见的数据结构与算法 ​ 一、走进哈希表(hashTable) 1.哈希表的目的 实现数据的快速查找 2.哈希表的设计原理 二、哈希表的设计要素 哈希函数-hash function 冲突解决方案-collision solution 重哈希-rehashing 1.哈希函数-ha...

2019-10-07 18:40:54 50 0

原创 《hadoop权威指南》笔记二: hdfs读写过程剖析

基于《hadoop权威指南》第四版。 温故知新 一、hdfs简介 Hadoop分布式文件系统(HDFS)被设计成适合运行在通用硬件(commodity hardware)上的分布式文件系统。 hdfs的设计如下: https://hadoop.apache.org/docs/current/ha...

2019-09-07 11:35:16 42 0

原创 【Python】谈谈Python多线程

本文环境: Python 2.7.10 (CPython)。 文章目录一、GIL简介二、Python多线程是否鸡肋1. 为什么需要多线程呢?2. 计算密集型 vs. IO密集型计算密集型验证例子3.小结三、锁与线程安全四、总结参考资料: 因为GIL的存在,Python多线程是否鸡肋? 既然已...

2019-08-19 23:27:48 159 0

原创 《hadoop权威指南》笔记一:走进hdfs

基于​《hadoop权威指南》第四版 一、什么是hdfs Hadoop分布式文件系统(HDFS)被设计成适合运行在通用硬件(commodity hardware)上的分布式文件系统。 HDFS是一个高度容错性的系统,适合部署在廉价的机器上。 HDFS能提供高吞吐量的数据访问,非常适合大规模数据...

2019-07-30 01:35:17 74 0

转载 【转载】eBPF Tracing 入门教程与实例

在 LPC'18(Linux Plumber's conference) 会议上,至少有24个关于 eBPF 的演讲。eBPF 这一实用技术,将是每个开发者需要掌握的技巧。也许你的新年目标得再多一个了:学习 eBPF! eBPF 的名称源于 extended Berkele...

2019-07-04 19:21:05 158 0

原创 【小笔记】pycharm连远程服务器开发环境时无法debug?

文章目录一、背景二、解决方法 一、背景 某公司提供可直连的高性能服务器供开发人员在上面快速开发。其中某位同学使用pycharm时遇到问题: 我用本地pycharm 连接开发机的解释器,发现可以运行Python,但是debug的时候会报 Failed to add remote port...

2019-07-02 22:36:21 495 0

原创 【Nacos】微服务配置中心介绍

文章目录一、Nacos简介二、微服务配置中心探讨1.为什么要配置管理2.配置管理策略三、Nacos基础1.NACOS设计原则2.nacos的接口3.完成的客户端实例四、一些思考1.Nacos 客户端是怎么实时获取到 Nacos 服务端的最新数据的?2.NACOS如何兼容apache的configu...

2019-06-17 10:59:23 918 0

原创 mac下制作windows10的安装镜像

文章目录一、背景二、步骤1. 下载官方镜像2.抹除u盘内容并初始化3. 镜像内容写入到U盘4. 系统安装 一、背景 在瓜大的时候曾经在计算机志愿者服务队做过志愿者,帮助很多人安装过各种各样的系统。毕业后很长一段时间,因为各种原因就没有自己装过新的操作系统(比如mac系统很稳定不折腾、公司有专业...

2019-06-14 12:05:23 7851 1

原创 【kafka】Producer笔记

文章目录一、kafka简介二、生产者基本实现1.示意图2.具体实现:2.1 Fire-and-forget模式2.2 同步模式2.3 callback模式三、producer参数调优1. acks2. retries3. serializer.class4. compression.codec5....

2019-05-13 01:29:09 314 0

原创 flume 1.9 更新说明

flume 1.9 版本更新 个人见解 关心的几个点 Flume环境变量支持float或double 高版本kafka支持与指标完善 安全相关的几点改进 总体上这个版本并没有带来太核心的变化,老版本用户可以不考虑升级。 官方说明(翻译) ** 新特性 [FLUME-2071] - Flume环...

2019-04-29 01:23:25 482 0

转载 【转】awesome-asyncio-cn

原文:https://github.com/chenjiandongx/awesome-asyncio-cn Awesome-asyncio 是 Timo Furrer 发起并维护的 Python Asyncio 资源列表。我觉得这个是很赞的想法,所以维护了一个中文版本的,在这里,收集了大量的 A...

2019-03-20 19:43:18 62 0

原创 《Kubernetes 是下一代操作系统 》读后分享摘要

给组内小伙伴做的一次关于Kubernetes的分享,内容主要来自《Kubernetes 是下一代操作系统 》 原文链接:https://github.com/answer1991/articles/blob/master/Kubernetes-is-the-next-generation-...

2019-03-11 20:23:09 117 0

转载 【转载】基于flink的分布式同步工具

文章目录FlinkX概览FlinkX的设计思路一.插件式架构二. Flink任务的自动组装FlinkX的优势一.便于使用二.性能优越三.多运行模式四.插件式开发五.错误控制六.任务资源限制欢迎试用FlinkX FlinkX概览 一.FlinkX是一个基于Flink的异构数据源离线同步工具,用于在多...

2019-02-15 16:12:06 181 0

原创 【Flink】官方文档翻译:DataStream API Tutorial

原文链接: https://ci.apache.org/projects/flink/flink-docs-release-1.7/tutorials/datastream_api.html#top 文章目录Setting up a Maven ProjectWriting a Flink Pr...

2019-01-25 01:10:59 105 0

原创 【网络】基于TC和netem实现网络异常情况的模拟

基于TC和netem实现网络异常情况的模拟 背景 笔者最近在对一个公网传输方案做测试时,需要模拟一些公网中遇到的极端情况(延迟、丢包、重复、损坏和乱序等)。惊喜地发现,Linux原生已经集成了TC和netem这对组合,只需要几个命令即可快速地实现上述功能。 TC简介 Linux内核内置了一个TC(...

2018-12-04 10:42:52 838 0

原创 使用JCommander开发命令行交互(CLI)式JAVA程序

一、前言 最近在看pulsar源码时,发现他们使用了JCommander来开发命令行交互程序,便对这个framework产生了兴趣。 传统意义上讲,JAVA并不是开发命令行程序最合适的语言,但是因为依赖一些特定JAVA库(特别是大数据相关的)的CLI程序,用java来开发却是最方便的。 puls...

2018-11-26 20:40:21 1960 0

原创 《编写高质量代码之JAVA》阅读摘要-基础篇

前言: 温故而知新。 之前阅读过Python版本的《编写高质量代码》,收获颇丰。在此,我分享下我的部分阅读笔记,供大家参考。 通用方法与准则 1.自增陷阱 count = count++; i++:先赋值后加1 ++i:先加1后赋值 c++里面,如上写法是o...

2018-09-02 23:47:05 140 0

原创 【Flume】1.8.0 开发指引

介绍 概述 Apache Flume是一个用于高效地从大量异构数据源收集、聚合、传输到一个集中式数据存储的分布式、高可靠、高可用的系统. Apache Flume是Apache基金会的顶级项目.现在有两个代码版本线可以获取:0.9.x和1.x.本文档对应的是1.x版本. 数据流模型...

2018-08-26 18:37:15 256 0

原创 快速熟悉Java(闲聊版)

一、简要 背景: java可能是很多同学大学学习的第一门或者第二门语言,大部分人可能并不需要这样一篇熟悉性语法相关的文章。 但是有一部分同学可能和我经历相似,大学课程并没有java,工作后一直从事其他语言相关的工作(如python等)。知道java是什么,也知道java的一些简单的细节(...

2018-08-19 17:17:06 357 0

原创 pycharm的python_stubs

最近在写udp socket程序时,对几个函数(如sendto)command+左击时,发现跳转到了这个python文件里面去了。(默认应该是到函数源码那里) /PyCharm2018.1/python_stubs/160944109/_socket.py 定义了如下的伪函数 ...

2018-08-08 00:40:32 2462 1

原创 【网络】UDP的若干问题

内部分型精简版 参考链接:https://blog.csdn.net/dog250/article/details/6896949 UDP SOCKET-SERVER # encoding: utf-8 &quot;&quot;&quot; @version:...

2018-08-05 17:05:27 203 0

原创 flask源码阅读笔记(4)-路由实现分析

一、url路由实现 1.基础路由 from flask import Flask app = Flask(__name__) @app.route(&amp;quot;/&amp;quot;) def hello(): return &amp;quot...

2018-07-19 00:42:57 140 0

提示
确定要删除当前文章?
取消 删除