- 博客(4)
- 资源 (4)
- 收藏
- 关注
RSS订阅原创 关于multiprocessing的Queue效率问题
今天大半天都在折腾着一个问题，就是从kafka消费消息后，后面的业务处理一直处理不过来，总是延后几个小时。为了解决这个问题，不断去调试代码，查找到相对耗时的位置，最终定位是Qeueue的问题。先上一段简化版的代码。#!/usr/bin/env python#-*- coding:utf-8 -*-from cachetools import TTLCacheimport osimpo...
2019-08-28 16:38:07
2917
4
原创 在unbutu上通过man查看C++标准函数库
在职业生涯初期养成的习惯，所有不清楚的函数用法都问下度娘或者google。除了常用的unix系统的标准函数是通过man进行查询，很少使用man函数去查询标准函数库的函数。今天不知为什么心血来潮，很长一段时间也没有写过C++的代码了（最近几个月都是做着数据分析，都是使用python），今天突然想用C++实现一个功能，于是动手去写，发现很多函数自己都忘记原型了。一个个去问google，想了想，能不能不...
2019-08-23 15:36:28
822
1
原创 kafka的应用场景
kafka作为一个消息流处理平台。很多开发人员都作它作为一个生产&消费的中间件，并没有细细去思考kafka可以在哪些应用场景中使用，下面根据我的经验，总结下kafka可以应用在以下场景中。消息队列这种场景是日常用得最多之一。我日常需要将多台服务器上的日志集中收集到一个点上，通过logstash进行扫描并发到kafka队列中，然后通过消费者程序进行消费写到hbase或者es中。...
2019-08-14 20:43:15
2201
原创 IntelliJ IDEA下构建kafka环境与源码编译
最近希望深入研究下kafka的架构，想了解架构必须去阅读其源码。于是自己动手在IDE下构建一个可运行可调试的kafka环境，下面是构建kafka环境及编译源码。一、安装jdkC:\Users\Administrator>java -versionjava version "1.8.0_172"Java(TM) SE Runtime Environment (build 1.8....
2019-08-12 17:21:52
1788
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人