Gary 的影响力 - CSDN博客

置顶 Waterdrop帮你快速玩转Spark数据处理

Waterdrop 是一个非常易用，高性能，能够应对海量数据的实时数据处理产品，构建于Apache Spark之上。

2018-02-28 00:14:38

置顶每秒百万级流式日志处理架构的开发运维调优笔记

荣幸之至，我们团队在实时日志分析、搜索项目中曾经应对过百万级的挑战，在这方面有长足的进步。本文以笔记和问答的形式记录了我们曾经遇到过的实际问题及解决方案，而非小白式的大数据科普文章。相信只有真正做过每秒近百万以上的实时日志处理业务，遇到过棘手问题，才能深刻感受我们当时越不过高坎的窘境与解决问题后的...

置顶为什么容器技术将主宰世界

为什么容器技术将主宰世界由于本文篇幅较长（我竟然写了7千多字），为了帮助你快速理解，我先列出核心思想：先讲一个集装箱改变全球运输业的生动故事，再拿容器技术与集装箱做联系与对比，说明笔者是如何通过集装箱参悟了容器技术的发展命脉 —— Docker实现了应用发布和运行的集装箱化。说说容器技术，尤...

置顶 Better ELK, 新浪实时日志分析服务进化

我从2014年初入职新浪后就开始接触实时日志分析相关的技术，主要是ELK(Elasticsearch, Logstash, Kibana)，当时是学习+ELK优化，接一些日志，小打小闹。从2015年起，我们正式得把实时日志分析分析作为服务提供给公司的其他部门。今天要给大家分享的是在服务化的道路上，...

置顶开源分布式搜索平台ELK(Elasticsearch+Logstash+Kibana)入门学习资源索引

Github, FogCreek, Stackoverflow, Foursquare，等公司通过elasticsearch提供搜索或大规模日志分析可视化等服务。博主甄选了以下有用的中英文slides以及blogs或相关的学习网站分享出来, 内容包括分布式索引与搜索服务Elasticsearch,...

置顶喜欢sublime的N多理由

刚工作的时候，项目组都用UltraEdit，我也随大流。我使用UltraEdit（UE）工作的时间仅有2个月，我对UE的印象一直是不亲切，功能齐全常用的却不多，一些功能与配置在菜单和界面中的位置与我期望的不一样，没有舒适的配色方案等等。后来用Notepad++ , 大概半年左右。N...

python coding style guide 的快速落地实践

机器和人各有所长，如coding style检查这种可自动化的工作理应交给机器去完成，故发此文帮助你在几分钟内实现coding style的自动检查。

测试

这是一个测试

Tutorial: 使用rsyslog向kafka, elasticsearch推送日志

本文介绍了一种简单易行的使用rsyslog向kafka,elasticsearch推送日志的方法；rsyslog的omkafka插件的安装、使用方法；rsyslog的omelasticsearch插件的安装、使用方法。

Elasticsearch 2014年12月简报

Elasticsearch 1.4.2, 1.3.7发布了， Logstash 1.5.0 Beta 1发布了， Kibana 4 Beta3 发布了，Marvel 1.3.0 发布了，还有一大堆好内容来袭。

Elasticsearch 2014年11月简报

Elasticsearch 1.4.0发布了, Elasticsearch 安全工具Shield即将发布, kibana 4 beta 2发布了,The ELK Stack in a DevOps Environment

Elasticsearch 2014年10月简报

Elasticsearch 2014年10月简报:发展动态，重要更新，社区新闻。

读过几百份简历后，我对求职和写简历的新感悟

最近由于帮助朋友做了一些内推工作的缘故，期间阅过几百份应聘研发、数据分析、运营、设计等职位的简历，与HR有过沟通接触，再结合我上次求职的经历，作了一些总结，关于求职和简历。

github开源项目介绍-使用pygrok轻松解析字符串(log, event..)

Pygroks是一个开源的Python字符串解析库，github地址：https://github.com/garyelephant/pygrok。正如其项目主页所述，它可以用来解析字符串形式的log, event等，将字符串中有用信息提取出来。这个字符串解析库支持正则表达式匹配，它提供了众多预定...

AWS s3 python sdk code examples

Yet another easy-to-understand, easy-to-use aws s3 python sdk code examples.

面试你的面试官

* 如果你想找到适合你的公司 * 如果你想找到适合你的职位. 记得面试你的面试官，没错！做出很重要的职业决定前，面试你的所求职的公司及你的面试官，做什么事不重要，跟谁一起做才重要。

使用Redis bitmaps进行快速、简单、实时统计

getspool.com的重要统计数据是实时计算的。Redis的bitmap让我们可以实时的进行类似的统计，并且极其节省空间。在模拟1亿2千8百万用户的模拟环境下，在一台MacBookPro上，典型的统计如“日用户数”(dailyunique users) 的时间消耗小于50ms, 占用16MB内...

如何判断一个Http Message的结束——python源码解读

HTTP/1.1 默认的连接方式是长连接，不能通过简单的TCP连接关闭判断HttpMessage的结束。以下是几种判断HttpMessage结束的方式： 1. HTTP协议约定status code 为1xx，204，304的应答消息不能包含消息体（Message Body）, 直接忽略...

SVN Hook + Python实现commit后自动发送邮件

svn 的hook机制方便了用户根据svn动作自定义一些操作，post-commithook是当用户执行commit后执行的用户自定义操作。如用户commit后，自动调用post-commit hook script群发邮件到项目组。实现过程是Commit后post-commithook 自动调用...