- 博客(29)
- 收藏
- 关注
RSS订阅原创 数据分析服务建设（未完待续）
数据中心要诀：全、稳、准、快 为做到上面四方面，需要如下几方面的辅助工作：（因时间关心，如下文字部分待续）一、稳定性-数据监控源监控1.游戏内数据post可能丢数据（go开发syslog-ng嵌入程序，数据转发到Beanstalk。队列管理保证数据完整性）2.Scribe到hdfs可能丢数据，和rsync对比3.syslog-ng日志汇总可能丢。各机器各业务日志数量同...
2014-08-11 10:44:40
158
原创 GC浅记
翻译：http://en.wikipedia.org/wiki/Garbage_collection_(computer_science)之前用c/c++，没有GC的概念，后来用php只知道是采用引用计数的方式进行垃圾回收。学习go时，很多人说go的GC有问题，为此本篇从概念上一探究竟——GC是干嘛的？概念GC（garbage collection）是自动内存管理的意思，自动释...
2014-05-25 18:47:36
139
原创 hive日志分析实战（二）
需求统计某游戏平台新用户渠道来源日志格式如下： Jul 23 0:00:47 [info] {SPR}gjzq{SPR}20130723000047{SPR}85493108{SPR}S1{SPR}{SPR}360wan-2j-reg{SPR}58.240.209.78{SPR} 分析问题的关键在于先找出新用户新用户：仅在7月份登陆过平台的用户为新用户...
2013-08-16 19:08:31
307
原创 hive日志分析实战（一）
分析用户玩家流失率（流失：如果一用户登陆某游戏某区服后接下来一周时间内登陆该区服的天数少于2天，则认为该用户已流失）日志格式如下：[code="text"]{"cnt":3,"src":"bbs","time":20130622063117,"qid":"100005648","gkey":"yjjh","
2013-07-04 00:21:47
223
原创 hadoop+hive使用中遇到的问题汇总
[size=medium]问题排查方式[/size][list][*] 一般的错误，查看错误输出，按照关键字google[*] 异常错误（如namenode、datanode莫名其妙挂了）：查看hadoop（$HADOOP_HOME/logs）或hive日志[/list][size=large]hadoop错误[/size][size=medium]1.datanode无法...
2013-07-02 19:07:18
786
原创 hadoop安装
[size=large][b]前期准备[/b][/size][size=medium]1.安装包下载[/size]1）jdk[url]http://download.oracle.com/otn/java/jdk/7u21-b11/jdk-7u21-linux-x64.rpm][/url]2) hadoop [url]http://apache.mirrors.tds.ne...
2013-07-01 23:04:50
88
原创 boost异步抓取
[size=large]概述[/size]基于boost库编写了一个server,应用方告知该server待抓取的url，server异步抓取完成后回调通知应用方[size=large]源码[/size][url]https://github.com/godlovesdog/boost_spider[/url][color=red]因环境依赖的缘故，github上的源码只能...
2013-06-14 11:47:16
111
原创 levelDB学习
一直想提笔写，却看到朗格科技整理的levelDB日知录，感觉自己写的东西难出其右，又没有动力写下去了。直到过了段时间，把基本原理基本全忘了，才决定就算抄一遍也要自己整理下，落实到笔头上。本文内容只是帮助自己温故levelDB原理，参考《日知录》基于自己的理解进行了删减，要了解详细的levelDB原理建议移步《levelDB日知录》([url]http://www.samecity.com/bl...
2013-06-13 22:07:35
120
原创 bloom filter server
[size=large]1.实现[/size][color=red]基于boost svn中bloom filter库编写。为beta版，需要依赖其他项目的日志库等组件，有兴趣的朋友可以私信联系，我来优化[/color][url]https://github.com/godlovesdog/bloom_filter[/url][size=large]2.简介[/size]bloom...
2013-06-08 23:57:03
91
原创 imagemagick /tmp/magick-xxxxxxxx
[size=large][b]问题[/b][/size]imagemagick在某种场景下会狂写/tmp目录，文件名形如magick-xxxxxxxx,ls -lh查看这些文件达到几百G，du -sh查看则只有几十M被这个问题折磨了许久，大晚上收报警、出去玩收报警的感觉你懂的。。。[color=red]忍够了！！！[/color][size=large][b]原因[/b...
2013-06-04 19:11:35
572
原创 [转]修改内核参数
linux之系统运行时修改内核参数 linux可以在运行时修改内核参数，而不必重启系统，这点是通过/proc虚拟文件系统实现的。 www.2cto.com /proc/sys存放大多数的内核参数，并且设计成可以在系统运行的同时进行修改。 方法一：修改/proc下内核参数文件 例如：cat /proc/sys/kernel/core_pattern ech...
2013-03-14 10:53:37
206
原创 Imagemagick-6.7.6-5安装
编译IM多次，第一次遇到如下问题：[code]/usr/bin/ld: /usr/local/lib/libz.a(crc32.o): relocation R_X86_64_32 against `a local symbol' can not be used when making a shared object; recompile with -fPIC/usr/local/li...
2013-03-08 14:06:31
662
原创 imagick-3.1安装
用Imagemagick+imagick.so两年了，今天重编竟然遇到如下错误：[code]在包含自 /home/lvbenwei/source/imagick-3.1.0RC2/imagick_file.c：21 的文件中:/home/lvbenwei/source/imagick-3.1.0RC2/php_imagick.h:49:31: 错误：wand/MagickWand.h：...
2013-03-05 17:24:57
164
原创 webp的php扩展编写
[*] 生成框架 [url]http://blog.csdn.net/heiyeshuwu/article/details/3453854[/url] 文章比较详细，不细说[*] 代码编写 libweb（[URL]https://developers.google.com/speed/webp/[/URL]）中example部分提供了cwebp的源码，只是输...
2013-02-28 16:01:22
329
原创 webp的php扩展
[i][b]2了，imagemagick支持webp，使用imagick即可，不需编写此扩展[/b][/i][*][size=x-large]下载地址[/size] [url]https://github.com/godlovesdog/webp[/url][*][size=x-large]使用[/size][code="php"]/* * 将JPEG/PNG ...
2013-02-28 15:44:32
695
原创 git使用小问题
向github提交代码时遇到以下问题：error: SSL certificate problem, verify that the CA cert is OK. Details:error:14090086:SSL routines:SSL3_GET_SERVER_CERTIFICATE:certificate verify failed while accessing https:...
2013-02-28 15:41:32
92
原创 varnish处理耗时
Varnishlog tag explanationThe intention of this page is to explain what the different tags varnishlog outputs mean.Format 830 ReqEnd c 877345549 1233949945.075706005 1233949945.075754...
2012-11-14 15:48:59
96
原创 【ZZ】NoSQL-大数据、大并发下的key-value数据库[整理]
随着NoSQL的理念越来越火，我总结一下在大数据、大并发下数据快速响应的知识，今天先开个篇，希望自己能够慢慢形成系列。这方面做的比较早的是Memcached.Anatoly Vorobey和Brad Fitzpatrick为了提升LiveJournal.com访问速度,开发了Memcached。随着他的开源，越来越多的公司开始采用他来部署实时数据应用。2007年后，互联网的数据越来越庞...
2012-11-13 16:54:11
165
原创 varnish warm up
[size=large][b]适用场景[/b][/size]众所周知,varnish是一个十分强大的缓存服务器，比squid的性能要高出很多，但相比一个最大的缺点就是如果varnish进程挂掉或服务器down机，那么所有的缓存就全部丢失了。结果就是：[list][*]原来所有缓存的文件都需要全部回源，发生雪崩。[*]重新计算请求数据，影响效率[/list]那么有什么好的...
2012-11-13 14:43:04
79
原创 ngx-push-stream模块源码学习（六）——待解决的问题
[list][*]ngx reload时，服务器与所有订阅者已断开连接，而客户端并没有感知到[*]ngx多worker模式下，当订阅者数目达到一定值时，无法稳定提供发布消息到订阅者的服务；单worker下不存在这个问题[/list]...
2012-02-21 21:47:35
84
原创 ngx-push-stream模块源码学习（五）——内存清理
[b][size=large]1.定时器[/size][/b] 采用nginx自身的定时器管理机制，具体细节待学习过nginx源码后加以补充[b][size=large]2.channel的生成周期[/size][/b][img]http://dl.iteye.com/upload/attachment/0061/7958/72bd8787-702d-3ead-b47...
2012-01-03 17:34:44
82
原创 ngx-push-stream模块源码学习（四）——订阅
一、概述push stream模块允许三种模式的订阅者：[list][*]longpolling：每收到服务端响应数据即断开连接然后迅速重连，连接耗时可以忽略[*]stream：与服务端保持长连接，持续不断的请求->响应[*]polling：以轮询的方式向等待服务端响应（只接受一次数据）——[color=red]（个人理解）[/color][/list]本文重点说明前两...
2012-01-03 17:30:22
96
原创 nginx-push-stream模块源码学习（三）——发布
[size=medium][b]一、概述[/b][/size] 发布：发布者将MSG post到某一特定通道上，channel将信息缓存在说明发布流程之前有必要说明下channel和msg的数据结构。[size=medium][b]二、数据结构[/b][/size]2.1 MSG 发布时，模块先将消息转化为ngx_http_push_stream_msg_t的数据结...
2012-01-02 23:32:11
303
原创 nginx-push-stream模块源码学习（二）——模块初始化
本文重点介绍push stream模块的构成，至于nginx如何启动、维护该模块不会详细阐述，以后有时间会做详细阐述。[b][size=large]一、模块定义[/size][size=medium]1.1. 模块配置[/size][/b] 通用nginx模块的配置struct有三种，分别是main，server和location。本模块会涉及到ma...
2012-01-02 17:47:47
116
原创 ngx-push-stream模块源码学习（一）——序言
[b][size=large]一、概述[/size][/b] 与传统的request-response的web应用模式不同，comet是一种长连接（long-held）的应用模式，从而允许服务端主动向客户端推送数据。 主流的comet技术主要有以下两个分支：[table]|分类| 描述||streaming| 客户端和服务器端保持一种长连接||long poll...
2011-12-26 10:53:15
89
原创 Linux编译安装boost1.48
[b]1.下载站：[/b][url]http://sourceforge.net/projects/boost/files/boost/1.48.0/[/url][b]2.安装[/b][code="java"]tar -xzvf boost_1_48_0.tar.g -C ~/sourcecd source/boost_1_48_0/./bootstrap.shsudo...
2011-12-25 11:02:12
217
原创 使用ngx rewrite方法简化ngx conf文件
小菜对ngx的使用仍停留在“复杂可实现”的程度，写出的ngx配置文件，虽然可用，但让明眼人一看不禁想骂一句“oh，shit！” 之前对rewrite的了解只停留在感性的url重写的层面上，对于为什么要进行重写没有体会。下面结合最近的项目时间谈谈对rewrite的认识[size=medium][b]1. 对于rest化的url针对请求方式进行rewrite[/b...
2011-12-17 17:05:31
80
原创 两种动态切图实现方案性能比较
最近在维护图床——图片存储、优化，针对业务需要，一张图片要切成多个尺寸，QPS较低，而此时展现机却非常闲，尝试进行动态切图。实现中对两种切图方案进行比较分析：[size=medium]1. nginx+php+fastcgi+image filter module+gd[/size]具体实践可参见[url]http://doyoueat.iteye.com/blog/127...
2011-12-17 15:39:59
482
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人