Skycrab

Act like an overlord and do whatever one wishes

排序:
默认
按更新时间
按访问量

2017年终总结(数据开发,数据分析)-忙乱

2017年终总结(数据开发,数据分析)-忙乱 每次都会感慨时间过得真快,这一次尤其明显。不时有网友问到这一年都干嘛了,怎么一篇Blog都没有?的确很汗颜,一呢2017年的确忙碌了很多,精力偏少,深入思考的少了;二是发现可输出高价值的东西偏少,没有提笔欲望。希望2018年能有所改观。 来滴滴刚好...

2018-01-13 18:42:13

阅读数:1198

评论数:0

2016年终总结--一个Python程序员的跨界之旅

时间过得真快,感觉15年年终总结刚写完,16年就结束了,看了blog,16年就写了可怜的8篇,对我来说16年还算顺风顺水。真正可能出乎意料的是年底我离开了呆了2年半的龙图游戏,暂时放弃了用了3年半的Python,转向了Java领域和数据仓库,这也算是跨界了吧。。。家庭16年老婆和闺女来北京住了小半...

2017-01-07 22:50:39

阅读数:5372

评论数:10

wrk 现代HTTP压测工具,动态构建请求

HTTP压测工具通用的比如apache ab, httpload, 但碰到有些请求是动态构建的,比如需要时间校验,需要做md5加密,这些工具就比较尴尬了。还好有wrk(https://github.com/wg/wrk)你可以使用,可以内嵌lua脚本,通过luajit加速,当然如果需要做分布式压测...

2016-11-04 19:02:25

阅读数:3184

评论数:0

openresty+consul动态配置更新(服务变更发现)

最近在做数据收集平台,用openresty往kafka里push数据,不管是kafka broker也好,还是一个配置也好,希望做到动态更新,不需要reload openresty。尤其是针对接口调用的认证,配置很少,如果每次都去redis或mysql中去取感觉也没有必要,直接用lua做配置表无疑...

2016-10-19 18:26:28

阅读数:6134

评论数:0

Nginx容器动态流量管理方案-nginx-upsync-module+nginx_upstream_check_module初体验

缘起最近一直在研究日志收集系统的框架,之前在线游戏的数据发送都是由游戏服务器发送的,我来之前一直是rsync传输,也还算稳定。但现在上了单机游戏,只能由手机客户端直接发送,dau比较高,最近很火的<<贪吃蛇>>在海外上线,一个星期dau已经达到千万级别。初步方案,lvs做4...

2016-10-12 22:14:38

阅读数:8962

评论数:0

100行代码实现gevent调度模型

昨天心血来潮看了https://github.com/locustio/locust/的源码,经常用ab或者httpload的童鞋可以看下locust的代码,支持分布式运行,通过gevent可以单机开N个协程模仿并发用户,分布式rpc用了zmq的PUSH,PULL模式,不得不说zeromq的确简洁...

2016-09-29 14:45:25

阅读数:2443

评论数:0

# mysql CREATE TABLE IF NOT EXISTS metadata lock坑

mysql CREATE TABLE IF NOT EXISTS metadata lock坑今天早上被一声声警报声给吵醒,拿起手机一看,too many processes,proc.num达到了529,我一愣,什么情况,这报警是第一次遇到,还是同时3台服务器都报警。赶快登陆服务器看看,ps一下...

2016-07-29 17:57:43

阅读数:2995

评论数:0

记一次django queryset的缓存优化

缘起看着我们单表记录快7000万行,突破亿行已经指日可待了,于是打算数据库分表,对应用层相对透明的做法就是引入数据库中间件,业界虽然有一些方案,比如阿里,360的,但大部分都是java或c的,最后看向了https://github.com/flike/kingshard,这是golang写的,代码...

2016-07-23 18:52:33

阅读数:5220

评论数:0

git远程外网地址变内网怎么破(ssh本地端口转发)

git远程外网地址变内网怎么破(ssh本地端口转发)?最近给longtubas上了负载均衡,相对来说我们并发并不高,但希望可用性尽可能高,本来打算用不饱和的机器做个lvs集群的,但IDC说给个额外的公网ip需要申请机器,推荐我们用云自带的负载均衡,倒也省的自己配置,IDC把之前公网ip绑定到负载均...

2016-05-26 13:04:54

阅读数:7008

评论数:0

玩转Python让人讨厌的编码问题

Python的编码问题基本是每个新手都会遇到的坎,但只要完全掌握了就跳过了这个坑,万变不离其中,这不最近我也遇到了这个问题,来一起看看吧。事情的起因是review同事做的一个上传功能,看下面一段代码,self.fp是上传的文件句柄fpdata = [line.strip().decode('gbk...

2016-01-31 00:03:08

阅读数:27549

评论数:1

2015年终总结

拖了好多天,一直想写,却一直没有动笔,赶在15年年会后的第一个周末也是随缘。家庭毕业2年半了,这两年走完了很多人很多年走完的路,结婚,生子。虽说速度有点过快,甚至有时自己都感觉不太真实,但一切都挺美好,生活就是这样不需要刻意的去安排去准备,一切随缘。看着闺女天天无忧无虑的玩耍,总是让我心情大好,同...

2016-01-24 21:19:45

阅读数:3998

评论数:8

如何面试Python后端工程师?

前一段时间有人在知乎提了http://www.zhihu.com/question/33398583,如何面试Python工程师?我斗胆回答了一下, http://www.zhihu.com/question/33398583/answer/59017861吃午饭的时候我就一直在想这个问题,我觉...

2015-11-04 15:07:50

阅读数:23597

评论数:21

Linux内核参数详解

内核参数详解长期更新SYN_RECV服务端收到sys,还未发出syn+ack 1.net.ipv4.tcp_synack_retries 默认值5,linux对应1+2+4+..32=2^6-1=63s2.net.ipv4.tcp_syncookies 应该设置为1,防止SYN Flood。...

2015-07-30 09:23:20

阅读数:10378

评论数:0

Effective TCP/IP Programming读书笔记

TCP/IP深入思考TCP/IP这是我读Effective TCP/IP Programming的 读书笔记和思考,以及做的一些实验。强烈建议后端工程师有空读一读这本书,有些细节的确是我们平时没有注意的,读了最好自己动手做一些实验加深理解。fin的含义对端发送fin会导致read()返回,但sen...

2015-07-26 16:20:31

阅读数:3053

评论数:0

Linux/Unix系统编程手册--SOCKET章节读书笔记

SOCKET章节读书笔记强烈推荐Linux/Unix系统编程手册,号称超越APUE的神书。backlog含义#include <sys/socket.h> int listen(int socketfd, int backlog)backlog参数限制未决连接(未accept)的数量,...

2015-07-21 19:19:45

阅读数:2887

评论数:0

读《《图解TCP-IP》》有感

读《《图解TCP/IP》》有感 TCP/IP 最近几天读完《《图解TCP/IP》》,收获蛮多,记得上学时读stevens的《《TCP/IP详解》》时那是一个囫囵吞枣,没认真看也看不下去。等有时间再拜读下《《TCP/IP详解》》吧,估计能有不少共鸣。现在觉得,要想比较透彻理解TCP/IP,还得需...

2015-07-15 21:09:37

阅读数:5206

评论数:2

golang sortedset 实现(基于redis skiplist)

在游戏中排行榜是很常见的需求,之前一直使用的是redis的sortedset,所以就把

2015-06-25 20:22:25

阅读数:3407

评论数:0

给golang增加websocket模块

最近打算做一款类似腾讯>的h5游戏,之前打算用skynet来做,所以给skynet增加了websocket模块,https://github.com/Skycrab/skynet_websocket。刚好最近在学习golang,考虑之下打算用golang来实现,说不定过段时间还能整个gola...

2015-06-02 21:04:23

阅读数:8975

评论数:1

golang 高效低精度定时器实现

golang默认定时器是通过time模块实现的,不管是golang,libev,libevent的定时器都是通过最小堆实现的,通过最小堆实现的定时器加入定时器时间复杂度为O(lgn),在需要大量定时器时效率较低,所以Linux提供了基于时间轮的实现,我们本次提供的定时器实现就是标准的Linux时间...

2015-05-31 18:56:57

阅读数:10112

评论数:6

微信公众平台开发利器-weixin-knife(Python版)

这两天将之前基于微信公众平台的代码重构了下,基础功能以库的方式提供,提供了demo使用的是django,看着之前为赶进度写的代码真的惨不忍睹,所以weixin-knife产生了,正如其名,提供的是必要的功能,而不是完整的应用。weixin-knife可以很方便的处理关注,取关注事件,处理文本消息,...

2015-05-15 20:17:29

阅读数:29787

评论数:8

提示
确定要删除当前文章?
取消 删除
关闭
关闭