Linux
tinyid
Java/Python
Hadoop/Spark/Presto/Kafka/Druid
numpy/matplotlib/pandas/scipy
展开
-
R+Hadoop Rhipe部署
R版本R-2.14.2 Rhipe版本0.66 protobuf版本2.4.1 首先安装R语言软件,需要注意configure时,先设置几个环境变量,编译长shared lib cd R-2.14.2 export CFLAGS=-fPIC export CXXFLAGS=-fPIC ./configure --with-x=no --enable-R-shlib原创 2012-03-12 14:41:49 · 2893 阅读 · 0 评论 -
Thrift : the missing guide (中文翻译)
Thrift : the missing guide Diwaker Gupta me@diwakergupta.info Revision History 2012-01-20 适用于Thrift 0.6.0 潘飞(cnweike@gmail.com)翻译 1. 语言参考 1.1 类型 Thrift类型系统包含预先定义好的基本类型,用户自定义的结构体,容器类型翻译 2012-06-26 18:26:07 · 4357 阅读 · 0 评论 -
跨国际链路的数据服务系统架构设计的一种实现思路
现在数据在互联网产品中发挥的作用越来越大,很多公司都开始收集数据、整理数据,之后再数据建模、分析数据;最终我们得到的是知识,是某种规律的发现。发现知识和规律之后,我们需要将这些知识和规律运用到产品的改进或者运营中去。有些知识可以渗透在整个产品的设计中,比如说,我们通过数据分析发现,对于某种类型的网站的用户,他们大多数喜欢暖色调,那么我们就可以在设计界面的时候,多去使用一些暖色调;但是有些知识却不能原创 2012-07-30 16:15:12 · 2057 阅读 · 0 评论 -
使用heartbeat消除服务器单点
问题背景: 在系统中有一个数据收集服务(Facebook Scribe)的汇总节点,这个节点必须保证较高的可靠性。为了防止S原创 2013-08-23 18:14:13 · 1678 阅读 · 0 评论 -
使用scribe来收集数据需要注意的问题
在使用scribe的过程中,遇到了非常奇怪的问题:scribe的中心收集节点服务器,过一段时间之后,就会拒绝服务——ssh登录不上,但是ping可以ping通,只有重新启动服务器之后才能使业务恢复正常。在查找问题原因的时候在/var/log/messages文件中发现了以下的一段报错: Oct 4 18:31:07 aggr01 automount[4811]: expire_proc:原创 2013-10-08 13:47:46 · 3419 阅读 · 0 评论 -
Nginx允许跨域访问的配置问题
如今前后端分离的模式,越来越成为很多团队的选择,通过分离前后端的工作,是的双方更能关注于自己核心的工作领域,只需要通过相应的API接口进行交互。 前后端工作的分离带来的一个问题就是前后端在部署上分离的可能性,在部署上的分离又会触发浏览器安全机制——同源策略,从而导致不能访问非同域的资源。同样要解决跨域访问的问题,网上的解决方案也有很多,就是在跨域资源的响应中,加上允许跨域访问头信息即可。原创 2017-06-23 16:01:13 · 46131 阅读 · 2 评论