一只皮皮熊

随便写点啥

python 常用一行式(持续更新ing)

一行式就是通过一行python代码解决一些复杂的问题 简易Web Server # Python 2 python -m SimpleHTTPServer # Python 3 python -m http.server 漂亮的打印 from pprint import pp...

2018-04-22 18:04:24

阅读数:23

评论数:0

大数据采集方案:mysql-binlog 注意点

概要 在大数据时代,数据研发人员总是想把各类数据采集到我们的数据仓库。最典型的方案是日志收集方案: flume采集文件,转发到kafka,再使用storm写到hdfs。但是实际场景中,我们的数据源不止文件,还有mysql这类db数据。 众所周知,mysql是可以开启binlog的,也就是说我们...

2018-04-22 16:51:49

阅读数:258

评论数:0

苹果开源数据库产品-foundationdb简介(一)

FoundationDB 是“一个能在多集群服务器上存放大规模结构化数据的分布式数据库”。该数据库系统专注于高性能、高可扩展性和不错的容错能力。2015 年苹果公司收购了数据提供商 FoundationDB,目的是为了提升旗下 App Store、iTunes Connect、 iTunes ...

2018-04-22 16:16:52

阅读数:312

评论数:0

聊聊进程-1-进程间通信ipc技术

简介最近想梳理下进程相关的知识点,第一篇先谈下进程间通信的知识吧。为什么要进程间通信 数据传输,如A进程需要传一些参数到B进程 事件通知,如A进程告知B进程,你需要停止运行 进程间的分工协作,如A进程告诉B进程,你可以做xx了 数据的共享,如AB进程同时对一块数据处理 进程间通信的方式 管道 消息...

2017-08-07 00:54:26

阅读数:223

评论数:0

Protocol Buffers的简单介绍

16年3月写的一篇关于PB的文章,迁移到csdn上面来。

2017-07-16 19:56:50

阅读数:86

评论数:0

初探airflow

airflow是Airbnb开源的data pipeline调度和监控工作流的平台,用于用来创建、监控和调整data pipeline(ETL)。类似的产品有:Linkedin Azkaban github:https://github.com/apache/incubator-airflow ...

2017-04-28 20:30:44

阅读数:6267

评论数:2

mesos编译遇到的一些坑

前言mesos主要由cpp、java编写,编译起来坑比较多。笔者记录下,自己源码编译遇到的一些问题。填坑 libcurl is required for mesos to build. 安装 libcurl-devellibapr-1 is required for mesos to build ...

2017-04-04 16:58:35

阅读数:1439

评论数:0

为windows下的mysql产生大量测试数据

参考了这篇文章http://bbs.chinaunix.net/thread-4244844-1-1.html ,不过这篇文章只支持linux,windows下并不支持,特做补充。 创建临时数据表tmp_series create table tmp_series(id int,pri...

2016-08-27 21:16:48

阅读数:624

评论数:0

提示
确定要删除当前文章?
取消 删除
关闭
关闭