马云雷的专栏

马云雷的专栏

排序:
默认
按更新时间
按访问量

Presto入门: 配置第一个http connector

1. connector 在presto中,可以对接多种类型的数据源,今天以http 服务器数据为例,简单介绍如何接入presto。 2. 搭建http数据数据源 2.1 http数据源的schema 在http服务器上,提供一个文件,文件内容是数据源的格式。 一个文件是json格式,顶层...

2018-05-10 11:25:42

阅读数:74

评论数:0

GPU编程模型

GPU简介 GPU(graphical processing unit)是显卡内用于图形处理的器件。和CPU相比,CPU是串行执行,而GPU是多个核并行执行。GPU是一个高性能的多核处理器,有很高的计算速度和数据吞吐率。在GPU上的运算能获得相对于CPU而言很高的加速比。第一、第二代GPU出现的...

2018-03-06 09:36:08

阅读数:160

评论数:0

深入理解Presto(2) :Presto查询执行过程

Presto查询执行过程 Presto包含三类角色,coordinator,discovery,worker。coordinator负责query的解析和调度。discovery负责集群的心跳和角色管理。worker负责执行计算。 presto-cli提交的查询,实际上是一个http PO...

2018-02-26 23:33:00

阅读数:478

评论数:0

深入理解Presto(1) : Presto的架构

简介Presto是一个facebook开源的分布式SQL查询引擎,适用于交互式分析查询,数据量支持GB到PB字节。presto的架构由关系型数据库的架构演化而来。presto之所以能在各个内存计算型数据库中脱颖而出,在于以下几点: 清晰的架构,是一个能够独立运行的系统,不依赖于任何其他外部系统。例...

2017-10-12 19:56:49

阅读数:895

评论数:0

libeasy原理,架构和使用方法

libeasy 原理、架构和使用方法简介libeasy提供一个处理tcp连接的事件驱动的网络框架。框架本身封装好了底层的网络操作,只需要开发者处理其中的各种事件。本文介绍libeasy的一些实现原理,整体框架,以及使用的样例。本文是经过一系列摸索,以及wireshark抓包,再结合一些互联网上一些...

2017-07-20 09:05:07

阅读数:225

评论数:0

如何修复Kindle频繁自动锁屏和解锁

12年入手kindle dxg,用了几年年,看pdf的利器,感觉很不错, 2016年夏天的时候,kindle突然出现频繁的锁屏和解锁。在网上搜了一下,只有在贴吧找到一个类似的问题,但是没有解决方案,联系amazon的客服,客服也没办法解决。 没办法,只要自己捣鼓。刚开始的时候,从网上看到一些信息说...

2017-07-10 20:06:45

阅读数:2112

评论数:1

do while 循环的执行逻辑

do while 相对于while循环而言,平时用的非常少,因此有一些问题也非常的容易出错。 比如,在do while的循环体中,假如有一个continue,那么你觉得这个continue会跳转到do呢?还是条传到while呢? 答案是跳转到while,直接执行while里边的判断条件

2016-03-29 15:16:23

阅读数:272

评论数:0

facebook静态代码检查工具开源了!

以前一直想写个静态代码的检查工具,能够根据语法分析自动找出内存泄露的问题,今天发现facebook开源了这样一个工具,可以检查Java , Object c  和c代码,美中不足的是不支持C++。 facebook的这款工具叫Infer,用于在发布移动应用之前对代码进行分析,找出潜在的问题。目前...

2015-06-15 20:08:54

阅读数:734

评论数:2

使用wordpress搭建博客过程中遇到的一些问题

对于一个新手而言,第一次使用wordpressda'jia

2014-09-06 13:51:47

阅读数:343

评论数:0

wget获取一个url的完整目录

wget -r -l1 -np -nd http://your_url/your_folder/

2013-10-18 10:22:43

阅读数:1419

评论数:0

libcurl在ipv6被禁止的情况下的性能下降

最近我们的集群业务量增加了上百T。然后发现集群的cpu使用率和load上升的非常高,load最高达到了60。团队分析了性能原因,发现发送结果数据到另一个集群的逻辑消耗了大部分的cpu,于是对这部分发送逻辑进行了优化。在优化发送逻辑后,cpu下降了一半,load也下降了。但是效果并不明显。有一个机器...

2013-08-12 19:28:45

阅读数:1253

评论数:0

巧妙的设计stl中的比较函数,以避免不必要的cpu开销

在stl algorithm.h中,常利用一些排序操作,比如通过vector实现一个堆。 如果堆的每个元素是自定义结构,也就是,自己实现的类作为堆的基本元素, 那么make_heap和push_heap,pop_heap就需要开发者提供自己的比较函数。 bool __cmp(value &...

2013-08-12 19:27:25

阅读数:411

评论数:0

syslog 引发死锁

主线程在写 syslog,同时在信号处理函数中也在写syslog,当主线程在写的时候,如果同时触发了信号,那么将会导致死锁。 $pstack 4289 #0 0x00000036768df9ee in __lll_lock_wait_private () from /lib64/libc.so.6...

2013-08-12 19:26:49

阅读数:1865

评论数:0

内存检查工具

内存检测工具主要用于检测程序的堆栈错误。一般的检测方法是通过加magic number来表示正确的内存信息。如果magic number被写坏,那么就表示内存错乱了。 1编译选项: -fstack-protector & -fstack-protector-all -fs...

2013-08-12 19:25:55

阅读数:647

评论数:0

String copy on write 引发的线程不安全

一个string对象的读操作是线程安全的么?答案是否定的。读取一个string在某些情况下是线程不安全的。这是为什么呢?原因就是string在优化存储空间时采用的策略cow。 什么是cow      Cow 是copy on write的缩写。String 为了减少内存拷贝,当两个st...

2013-06-26 20:33:49

阅读数:819

评论数:0

rpm打包和yum安装,以及安装后自启动

rpmbuild 可以把源文件或者二进制文件打包成rpm包,rpm包可以放到源上进行分发。 执行rpmbuild --showrc  |grep topdir,可以找到rpmbuild 执行的根目录, 如果仅仅希望给把二进制文件打包成rpm包,那么把二进制文件放到  $topdir/BUI...

2013-03-18 15:29:45

阅读数:675

评论数:0

fork 和 sigchld 坑

最近有个项目,一个deamon进程,一个worker进程。deamon 进程会捕获SIGCHLD信号如果worker进程down掉了,deamon会收到这个信号并且重新fork worker进程。最近发现一个问题是 deamon进程fork了好几个worker进程。一度怀疑是不同的linux内涵对...

2013-03-13 14:06:38

阅读数:448

评论数:0

友元类

error:      is private 如果添加了friend之后,还是报错的话。不妨看看是不是名字空间搞错了。

2012-07-10 11:15:01

阅读数:1821

评论数:0

kindle dxg 作为电脑扩展显示器

kindle的显示器采用e-ink技术,相对于液晶屏而言,其最大的好处是不伤眼。 本文把kindle dxg作为电脑的显示器。 基本步骤 1:越狱。 越狱的文件在: http://www.mobileread.com/forums/showpost.php?p=973688&po...

2012-06-17 21:00:33

阅读数:7036

评论数:7

ubuntu 12.04 install java

for some reason , the java can not be installed like before. in this version of ubuntu, java should be installed like this: 1:sudo apt-add-reposito...

2012-06-09 13:40:26

阅读数:391

评论数:0

提示
确定要删除当前文章?
取消 删除
关闭
关闭