架构
desionwang
这个作者很懒,什么都没留下…
展开
-
HBase相关开发小结
HBase使用总结1、 使用压缩存储HBase用于大规模的数据管理,数据一般会达到TB级,量级一般会达到billion级,如果不采用压缩模式管理数据会大大的增加HDFS的存储及NameNode的管理压力,LZO压缩是HDFS支持的压缩格式,可以将数据压缩到50%左右,并且压缩和解压速度相比zip等模式要快。在HBase使用LZO压缩前需要做以下准备:1、 安装lzo-2.04-1.原创 2013-07-25 09:39:55 · 2989 阅读 · 0 评论 -
Bloom Filter原理及使用
有过搜索经验的同学们都知道,当进行网页抓取的时候都会遇到url排重的问题,当然这也是面试经常遇到的问题,同学们可能会想到很多的方法去解决这个问题,比如用数据库,kv系统,bitmap等等,但是都由于种种问题不能完全的解决掉排重的问题,数据库在大数据量和高访问量的时候往往会不尽人意,kv库会很耗内存,bitmap会出现很高的冲突率,这时候bloomfilter就成为了很好的选择,一方面是基于内存的具原创 2013-10-18 13:35:17 · 3397 阅读 · 0 评论 -
Linux下Gcc 的编译过程
在linux下开发难免会用到gcc编译,GCC(GNU Compiler Collection,GNU编译器套装),是由 GNU 开发的编程语言编译器。它是GNU编译器套装以GPL许可证所发行的自由软件,也是 GNU计划的关键部分。使用GCC编译程序时,编译过程可以被细分为四个阶段:◆ 预处理(Pre-Processing)◆ 编译(Compiling)◆ 汇编(Assembling)◆ 链接(Linking)原创 2014-10-27 13:50:15 · 1974 阅读 · 0 评论 -
如何保存指针地址 理解指针的指针
有这样一个问题就是如何使用一个整数保存一个结构体或类以及其他类型的指针,这种需求在不同语言之间调用是存在的,例如有一个结构体A:struct A{ char item1; int item2}; 需要使用一个整数b,需要用b保存这个结构体指针的地址(struct A* a = new A),使得b的值就是a的指向的地址,你可能会想直接b = a就可以了,但是编译器都不会答应。因为类型不同,一个是整数一个是指向struct A的指针。原创 2014-10-29 16:03:06 · 6359 阅读 · 0 评论 -
Android如何离线播放加密(HLS)m3u8视频——实现HLS缓存
HTTP Live Streaming(HLS)是苹果公司(Apple Inc.)实现的基于HTTP的流媒体传输协议,可实现流媒体的直播和点播,主要应用在iOS系统,为iOS设备(如iPhone、iPad)提供音视频直播和点播方案。它的工作原理是把整个流分成一个个小的基于HTTP的文件来下载,每次只下载一些。当媒体流正在播放时,客户端可以选择从许多不同的备用源中以不同的速率下载同样的资原创 2016-12-28 19:25:39 · 27535 阅读 · 8 评论