2016年05月_夕阳那边

06月 05月 04月 03月 01月

原创 List 的选择排序

/** * Definition for singly-linked list. * struct ListNode { * int val; * ListNode *next; * ListNode(int x) : val(x), next(NULL) {} * }; */class Solution {public: ListNode *in

2016-05-31 20:28:01 535

原创对链表进行排序

对链表进行排序：参考的思路是来自于这位“哥们 ”https://leetcode.com/discuss/92326/share-my-c-concise-solutions-easy-to-understand/** * Definition for singly-linked list. * struct ListNode { * int val; *

2016-05-31 14:41:32 769

原创（四）Hyper如何将数据整合以及取数据

Hyper中取数据流程如上图：其中，在取数据的时候会将数据横切，分批次输出，这样做的好处是考虑到内存的cache。还有，为什么Hyper没有将数据直接取出到consumer中呢？我觉得这个和DataBlock数据组织有关系，因为DataBoloc是按照列存储的，那应该是按照列取数据。对于hot区域，为了给上层暴露一个统一的接口，应该也是以这种方式来取数据：将数据先缓存在一个vector中，

2016-05-24 10:37:33 630

原创（三）Hyper压缩策略的选择以及JIT

hyper的DataBlock中采用了三种压缩策略。signle value 压缩：这种事当在一个block中列的值为单值的时候才用的。排序字典压缩：一般而言，string会用这种压缩方式，这样方便于做比较操作，比如等号，大于等等截断压缩：这个压缩算法是只存了数据相对于min只的偏移量，这个压缩算法不会用在string和double 上面数据会在交给消费者前被解压。感觉JIT会

2016-05-24 09:27:22 324

原创（二）Hyper如何对DataBlock中的数据进行索引

上图中展示了一个4byte的列的索引在hyper中的PSMA怎么工作的。按照Hyper的索引方式，lookuptable的有4byte*2^8= 2^1024个entry。其中，重要的的就是，如何将min和max之间的数据用这1024个entry表示。那么entry的计算方式是：其中，r是byteofdelta中除开第一个非0 的byte后剩余的byte数量。我们现在来验证可行性，假设

2016-05-23 21:39:48 294

原创（一）Hyper的数据管理概述

Hyper是一个单机的数据库，不过现在有人把它分布式化了，性能还很好。http://www.vldb.org/pvldb/vol9/p228-roediger.pdfHyper将数据分为了冷数据和热数据，冷数据就是经常读不常写的，热数据就是经常写的不经常读的。本文主要讲的是Hyper对冷数据的管理。为了能够支持对热数据的快速访问，热的数据如果要压缩必须是轻量级的压缩。在hype

2016-05-23 14:26:55 990 1

原创（一）stl源码剖析学习，遗留问题在3.7

本章节只是总结下第一章中出现的一些支离破碎的知识点。当一个类重载了（），它就变成了一个仿函数。关于空间适配器，http://www.cnblogs.com/luxiaoxun/archive/2012/08/10/2631812.html。给出new：分配空间，并调用构造函数，operator new，分配空间，不调用构造函数，但是可以被重载，placement new，重载的operat

2016-05-16 21:10:39 272

原创待续(四）spark学习系列

这章节主要延续的（三）中的shuffle模块提供的shuffle read。在spark 中，shuffle read是提供给shuffle的后继用来读取shuffle数据的。当需要读取远程数据的时候，1.每次只会开最多5个线程进行读取2.每次请求的数量不会超过maxmbinflight，默认是45M/5，这样的好处是，限制数据的读取量，当一个节成为了网络拥塞节点后，在它上面读取数据的

2016-05-16 00:02:58 293

原创待续。。。。。

http://www.zhihu.com/question/26568496http://dongxicheng.org/framework-on-yarn/apache-spark-shuffle-details/

2016-05-15 16:38:59 272

原创倒排索引

转自 wiki百科：比如说，现在有这些文章以及文章中含有的单词以英文为例，下面是要被索引的文本：文本0 - "it is what it is"文本1 - "what is it"文本2 - "it is a banana"我们就能得到下面的反向文件索引： "a": {2} "banana": {2} "is": {0, 1,

2016-05-13 17:30:19 416 1

原创 weak_ptr和shared_ptr，以及什么时候用weak_ptr

参考文章https://cloud.github.com/downloads/chenshuo/documents/CppPractice.pdf值语义 (value sematics) 指的是对象的拷贝与原对象无关，就像拷贝 int 一样。 C++ 的内置类型 (bool/int/double/char) 都是值语义，标准库里的 complex、vector、string 等等类型也都是值语

2016-05-13 11:50:19 945

原创 const_cast 如何实现的

在c++里面，类型之间的转换是要检查的，但是指针之间的类型的转换并不检查原来的类型，例如下面的代码：（const_cast实现的原理）int main(){ const int constant = 21; int* modifier = (int*)(&constant); *modifier = 22; cout<<constant<<endl; cout<< *modifi

2016-05-11 15:27:01 1607

转载需要手写的算法之---------------归并排序

这里只是给出二路归并归并的思想是，将要排序的区间里面的数据分成两个部分，然后分别对他们进行二路归并，最小的粒度是当两个区间的数据都是只有一个，或者有一个没有的时候。具体的代码如下：http://blog.csdn.net/morewindows/article/details/6678165/

2016-05-08 15:57:11 524

原创最长子序列问题（时间复杂度O（nlog（n））

问题：10 ， 9 ， 8 ， 1， 2， 5 ，3,最长子序列是 1， 2， 5。最长子序列长度是3。思路：用一个数组表示当前的最长的子序列，在接下来新增加的元素中，找到这个子序列中某个可以被新的值替换的位置，这个位置要满足被新的值替换后，依然保证数组中保存的是最长的子序列，并且在此基础上可以有更多的值并入这个数组code：class Solution { public:

2016-05-07 21:06:27 464

原创 N个加油站问题

问题：城市的环形路有n个加油站，第i个加油站的油量用gas[i]来表示，你有如下的一辆车：它的油缸是无限量的，初始是空的它从第i个加油站到第i+1个加油站消耗油量为cost[i]现在你可以从任意加油站开始，路过加油站可以不断的加油，问是否能够走完环形路。如果可以返回开始加油站的编号，如果不可以返回-1。https://leetcode.com/problems/ga

2016-05-07 13:41:17 1308

原创感觉略炫酷的将正在运行的程序切换到后台运行

首先，你需要一个正在运行的程序a.out然后获取到这个进程的进程号（ps -al ）然后 gdb -p 进程号在gdb 里面调用close( 方法很多，比如 p （int） close(1) ；比如 call close(1) )然后呢，因为刚才关闭了文件描述符1，我们新创建一个文件调用 call creat("a.out.txt" , 0600)，这个文件描述符其实又是1 ，

2016-05-06 11:49:35 503