hanqingkuo-CSDN博客

原创 2020-08-27

ranger-0.5编译，但是很多包得手动下载如下：wgethttp://conjars.org/repo/org/pentaho/pentaho-aggdesigner-algorithm/5.1.3-jhyde/pentaho-aggdesigner-algorithm-5.1.3-jhyde.jarwgethttp://conjars.org/repo/eigenbase/eigenbase-properties/1.1.4/eigenbase-properties-1.1.4.jar...

2020-08-27 17:50:15 236

原创 Hbse 基础

数据模型 Name Space 命名空间，类似于关系型数据库的 DatabBase 概念，每个命名空间下有多个表。HBase 有两个自带的命名空间，分别是 hbase 和 default，hbase中存放的是 HBase 内置的表， default 表是用户默认使用的命名空间。 Region 类似于关系型数据库的表概念。不同的是，HBase 定义表时只需要声明列族即可，不需要声明具体的列。这意味着，往 HBase 写入数据时，字段可以动态、按需指定。因此，和关系型数据库相

2020-06-12 16:59:25 726

原创 Hadoop纠删码算法启用ISA-L加速库

启用ISA-L步骤如下：安装yasm和nasm在Hadoop集群所有节点上安装yasm和nasm。如果没有yum, 可以直接下载对应的源码，使用make进行安装nasm 对应的下载地址https://www.nasm.us/pub/nasm/releasebuilds/2.14.03rc2/linux/下载对应的rpm可以直接使用 yum localinstall 安装yas...

2020-04-15 16:08:23 2065 1

原创 IA之32位体系下Linux系统下虚拟地址映射（下）

在上篇我们讲到段机制实现了逻辑地址到线性地址的映射，接下来检测是否开启分页机制，如果未开启分页机制此时的线性地址就是物理地址；如果开启了分页机制，那么此时的线性地址（虚拟地址）需要经过多级页表映射找到其物理地址。在介绍之前我们先认识了解一下CPU中的寄存器，主要分为三类，如下图所示：对于页表映射机制来说根据CPU位数的不同，他们的页表映射级数不同，32位为二级映射，36位...

2019-04-16 19:25:48 204

原创 IA之32位体系下Linux系统下虚拟地址空间映射（上）

（一）inter X86体系发展（1）在8080-8085这两种体系中，CPU位数均为8位，也就意味着ALU（算术逻辑单元）一次能够计算的整数的最大字节数为1byte,即ALU的宽度为8位，数据总线的条数为8条；地址总线的条数为16条，可寻址能力为2^16=64k,;（2）在8086又开始了一个新的体系，CPU位数为16位；从80386之后CPU位数就真正开始为32位，地址总线为20条。...

2019-04-16 19:22:47 191

原创搭建 hadoop drelephant

1. 需要的工具java 安装配置环境 http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.htmlplay 框架由于drelephant 是在play上运行的所以需要https://www.playframework.com/downloadmaven http:...

2018-07-30 20:33:59 431 2

转载 memcached 与 redis的不同及其实现

memcached和redis，作为近些年最常用的缓存服务器，相信大家对它们再熟悉不过了。前两年还在学校时，我曾经读过它们的主要源码，如今写篇笔记从个人角度简单对比一下它们的实现方式，权当做复习，有理解错误之处，欢迎指正。文中使用的架构类的图片大多来自于网络，有部分图与最新实现有出入，文中已经指出。一. 综述读一个软件的源码，首先要弄懂软件是用作干什么的，那memcache

2017-07-29 16:38:23 401

原创 atoi 字串转换为数字

#include #include #include #include using namespace std;int myAtoi(char *str){if(str == NULL)return -1;int n = 0;int isNegative = 0;int num = 0;char *p = str;char *start

2017-02-28 11:31:43 401

转载 C++提供的四种新式转换

关于强制类型转换的问题，很多书都讨论过，写的最详细的是C++之父的《C++的设计和演化》。最好的解决方法就是不要使用C风格的强制类型转换，而是使用标准C++的类型转换符：static_cast,dynamic_cast。标准C++中有四个类型转换符：static_cast、dynamic_cast、reinterpret_cast、和const_cast。下面对它们一一进行介绍。1、c

2017-02-25 17:15:38 232

原创 c++一般继承内存布局

#include using namespace std;class A{public:void show(){cout}private:int a1;};class B : public A{public:void show(){coutprivate:int b1;};class C : pub

2017-02-24 19:14:37 221

原创 c++的继承布局/多态

#include using namespace std;//复杂的继承 //钻石型继承class B{public:int ib;char cb;B():ib(0),cb('b'){coutvirtual void f(){coutvirtual void Bf(){cout};class

2017-02-24 18:32:10 224

原创 c++类的继承与派生

一、基本概念1、类的继承，是新的类从已有类那里得到已有的特性。或从已有类产生新类的过程就是类的派生。原有的类称为基类或父类，产生的新类称为派生类或子类。2、派生类的声明：class 派生类名：继承方式基类名1，继承方式基类名2，...，继承方式基类名n{派生类成员声明；};3、一个派生类可以同时有多个基类，这种情况称为多重继承，派生类只有一个基类，称为单继承

2016-12-20 17:06:33 310

转载大数据的处理

第一部分、十道海量数据处理面试题1、海量日志数据，提取出某日访问百度次数最多的那个IP。首先是这一天，并且是访问百度的日志中的IP取出来，逐个写入到一个大文件中。注意到IP是32位的，最多有个2^32个IP。同样可以采用映射的方法，比如模1000，把整个大文件映射为1000个小文件，再找出每个小文中出现频率最大的IP（可以采用hash_map进行频率统计，然后再找出频率最大的几

2016-12-08 19:14:19 635

原创计算机网路知识

SOCKET API和TCP STATE的对应关系__三次握手(listen,accept,connect)__四次挥手close及TCP延迟确认(调用一次setsockopt函数，设置TCP_QUICKACK)__长连接API小心“窜包”问题在我们学习网络基础时，传输层的协议有TCP和UDP；在Linux网络编程中，我们使用socket API，实现网络通信。那么:

2016-12-08 18:22:02 213

原创哈希算法以及解决哈希冲突

散列表,它是基于高速存取的角度设计的，也是一种典型的“空间换时间”的做法。顾名思义，该数据结构能够理解为一个线性表，可是当中的元素不是紧密排列的，而是可能存在空隙。散列表（Hash table，也叫哈希表），是依据关键码值(Key value)而直接进行訪问的数据结构。也就是说，它通过把关键码值映射到表中一个位置来訪问记录，以加快查找的速度。这个映射函数叫做散列函数，存放记录的数组叫做散列

2016-12-06 11:15:34 2302

原创 select poll epoll的区别

这三组系统调用都能同时监听多个文件描述符，他们将等待由timeout指定的超时时间，直到一个文件或者多个文件描述符上有事件发生时返回，返回值就是就绪的文件描述符的数量，返回0表示没有事件发生。事件集的不同： select的参数类型fd_set没有将文件描述符与事件绑定，它仅仅是一个文件描述符的集合，因此select需要穿入三个这种类型的参数来传入输出可读可写和异常事件，由于内核

2016-11-10 08:21:43 352

原创 epoll 的 Et与lt模式的区别

epoll 对文件的描述符的操作有两种模式： LT(Level Trigger, 电平触发)模式和 ET(Edge Trigger ,边沿触发)模式。LT模式是默认的工作模式，这个模式下epoll相当于一个效率较高的poll。当往epoll中内核事件表中注册EPOLLET事件时，epoll将以ET模式来操作该文件描述符。ET是epoll的高效模式。对于采用LT工作的文件描述

2016-10-24 21:53:14 1368

原创 Proactor 与 reactor的区别

在高性能的IO设计中，有两个比较著名的模式Reactor和Proactor模式，其中Reactor模式用于同步I/O，而Proactor运用于异步I/O操作。Reactor模式和Proactor模式。其实阻塞与非阻塞都可以理解为同步范畴下才有的概念，对于异步，就不会再去分阻塞非阻塞。对于用户进程，接到异步通知后，就直接操作进程用户空间里的数据好了。首

2016-10-24 21:31:15 467