qqjlove-CSDN博客

转载深入Protobuf源码－概述、使用以及代码生成实现

深入Protobuf源码－概述、使用以及代码生成实现概述捣鼓hdfs、yarn、hbase、zookeeper的代码一年多了，是时候整理一下了。在hadoop （2.5.2）中protobuf是节点之间以及客户端和各个节点通信的基础序列化框架（协议），而基于avro和Writable的序列化框架则是这个协议里的payload，因而这一系列的文章打算从protobuf这个框架开始入手(版本2

2016-03-23 10:16:17 2409 1

转载 Storm使用到的相关技术总结

网址: http://www.cnblogs.com/panfeng412/archive/2012/12/16/storm-related-technique-summary.htmlStorm作为一个开源的分布式实时流计算框架，其内部实现使用了一些常用的技术，这里是对这些技术及其在Storm中作用的概括介绍。以此为基础，后续再深入了解Storm的内部实现细节。1. Zookee

2016-03-11 09:55:25 609

转载 JAVA的静态变量、静态方法、静态类

静态变量和静态方法都属于静态对象，它与非静态对象的差别需要做个说明。（1）Java静态对象和非静态对象有什么区别？比对如下：静态对象非静态对象拥有属性：

2016-01-19 15:10:50 691

转载索引机制、索引技术、索引设计准则

1.横向比较数据库中不同的索引机制一、引言对数据库索引的关注从未淡出我的们的讨论，那么数据库索引是什么样的？聚集索引与非聚集索引有什么不同？希望本文对各位同仁有一定的帮助。有不少存疑的地方，诚心希望各位不吝赐教指正，共同进步。二、B-Tree我们常见的数据库系统，其索引使用的数据结构多是B-Tree或者B+Tree。例如，MsSql使用的是B+Tree，Or

2015-12-21 14:35:34 650

原创 Hive编程指南---动态分区插入

Hive如果需要创建非常多的分区，那么用户就需要写很多的SQL，Hive提供了一个动态分区功能，其可以基于查询参数推断需要创建的分区名称INSERT OVERWRITE TABEL employeePARTITION(country,state)SELECT .......se.cnty,se.stFROM staged_employee se;hive根据select语句中

2015-12-17 17:32:10 956

转载 hive命令的3种调用方式

hive命令的3种调用方式方式1：hive –f /root/shell/hive-script.sql（适合多语句）hive-script.sql类似于script一样，直接写查询命令就行例如：[root@cloud4 shell]# vi hive_script3.sqlselect * from t1;select count(*) f

2015-12-17 16:39:46 701

转载 hive的查询注意事项以及优化总结 .

Hive是将符合SQL语法的字符串解析生成可以在Hadoop上执行的MapReduce的工具。使用Hive尽量按照分布式计算的一些特点来设计sql，和传统关系型数据库有区别，所以需要去掉原有关系型数据库下开发的一些固有思维。基本原则：1：尽量尽早地过滤数据，减少每个阶段的数据量,对于分区表要加分区，同时只选择需要使用到的字段select ... from A

2015-12-17 16:04:44 720

原创 Hive编程指南--管理表和外部表

管理表：管理表也被称为内部表。因为这种表，hive会或多或少的控制着数据的生命周期，正如我们所看见的，Hive默认情况下会将这些数据存储在配置项hive.metastore.warehouse.dir(例如，/user/hive/warehouse)所定义的目录下。当我们删除一个管理表时，hive也会删除这个目录中的数据，但是，管理表不方便和其他工作共享数据。例如，假设我们有一份由p

2015-12-17 15:54:38 1258

原创 hive编程指南--hive基础知识

1：Hive不是一个完整的数据库。Hadoop以及HDFS的设计本身约束和局限性得限制了Hive能够胜任的工作。其中最大的限制就是Hive不支持记录级别的更新插入或者删除操作。但是用户可以通过查询生成新表或者将查询结果导入到文件中。同时，因为Hadoop是一个面向批处理的系统，而MapReduce任务的启动过程需要消较长的时间，所以hive查询延时比较严重。传统数据库中秒级可以完成的查询，

2015-12-16 16:51:31 2457

转载 hive分区

Hive创建表和分区2013年10月17日YanBitCREATE EXTERNAL TABLE IF NOT EXISTS data_zh(ROWKEY STRING,STATION INT,YEAR INT,MONTH INT,DAY INT,HOUR INT,MINUTE INT,)

2015-12-14 14:59:07 874

转载 zookeeper原理

zk service网络结构zookeeper的工作集群可以简单分成两类，一个是Leader，唯一一个，其余的都是follower，如何确定Leader是通过内部选举确定的。zk_cluster1.jpg (84.76 KB, 下载次数: 0)下载附件保存到相册2014-9-24 22:21 上传Leader和各个fo

2015-12-14 11:11:11 539

转载什么是Zookeeper，Zookeeper的作用是什么，在Hadoop及hbase中具体作用是什么

什么是Zookeeper，Zookeeper的作用是什么，它与NameNode及HMaster如何协作？在没有接触Zookeeper的同学，或许会有这些疑问。这里给大家总结一下。一、什么是Zookeeper ZooKeeper 顾名思义动物园管理员，他是拿来管大象(Hadoop) 、蜜蜂(Hive) 、小猪(Pig) 的管理员， Apache Hbase和 Apac

2015-12-14 10:59:18 2643

转载计算机硬件基础知识

计算机硬件知识冯·诺依曼体系结构：控制器、运算器、存储器、输入设备、输出设备。微型计算机的主机组成：中央处理单元、主存储器、系统总线、输入／输出接口电路。存储器系统的组成：主存储器、辅助存储器、高速缓冲存储器。主要外部设备：鼠标、键盘，显示器、打印机，软磁盘（驱动器）、硬磁盘（驱动器）、光盘（驱动器）。计算机软件知识软件系统的层

2013-05-30 22:43:24 3935

转载中断的概念和中断处理过程

中断的概念和中断处理过程（1）中断：在运行一个程序的过程中，断续地以“插入”方式执行一些完成特定处理功能的程序段，这种处理方式称为中断。（2）中断的作用：◎并行操作◎硬件故障报警与处理◎支持多道程序并发运行，提高计算机系统的运行效率◎支持实时处理功能（3）中断的概念与术语◎按中断源进行分类：发出中断请求的设备称为中断源。按中断源的不同，中断可分为内中断：

2013-05-30 22:17:06 4822

原创 Linux编程---守护进程

Linux守护进程linux服务器在启动时需要启动很多系统服务，他们向本地和网络用户提供了linux的系统功能接口，直接面向应用程序和用户。提供这些服务的程序是由运行在后台的守护进程来执行的。守护进程是运行在后台，生存期长的一种特殊服务进程，

2013-01-04 08:23:28 1158

原创 ubuntu桌面特效设置

特效开启教程在官方Ubuntu软件中心中直接搜索“CompizConifg设备管理器”并且安装，此程序是Ubuntu上最常见的桌面特效管理软件，是必备的。安装完成之后运行，你可以看到各种各样的特效了，这里管理了从桌面，到窗口，甚至到文件的等等特效，你可以修改，但是这个时候我们还没有榨干Ubuntu的所有特效。首先选择特效分类下方的阿拉丁神灯对应的功能Anim

2013-01-03 17:17:14 5228

转载 ARM-Linux内核启动分析

ARM Linux启动过程分析

2013-01-03 16:20:18 856

原创快速排序算法

（引自百度）快速排序（Quicksort）是对冒泡排序的一种改进。由C. A. R. Hoare在1962年提出。它的基本思想是：通过一趟排序将要排序的数据分割成独立的两部分，其中一部分的所有数据都比另外一部分的所有数据都要小，然后再按此方法对这两部分数据分别进行快速排序，整个排序过程可以递归进行，以此达到整个数据变成有序序列。设要拍戏的数组是A[0]……A[N-1]，首先任意选取一个

2013-01-03 10:51:44 926

原创用c语言求一组数组的最大值以及最小值

#include//stdio.h是c的标准的i/o库，是以函数的方式向buffer写入或读取字符，iostream.h是c++的标准i/o库，引入了输入/输出流的概念，是一个类库，是以类方法从streambuf中读取，写入字符。int max=0;int min=1000;void change(int a[],int n) { int i,j,k; for(i=1;i<n;

2013-01-03 09:22:36 35103 1

原创 java程序小例子8-正则表达式

正则表达式：在计算机科学中，是指一个用来描述或者匹配一系列符合某个句法规则的字符串的单个字符，在很多文本编辑器或其他工具里，正则表达式通常被用来检索和退换那些符合某个模式的文本内容public boolean matches（String

2013-01-02 19:24:44 990

原创 Linux下进行GDB调试

GDB是GNU开源组织发布的一个强大的UNIX下的程序调试工具一般来说，GDB主要帮助自己完成下面四个方面的功能；1：启动你的程序，可以按照你的自定义的要求随心所欲的运行程序2：可以让被调试的程序在你所指定的调制的断点处停住（断点可以是条件表达式）3

2013-01-01 17:31:58 893

转载 c语言输出格式控制

<!--@page {margin:2cm}p {margin-bottom:0.21cm; direction:ltr; color:#000000; text-align:justify; widows:0; orphans:0}p.western {font-family:"Times New Roman",serif; font-size:1

2013-01-01 17:08:45 886

原创冒泡排序算法

从今天起，开始学习c语言中的各种算法，简单的也好，复杂的也好，这个算法必须要学啊。。。。冒泡排序（Bubble Sort）的基本概念是：：依次比较相邻的两个数，将小数放在前面，大数放在后面。即在第一趟：首先比较第1个和第2个数，将小数放前，大数放后。然后比较第2个数和第3个数，将小数放前，大数放后，如此继续，直至比较最后两个数，将小数放前，大数放后。至此第一趟结束，将最大的数放到了

2013-01-01 17:02:09 703

原创 java初级--异常类

所谓异常类就是程序在运行时可能出现的一些错误，比如试图打开一个根本不存在的文件，异常处理将会改变程序的控制流程，让程序有机会对错误进行处理。当程序运行出现异常时，Java运行环境就用异常类Exception的相应子类创建一个异常对象，并等待处理，java使用try-catch语句来处理异常，将可能出现的异常操作放在try-catch语句的try部分，当try部分的某个语句发生异常后，try部分

2013-01-01 11:09:39 1287

转载 c++学习的50条忠告

转载自勉　　 1.把C++当成一门新的语言学习（和C没啥关系！真的。）；　　　　2.看《Thinking In C++》，不要看《C++变成死相》；　　　　3.看《The C++ Programming Language》和《Inside The C++ Object Model》,不要因为他们很难而我们自己是初学者所以就不看；　　　　4.不要被VC

2013-01-01 10:04:35 508

原创 java书中小例子7-接口

interface 收费 ;定义一个收费接口{ public void 收取费用();}interface 调节温度 ;定义一个调节温度的接口{ public void controlTemperature();}class 公共汽车 implements 收费 ;公共汽车这个类实现收费这个接口{ public void 收取费用() ;实现接口时必须实现他

2013-01-01 09:13:44 1216

原创纪念一下我两岁半的大学生活

现在是12月31日16：27分，离2013年还有7小时33分，时间真的很快，不知不觉自己就快23了！今天想写点东西纪念一下这大学时光里的点点滴滴～回想在经贸大学的这两年半时间

2012-12-31 16:30:52 823

原创点滴微机原理

基本的程序执行寄存器通用寄存器：这八个寄存器能用于存放操作数和指针段寄存器：这些段寄存器最多能保持4个段选择子FLAGS寄存器：FLAGS寄存器报告正在执行的程序的状态，并允许有限的控制处理器IP（指令指针）寄存器：

2012-12-31 11:43:08 960

转载那些年，我们一起学过的汇编----之子程序设计

在我的上一篇博文中，我简单的向大家介绍了汇编语言程序设计的三种基本方式。在一个程序中的不同地方，常常需要多次非循环的使用完成特定功能的程序段，这些程序段除了某些变量的赋值不同外，具有相同的指令序列，这时，我们为了减少重复编写程序，缩短目标代码，节省内存空间，把视线这一功能的指令序列组成一个相对独立的程序段。这也就是我们这片文章中所要讨论的子程序。子程序相当于高级语言(比如C语言)中的过程和函数

2012-12-31 08:25:01 873

原创 Linux的进程与内存管理

学习这么linux这么长时间了，感觉还是没有深入进去了，今天重新看了一遍linux内存管理机制，将这些零碎的笔记写下来，以后也方便记忆，感觉现在真的是很喜欢linux，嘿嘿～Linux内存管理的基础知识内存管理程序提供以下一些功能

2012-12-30 17:40:17 970

转载那些年，我们一起学过的汇编----之顺序、分支与循环程序设计

出自于：http://yiluohuanghun.blog.51cto.com/3407300/940198一个算法用程序设计语言的语句有序的组合在一起加以描述，其组合方式称为程序的控制结构或简称为程序结构。程序的基本结构有顺序结构，分支结构和循环结构。一：顺序结构顺序结构是最简单的，也是最基本的程序结构形式，这种结构形式的程序的最大特点点就是程序运行时从开始到结尾

2012-12-30 11:22:28 1523

转载那些年，我们一起学过的汇编----之跳转指令

转载自http://yiluohuanghun.blog.51cto.com/3407300/940123汇编中的跳转指令从大体上分为无条件转移指令和条件转移指令。下面就围绕着这两个大的方面来探究下汇编语言的跳转指令。一、无条件转移指令无条件转移指令JMP将无条件地转移到指令的目的地址去执行指令，因此JMP指令必须指定转移的目标地址无条件转移指令可以分为两类：段内跳转

2012-12-30 10:16:46 848

转载那些年，我们一起学过的汇编----之程序返回操作系统

转载自http://yiluohuanghun.blog.51cto.com/3407300/939717我们都知道，汇编语言源程序要进过汇编和连接两个步骤才能生成一个可以在DOS下直接执行的.exe文件，在DOS下执行这个文件时，DOS像调用子程序一样，把控制权交给它，而这个exe文件执行完成后也要像子程序返回调用程序一样返回DOS，一、用4CH系统功能调用实现返回4

2012-12-30 10:11:28 1869

转载那些年，我们一起学过的汇编----之伪指令

转载自http://yiluohuanghun.blog.51cto.com/3407300/939403首先，我想很多人对伪指令语句与指令语句的区别不是太清楚吧，两者的区别在于：伪指令由汇编程序解释后完成相应的操作，会变厚不产生目标机器代码，进过汇编后的目标程序中，伪指令码已经不复存在。指令语句由汇编程序翻译成机器目标代码，一定有对应的目标代码，并且只能在程序运行时才能由CPU完成其操作

2012-12-30 10:08:47 1360

转载那些年我们一起学的汇编----之寻址方式

转载自http://yiluohuanghun.blog.51cto.com/3407300/938282首先还是说下指令操作数，Intel 8086/8088CPU的指令系统中锁需操作数有以下4种：(1)寄存器操作数：操作数在CPU的通用寄存器或段寄存器中(2)立即数操作数：操作数在指令中直接给出(3)存储器操作数：操作数在存储器的存储单元中(4)I/O操作数：

2012-12-30 09:55:22 1052

原创汇编程序输出“Hello world”

学了一个学期的汇编了，该复习复习了。大后天就要开始开微机原理了。先那把些上机做过的题再拿出来写写～在DOS窗口上面输出“Hello world”程序如下： DATA SEGMENT ;定义数据段 STRING DB ‘Hello World’， $; 定义一个字符串，记得要以$为结束标志DATA ENDS ;数据段结束STACK

2012-12-30 09:31:54 21769 1

原创 tcp/ip 体系结构与特点

一、TCP/IP 体系结构与特点　　1、TCP/IP体系结构　　TCP/IP协议实际上就是在物理网上的一组完整的网络协议。其中TCP是提供传输层服务，而IP则是提供网络层服务。TCP/IP包括以下协议：（结构如图1.1）(图1.1) 　　IP：网间协议(Internet Protocol) 负责主机间数据的路由和网络上数据的存储。同时为ICMP，TCP，　　　UDP提供分组

2012-12-29 16:31:35 4253

原创 java书上小例子6

接口： java不支持多继承性，即一个类只能有一个父类，单继承性使得java简单，易于管理程序，为了克服单继承的缺点，java使用接口，一个类可以使用多个接口使用 interface来定义接口接口体中包含常量定义和方法体定义两部分，接口体中只是进行方法的声明，不允许方法的实现一个类通过使用关键字implements声明自己使用一个或多个接口，如果使用多个接口，用逗号隔开接口名

2012-12-29 12:25:33 1815 1

原创 java书中小例子5

super关键字如果子类中定义的成员变量和父类中的成员变量同名时，子类就隐藏了从父类继承的成员变量。当子类中定义了一个方法，并且这个方法的名字，返回类型，参数个数和父类的某个方法完全相同，子类从父类继承的方法将被隐藏。如果在子类中想要使用被子类隐藏的成员变量或方法就可以使用关键字superclass student { int number;String name; stud

2012-12-29 11:24:33 1062

原创 java书中小例子4

对象的上转型对象假设B类是A类的子类或间接子类，当用子类B创建一个对象，并把这个对象的应用放到A类的对象中时A a；a=new B();或A a；B b=new B();a=b;那么，称这个A类对象a是子类对象b的上转型对象上转型对象特点；1:上转型对象不能操作子类新增的成员变量（失去这部分属性），不能使用子类新增的方法（失去一些个功能）

2012-12-29 10:53:50 758

云计算 初学者

c++编程实例100篇

real6410嵌入式开发板文档

空空如也

云计算初学者