![](https://img-blog.csdnimg.cn/20201014180756928.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Java
文章平均质量分 89
nfbing
这个作者很懒,什么都没留下…
展开
-
hadoop的RPC机制源码分析
前言: hadoop RPC(Remote Procedure Call Protocol ,远程过程调用协议,它是一种通过网络从远程计算机程序上请求服务,而不需要了解底层网络技术的协议。分析对象: hadoop版本:hadoop 0.20.203.0必备技术点: 1. 动态代理(参考 :http://weixiaolu.iteye.com/blog/1477774原创 2014-02-19 13:46:21 · 525 阅读 · 0 评论 -
判断二叉树是不是平衡的
问题描述:输入一棵二叉树的根结点,判断该树是不是平衡二叉树。如果某二叉树中任意结点的左右子树的深度相差不超过1,那么它就是一棵平衡二叉树。例如下图中的二叉树就是一棵平衡二叉树: 思路:对于树的题目,第一反应就是用递归。对于以某个结点为根的树,只需计算出它的左右子树的深度,如果深度相差小于等于1,则递归判断它的左右子树是不是平衡树;否则肯定不是平衡二叉树。这个问题转载 2014-02-20 15:54:33 · 558 阅读 · 0 评论 -
Hadoop安装部署
1、集群部署介绍 1.1 Hadoop简介 Hadoop是Apache软件基金会旗下的一个开源分布式计算平台。以Hadoop分布式文件系统(HDFS,Hadoop Distributed Filesystem)和MapReduce(Google MapReduce的开源实现)为核心的Hadoop为用户提供了系统底层细节透明的分布式基础架构。 对于Had转载 2014-02-20 16:35:27 · 531 阅读 · 0 评论 -
Hadoop源码阅读2
.3 准备Hadoop源代码在Hadoop的官方网站(http://hadoop.apache.org/)中,可以找到Hadoop项目相关的信息,如图1-14所示。 1.3.1 下载Hadoop前面在介绍Hadoop生态系统的时候,已经了解到Hadoop发展初期的系统中包括Common(开始使用的名称是Core)、HDFS和MapReduce三部分,现在原创 2014-02-20 16:39:17 · 581 阅读 · 0 评论 -
Hadoop源码阅读(一)
1.2 准备源代码阅读环境在研究一个开源项目之前,都需要安装与配置基本的开发环境和源代码的阅读环境。这一系列内容包括:安装与配置JDK、安装开发调试IDE、安装与配置相关辅助工具等。1.2.1 安装与配置JDK在分析Hadoop的源代码前,需要做一些准备工作,其中搭建Java环境是必不可少的。Hadoop的运行环境要求Java 1.6以上的版本。打开http://www.o原创 2014-02-20 16:37:31 · 938 阅读 · 0 评论 -
Configurable接口
2.3 Configurable接口Configurable是一个很简单的接口,也位于org.apache.hadoop.conf包中,其类图如图2-3所示。从字面理解,Configurable的含义是可配置的,如果一个类实现了Configurable接口,意味着这个类是可配置的。也就是说,可以通过为这个类的对象传入一个Configuration实例,提供对象工作需原创 2014-02-20 16:47:39 · 2964 阅读 · 0 评论 -
Hive of Hadoop 初步
Hive简介Hive是建立在 Hadoop 上的数据仓库基础构架。它提供了一系列的工具,可以用来进行数据提取转化加载(ETL),这是一种可以存储、查询和分析存储在 Hadoop 中的大规模数据的机制。Hive 定义了简单的类 SQL 查询语言,称为 HQL,它允许熟悉 SQL 的用户查询数据。同时,这个语言也允许熟悉 MapReduce 开发者的开发自定义的 mapper 和 redu原创 2014-02-20 16:49:55 · 558 阅读 · 0 评论 -
Hadoop: the definitive guide 第三版 拾遗 第十二章 之Hive分区表、桶
Hive分区表在Hive Select查询中一般会扫描整个表内容,会消耗很多时间做没必要的工作。有时候只需要扫描表中关心的一部分数据,因此建表时引入了partition概念。分区表指的是在创建表时指定的partition的分区空间。Hive可以对数据按照某列或者某些列进行分区管理,所谓分区我们可以拿下面的例子进行解释。当前互联网应用每天都要存储大量的日志文件,几G、几十G甚转载 2014-02-20 16:54:01 · 653 阅读 · 0 评论 -
Hadoop配置文件简介
《Hadoop技术内幕:深入解析Hadoop Common和HDFS架构设计与实现原理》第2章Hadoop配置信息处理,本章从Windows和基于Java Properties配置文件开始,分析了Hadoop使用的基于健–值对构成的、结构相对简单的XML配置文件,以及相应的处理类Configuration,特别是Configuration类中的资源加载、资源合并和属性扩展等比较重要的处理过程。本节原创 2014-02-20 16:45:45 · 608 阅读 · 0 评论 -
Hive of Hadoop 体系结构
我最近研究了hive的相关技术,有点心得,这里和大家分享下。 首先我们要知道hive到底是做什么的。下面这几段文字很好的描述了hive的特性: 1.hive是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张数据库表,并提供完整的sql查询功能,可以将sql语句转换为MapReduce任务进行运行。其优点是学习成本低,可以通过类SQL语句快速实现简单的MapR原创 2014-02-20 16:52:26 · 706 阅读 · 0 评论 -
Hadoop Configuration详解
2.2 Hadoop Configuration详解Hadoop没有使用java.util.Properties管理配置文件,也没有使用Apache Jakarta Commons Configuration管理配置文件,而是使用了一套独有的配置文件管理系统,并提供自己的API,即使用org.apache.hadoop.conf.Configuration处理配置信息。2.2.1原创 2014-02-20 16:46:57 · 3110 阅读 · 0 评论 -
Hadoop源码阅读
1、创建HDFS目录[java] view plaincopyimport java.io.IOException; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.FileSystem; import org.apache.h原创 2014-02-20 16:44:15 · 661 阅读 · 0 评论 -
Hadoop小结连载:Hadoop概述
结合自己学习Hadoop的过程,将每天的点滴记录下来。一 Hadoop简介二 Hadoop分布式文件系统三 Hadoop安装与配置四 Hadoop I/O五 MapReduce应用开发六 MapReduce工作机制七 MapReduce类型和格式八 MapReduce特性九管理Hadoop一 Hadoop简原创 2014-02-20 12:29:07 · 542 阅读 · 0 评论 -
分析Java NIO
前言: 最近在分析hadoop的RPC(Remote Procedure Call Protocol ,远程过程调用协议,它是一种通过网络从远程计算机程序上请求服务,而不需要了解底层网络技术的协议。可以参考:http://baike.baidu.com/view/32726.htm )机制时,发现hadoop的RPC机制的实现主要用到了两个技术:动态代理(动态代理可以参考博客:http:/原创 2014-02-19 13:54:19 · 447 阅读 · 0 评论 -
mysql中文乱码处理
Mysql 中文乱码出现的可能性应该有:数据库在安装时没有选择默认为中文的格式,比如 utf8 , gbk ,而是 latin1 等,解决这一问题,可以在安装目录下的my.ini 文件中修改参数:图片示例如下,将左边的改为右边的样子: 以上是我看到的许多的网友的解决方法,我试了许多次,可是结果还是不行,后来我分析这可能和解决中文乱码问题没有什么关系,因为这里的编码设置都是默认的的格式,原创 2014-02-19 13:56:26 · 508 阅读 · 0 评论 -
HashMap的原理和实现
我们知道,java.util.HashMap并不能直接应用于多线程环境。对于多线程环境中应用HashMap,主要有以下几种选择:使用线程安全的java.util.Hashtable作为替代。使用java.util.Collections.synchronizedMap方法,将已有的HashMap对象包装为线程安全的。使用java.util.concurrent.Concurre转载 2014-02-19 15:24:38 · 472 阅读 · 0 评论 -
Java Thread 多线程同步、锁、通信
线程同步、同步锁、死锁线程通信线程组和未处理异常Callable和Future12、线程同步 当多个线程访问同一个数据时,非常容易出现线程安全问题。这时候就需要用线程同步 Case:银行取钱问题,有以下步骤: A、用户输入账户、密码,系统判断是否登录成功 B、用户输入取款金额 C、系统判断取款金额是否大于现有原创 2014-02-19 16:28:47 · 521 阅读 · 0 评论 -
JAVA编程中在性能优化方面需要注意的地方
最近的机器内存又爆满了,除了新增机器内存外,还应该好好review一下我们的代码,有很多代码编写过于随意化,这些不好的习惯或对程序语言的不了解是应该好好打压打压了。 下面是参考网络资源总结的一些在Java编程中尽可能要做到的一些地方。1. 尽量在合适的场合使用单例使用单例可以减轻加载的负担,缩短加载的时间,提高加载的效率,但并不是所有地方都适用于转载 2014-02-19 14:52:14 · 549 阅读 · 0 评论 -
Java中的垃圾回收与对象生命周期
在>书中,作者对垃圾回收的精要概述:"基于系统平台自适应的停止-复制"垃圾回收技术和"sun早期自适应的标记-清扫"垃圾回收技术。当然,对一个系统来说,初始化和清理是系统整个运行过程中大两大核心"进程",我觉得"初始化"和"清理"已经称为一种专业术语,不管是小段代码,一个大程序,一个系统,甚至是软件架构,在其本身构建和运行过程中,垃圾回收如同模拟现实世界场景一样,已称为一种模式,一种"行为"或是对原创 2014-02-19 15:01:25 · 519 阅读 · 0 评论 -
Java集合类小结
集合类说明及区别Collection├List│├LinkedList│├ArrayList│└Vector│ └Stack└SetMap├Hashtable├HashMap└WeakHashMapCollection接口 Collection是最基本的集合接口,一个Collection代表一组Object,即Collection的元素(E原创 2014-02-19 16:27:27 · 474 阅读 · 0 评论 -
java native方法及JNI实例
1.参考文献:http://blog.csdn.net/youjianbo_han_87/article/details/2586375http://blog.csdn.net/yangjiali014/article/details/1633017http://blog.chinaunix.net/space.php?uid=7437948&do=blog&id=20原创 2014-02-20 12:01:38 · 755 阅读 · 1 评论 -
java实现二叉树的先序、中序、后序遍历
二叉树的定义:二叉树是树形结构的一个重要类型。许多实际问题抽象出来的数据结构往往是二叉树的形式,即使是一般的树也能简单地转换为二叉树,而且二叉树的存储结构及其算法都较为简单,因此二叉树显得特别重要。 二叉树(BinaryTree)是n(n≥0)个结点的有限集,它或者是空集(n=0),或者由一个根结点及两棵互不相交的、分别称作这个根的左子树和右子树的二叉树组成。 这个定义原创 2014-02-20 12:19:09 · 1389 阅读 · 0 评论 -
solr的安装与配置
Solr4.4的安装与配置分类: Java solr2013-08-10 11:03 2612人阅读 评论(8) 收藏 举报JAVAsolr目录(?)[+]最近准备用Solr搭建项目,所以对其作了一些了解,我采用的是Solr4.4版本;这个版本的Solr相对于以前的版本改变很大,这里记一下自己安装与配置的过程。网上很多关于So转载 2014-03-17 17:54:24 · 683 阅读 · 0 评论