- 博客(92)
- 资源 (4)
- 收藏
- 关注
RSS订阅转载 hadoop文件结构分析
hadoop文件数据结构在代码里的组成可以分为 storage、block、file、Inode几类很容易搞混，下面对这几个部分进行分别分析1storageStorage的结构图下图：Storage是系统运行时对应的数据结构。从大到小，Hadoop中最大的结构是Storage，最小的结构是block。Storage保存了和存储相关的信息（包括节点的类型：
2013-06-02 22:03:55
1922
转载 hadoop namenode
namenode是hadoop的核心，他管理文件系统的命名空间，维护文件系统树以及这个树的所有的文件和索引目录。这些信息通过两种形式将文件持久化到本地磁盘：命名空间镜像（fsImage）和编辑日志(edit log).名称节点记录着每个文件的每个块所在的数据节点，但是不永久保存块的位置，这些信息会在系统启动是有数据节点重建推送过来。主要管理两个东西 The NameNode contr
2013-06-02 21:52:37
1743
转载 Hadoop分布式文件系统：结构与设计
1. 介绍 Hadoop 分布式文件系统 (HDFS)是一个设计为用在普通硬件设备上的分布式文件系统。它与现有的分布式文件系统有很多近似的地方，但又和这些文件系统有很明显的不同。HDFS 是高容错的，设计为部署在廉价硬件上的。HDFS对应用程序的数据提供高吞吐量，而且适用于那些大数据集应用程序。HDFS开放了一些POSIX的必须接口，容许流式访问文件系统的数据。HDFS最初是
2013-06-02 14:21:27
1386
1
原创 日志打印两次（问题）
今天碰到了一个日志被打印两次的问题Configuration类/** * 配置文件信息 * @author Administrator * */public class Configuration {private static Logger LOG = Logger.getLogger(Configuration.class);/*** 文件路径(
2013-05-30 11:39:47
5877
转载 $BASH_SOURCE
转自：http://www.708luo.com/?p=24今天遇到一个需求，获取当前执行脚本。如果是sh test.sh或者./test.sh的运行方式，那么很简单，直接使用$0就可以了。 那么如果是source test.sh或者. ./test.sh的方式运行呢？$0就变成了”-bash”了。google了一下，这个时候就需要使用$BASH_SOURCE了。（bash版本
2013-05-29 21:55:46
4087
原创 hadoop源码分析环境搭建
安装eclipe安装ant 参看上一篇博文cd /home/hadoop/workspace/hadoop-1.0.3然后输入 ant eclipse期间可能根据你的系统安装的东西不同会出现一些问题比如 不能执行autoreconf 的问题解决办法：输入：sudo apt-get install autoconf比如 没有libtoo
2013-05-26 01:45:58
1240
原创 ubuntu12.04安装ant
一. 可以使用 sudo apt-get install ant安装，但是这种装法不好。首先安装的ant不是最新的版本，其次还要装一堆其他的附带的东西。所以我才用自己手动ant安装。二. 手动安装 1. 到Apache官网下载最新版本的ant：http://ant.apache.org/bindownload.cgi 2. 解压下载下来的.
2013-05-26 01:36:46
1291
转载 Spring 事务管理高级应用难点剖析
第一部分：http://www.ibm.com/developerworks/cn/java/j-lo-spring-ts1/第二部分：http://www.ibm.com/developerworks/cn/java/j-lo-spring-ts2/第三 部分：http://www.ibm.com/developerworks/cn/java/j-lo-spring-ts3/
2013-04-17 18:48:50
1018
原创 基于指定数组大小的切割字符串（java字符串分割性能比较）
参看：http://kfyfly.iteye.com/blog/1105716 /*** 基于指定数组大小的切割字符串* @param str* @param tag* @param arraySize* @return*/public static String[] split(String str,String tag,int arraySize){Stri
2013-04-13 18:56:41
1648
原创 hadoop自带RandomWriter例子解析
步骤： 在eclipse中运行 右键--》run as -->run configuration 在Programs argument中添加：/user/hadoop/output（此处随你自己修改）代码：/** * Licensed to the Apache So
2013-04-10 22:50:00
1766
原创 如何查看本机电脑flash的版本
在浏览器里输入：http://www.adobe.com/swf/software/flash/about/flashAbout_info_small.swf
2013-04-10 10:40:04
2492
原创 深度分析如何在Hadoop中控制Map的数量
最近在看hadoop自带的例子 在单机伪集群上跑的时候不管怎么设置Map的数量都不可行，然后就找到这篇文章看了看！很多文档中描述，Mapper的数量在默认情况下不可直接控制干预，因为Mapper的数量由输入的大小和个数决定。在默认情况下，最终input占据了多少block，就应该启动多少个Mapper。如果输入的文件数量巨大，但是每个文件的size都小于HDFS的blockSi
2013-04-10 08:20:06
1098
原创 Java transient、volatile关键字
关键字:volatilevolatile修饰的成员变量在每次被线程访问时，都强迫从主内存中重读该成员变量的值。而且，当成员变量发生变化时，强迫线程将变化值回写到主内存。这样在任何时刻，两个不同的线程总是看到某个成员变量的同一个值。 Java语言规范中指出：为了获得最佳速度，允许线程保存共享成员变量的私有拷贝，而且只当线程进入或者离开同步代码块时才与共享成员变量的原始值对比。这样当多
2013-04-08 18:18:27
960
转载 设计原则
面向对象的设计原则总述设计原则： 1.“开-闭”原则 （Open-Closed principle, OCP） 2. 里氏代换原则 （Liskov Substitution Principle, LSP） 3．依赖倒转原则 （Dependency Inversion Principle, DIP） 4．接口隔离原则 （Interface Segrega
2013-04-03 23:03:37
844
转载 java中堆（heap)和堆栈（stack)有什么区别
stack 和 heep 都是内存的一部分stack 空间小，速度比较快， 用来放对象的引用heep 大，一般所有创建的对象都放在这里。栈(stack):是一个先进后出的数据结构,通常用于保存方法(函数)中的参数,局部变量.在java中,所有基本类型和引用类型都在栈中存储.栈中数据的生存空间一般在当前scopes内(就是由{...}括起来的区域).堆(heap):是一个可动
2013-04-03 21:23:01
874
转载 学JAVA必须知道：抽象类与接口的区别
abstract class和interface是Java语言中对于抽象类定义进行支持的两种机制，正是由于这两种机制的存在，才赋予了Java强大的面向对象能力。 abstract class和interface之间在对于抽象类定义的支持方面具有很大的相似性，甚至可以相互替换，因此很多开发者在进行抽象类定义时对于 abstract class和interface的选择显得比较随意。其实，两者
2013-04-03 21:13:33
710
转载 JAVA虚拟机体系结构
简单易懂 转载：http://www.cnblogs.com/java-my-life/archive/2012/08/01/2615221.htmlJAVA虚拟机的生命周期 一个运行时的Java虚拟机实例的天职是：负责运行一个java程序。当启动一个Java程序时，一个虚拟机实例也就诞生了。当该程序关闭退出，这个虚拟机实例也就随之消亡。如果同一台计算机上同时运行三个Java程序
2013-04-03 20:33:59
888
原创 java参数传递问题
四条：1、对象是按引用传递的2、Java 应用程序有且仅有的一种参数传递机制，即按值传递3、按值传递意味着当将一个参数传递给一个函数时，函数接收的是原始值的一个副本4、按引用传递意味着当将一个参数传递给一个函数时，函数接收的是原始值的内存地址，而不是值的副本总结：1.对象就是传引用2.原始类型就是传值3.String等immutable类型因
2013-04-03 20:06:23
931
原创 Hadoop error:File does not exist: /benchmarks/TestDFSIO/io_data/test_io_0
原因：测试的时候待读的文件必须先存在 所以 假如你先测试read的话 就会出现这种问题解决办法：先测试write 然后在测试read
2013-03-31 22:01:58
4152
转载 HDFS Federation设计动机与基本原理
博文转自：http://www.verydemo.com/demo_c167_i6246.htmlHDFS Federation是Hadoop-0.23.0中为解决HDFS单点故障而提出的namenode水平扩展方案。该方案允许HDFS创建多个namespace以提高集群的扩展性和隔离性。本篇文章主要介绍了HDFS Federation的设计动机和基本原理。1. 当前HDFS概
2013-03-29 20:27:42
1092
原创 java正则表达式忽略大小写匹配
String str = "INsert into";String str = "INSERT INTO";String str = "insert into";String str = "INsert INTO";如果想把上面的所有匹配成小写的insert to 时可以使用如下语句：sql.replaceFirst("((?i)insert into)", "
2013-03-29 16:05:11
5082
原创 ZooKeeper四字命令
ZooKeeper responds to a small set of commands. Each command is composed of four letters. You issue the commands to ZooKeeper via telnet or nc, at the client port.Three of the more interesting comm
2013-03-27 18:42:39
1329
转载 linux 重定向 1>&2 2>&1
转自：http://zhumeng8337797.blog.163.com/blog/static/10076891420104215439296/当初在shell中, 看到">&1"和">&2"始终不明白什么意思.经过在网上的搜索得以解惑.其实这是两种输出.在 shell 程式中，最常使用的 FD (file descriptor) 大概有三个, 分别是: 0
2013-03-24 20:02:27
2164
转载 Java命令行运行参数说明大全
Java在运行已编译完成的类时，是通过java虚拟机来装载和执行的，java虚拟机通过操作系统命令JAVA_HOME"bin"java –option 来启动，-option为虚拟机参数，JAVA_HOME为JDK安装路径，通过这些参数可对虚拟机的运行状态进行调整，掌握参数的含义可对虚拟机的运行模式有更深入理解。一、 查看参数列表:虚拟机参数分为基本和扩展两类，在命令行
2013-03-24 19:46:22
1560
原创 Oracle Berkeley DB Java 版
Oracle Berkeley DB Java 版是一个开源的、可嵌入的事务存储引擎，是完全用 Java 编写的。它充分利用 Java 环境来简化开发和部署。Oracle Berkeley DB Java 版的架构对于读密集型和写密集型的负载提供非常高的性能和并发性。您可以根据需要选择 Berkeley DB Java 版的 Direct Persistence Layer (DPL)、Persi
2013-03-13 22:14:11
1843
转载 Hibernate关联关系配置(一对多、一对一和多对多)
转载：http://www.cnblogs.com/otomedaybreak/archive/2012/01/20/2327695.htmlHibernate关联关系配置第一种关联关系：一对多（多对一）"一对多"是最普遍的映射关系，简单来讲就如消费者与订单的关系。一对多：从消费者角的度来说一个消费者可以有多个订单，即为一对多。多对一：从订单的角度来说多个订
2013-03-11 10:58:07
1101
转载 再说final变量
转载：http://blog.csdn.net/axman/article/details/1460544从jdk1.0到今天,JAVA技术经过十余年的发展,技术上已经发生了巨大的变化.但final变量的定义从它诞生那天起,就没有发生任何变化,也就是这十多年它就一直表示它原来的意思.但遗憾的是,经过十多年仍然有90%的人没有理解它的真实含义,也没有一篇文章,包括我所见到的所有介
2013-03-09 22:36:21
853
转载 ORM技术概念与实例
转载：http://blog.csdn.net/dream_lu/article/details/2710148 对象关系映射（Object Relational Mapping，简称ORM）是一种为了解决面向对象与关系数据库存在的互不匹配的现象的技术。简单的说，ORM是通过使用描述对象和数据库之间映射的元数据，将程序中的对象自动持久化到关系数据库中。本质上就是将数据从一种形式转换到另外
2013-03-09 15:27:20
1796
转载 Axis2 Web服务配置文件services.xml详解
转载地址：http://paggywong.iteye.com/blog/1350448简介 在Axis1中部署服务时，我们使用service.wsdd文件来配置服务。在Axis2中，不再使用service.wsdd文件来配置服务，改用services.xml了。这两个配置文件的语法是截然不同的。 本文涵盖了services.xml文件的语法和使用说明。在Apa
2013-02-27 16:17:28
1064
转载 解析Web接口描述语言WSDL
一、概述 Web服务定义语言(Web Services Definition Language，WSDL)是一个建议性标准，用于描 述Web服务的技术调用语法。WSDL定义了一套基于 XML的语法，将Web服务描述为能够进行消息交换的服务访问点的集合，从而满足了这种需求。WSDL服务定义为分布式系统提供了可机器识别的SDK文档，并且可用于描述自动执行应用程序通信中所涉及的细节。WSDL的
2013-02-26 14:39:49
1346
原创 XFire客户端解析服务端返回List
系统JDK：1.4服务端方法如下：/** 获取项目列表，新建*/public List getProjectList() {/* 构造sql语句 */StringBuffer sb = new StringBuffer();sb.append("select tpbi.ID as projectId, tpbi.PROJECT_NAME as proje
2013-01-21 16:46:33
2281
转载 Spring事务配置的五种方式
原文地址：http://www.blogjava.net/robbie/archive/2009/04/05/264003.html 前段时间对Spring的事务配置做了比较深入的研究，在此之间对Spring的事务配置虽说也配置过，但是一直没有一个清楚的认识。通过这次的学习发觉Spring的事务配置只要把思路理清，还是比较好掌握的。 总结如下： Spring配置
2013-01-18 09:50:50
570
转载 使用 Axis2 进行 SOA 开发，第 1 部分: 了解 Axis2 基础
原文链接：http://www.ibm.com/search/csass/search/?sn=dw&lang=zh&cc=CN&en=utf&hpp=20&dws=cndw&lo=zh&q=Axis2+&Search=%E6%90%9C%E7%B4%A2引言Web 服务的历史非常悠久，在其发展期间经历了多次迭代。第一代 Web 服务是受到高度控制的交互，可以视为仅是对可行性的测试
2013-01-17 17:01:03
745
原创 Axis2整合spring
我系统的版本：jdk1.4、eclicpe 3.2、axis2 1.3、 spring1.28首先web项目新建好，这里指的是spring已经整合好了 只需要把axis2整合进来第一步：把axis2所有的包引进到web工程第二步：在WEB-INF文件夹下新建services文件夹再新建axis文件夹再新建META-INF文件夹再新建services.xml 如下图：
2013-01-15 17:27:01
1238
转载 了解 Web 服务规范: 第 1 部分：SOAP
开始之前本系列教程将说明构建一家假想的报社 Daily Moon 的基于 Web 访问的工作流系统的详细步骤。主要针对的是希望了解有关 Web 服务的更多信息的开发人员，以便他们能更为高效地创建应用程序。非技术用户也可以从中获得一些好处，因为在讨论如何编程前对相关概念进行了解释。您应该具有基本编程知识，如果希望按照实际编程示例进行操作，还需要一定的 Java 知识。我们将讨论 XM
2013-01-13 19:05:16
1360
原创 xfire(客户端实现)
客户端就不需要怎么配置了只需要把xfire的包导入工程 然后新建一个文件 （这里本来有三种方法 但是只实现了两种 后续看能否补上否）如下：package com.dlmu.database.client;import java.net.MalformedURLException;import java.net.URL;import org.codehaus.xf
2013-01-10 14:16:30
1105
原创 xfire配置（服务端）
我的环境jdk:1.4 eclipse 3.1 下载xfire包xfire-distribution-1.2.6.zip（注意不能只下xfire-all.jar包）如下图第一行：新建web动态工程 工程名：xfirebulid path 把xfire-all.jar以及lib中的jar包全部 导入到工程中 在WEB-INF目录下新建xfire文件夹 然后新建se
2013-01-09 11:24:45
1078
原创 webService概念
Web服务是一种服务导向架构的技术，通过标准的Web协议提供服务，目的是保证不同平台的应用服务可以互操作。根据W3C的定义，Web服务（Web service）应当是一个软件系统，用以支持网络间不同机器的互动操作。网络服务通常是许多应用程序接口（API）所组成的，它们透过网络，例如国际互联网（Internet）的远程服务器端，执行客户所提交服务的请求。尽管W3C的定义涵盖诸多相异且
2013-01-05 13:00:34
1258
原创 linux Shell 脚本学习
重新启动atd服务/etc/init.d/atd restart查看服务状态service --status-all工作调度at命令在/etc/at.allow文件中的用户可以使用at命令，不在/etc/at.allow文件中的用户不可以使用该命令在/etc/at.deny文件中的用户不可以使用at命令，不在/etc/at.deny文件中的用户都可以使用此命
2013-01-02 14:58:52
638
原创 mongodb ubuntu 12.0.4 安装
下载：http://www.mongodb.org/downloads然后解压到/usr/local目录下进入mongodb目录 cd /usr/local/mongodb/bin执行./mongodb -port 10223 -dbpath /usr/local/data --logpath /usr/local/log.logOK然
2012-12-29 17:25:12
738
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人