2010年04月_和大黄

12月 11月 10月 09月 08月 07月 06月 05月 04月

转载 Code::Blocks配置

一、提前的话要说C语言和Linux的关系大家应该都不会陌生，Linux系统内核就是用C语言开发的，所以所有的Linux系统下面都会有C的编译调试工具，不过这些工具都是命令式的，正式开发的话会很不方便。我们想要一个快速，灵活而不失强大的C开发环境。 Code::Blocks是一款跨平台的C/C++的IDE。支持Windows，Linux，Mac操作系统，支持多种编译器，像Mi

2010-04-26 22:04:00 6479 3

原创 ubuntu9.10 下安装ibus-sunpinyin

sunpinyin是一个可以连打的输入法，而且有基于ibus的版本ibus-sunpinyin，特别是有人评价和搜狗拼音有的一拼。下载源代码。http://code.google.com/p/sunpinyin/downloads/list?can=1&q=ibus-sunpinyin我选的是第一个ibus-sunpinyin-2.0.1.tar.gz 。在安装之前应该先安装ibus。

2010-04-26 16:07:00 1924

转载原创 HDFS的副本放置策略（机架感知 rack awareness）

topology.script.file.name HDFS不能够自动判断集群中各个datanode的网络拓扑情况。这种机架感知需要topology.script.file.name属性定义的可执行文件（或者脚本）来实现，文件提供了IP->rackid的翻译。NameNode通过这个得到集群中各个datanode机器的rackid。如果topology.script.

2010-04-23 10:18:00 1872

转载 HDFS读文件解析

下图描述了在文件读过程中，client、NameNode和DataNode三者之间是如何互动的。1. client调用get方法得到HDFS文件系统的一个实例（DistributedFileSystem）。然后调用它的open方法。2. DistributedFileSystem通过RPC远程调用NameNode决定文件文件的block的位置信息（通过它的属性DFSCli

2010-04-13 16:43:00 1564

转载 HDFS写文件解析

我们看一下创建文件，写文件最后关闭文件的流程。如下图： 1. client通过调用DistributedFileSystem的create方法来创建文件。2. DistributedFileSystem通过RPC调用NameNode在文件系统的名字空间里创建一个文件，这个时候还没有任何block信息。DistributedFileSystem返回FSDataOutpu

2010-04-13 15:55:00 1277

转载 Hadoop配置注意事项

经验总结和注意事项（这部分是我在使用过程中花了一些时间走的弯路）：　　Master和Slave上的几个conf配置文件不需要全部同步，如果确定都是通过Master去启动和关闭，那么Slave机器上的配置不需要去维护。但如果希望在任意一台机器都可以启动和关闭Hadoop，那么就需要全部保持一致了。　　Master和Slave机器上的/etc/hosts中必须把集群中机器都配置上去，就

2010-04-09 19:36:00 1402

转载分布式基础学习【二】 —— 分布式计算系统（Map/Reduce）

二. 分布式计算（Map/Reduce）分布式式计算，同样是一个宽泛的概念，在这里，它狭义的指代，按GoogleMap/Reduce框架所设计的分布式框架。在Hadoop中，分布式文件系统，很大程度上，是为各种分布式计算需求所服务的。我们说分布式文件系统就是加了分布式的文件系统，类似的定义推广到分布式计算上，我们可以将其视为增加了分布式支持的计算函数。从计算的角度上看，Map/

2010-04-09 19:32:00 1899

转载分布式基础学习【一】 —— 分布式文件系统

所谓分布式，在这里，很狭义的指代以Google的三驾马车，GFS、Map/Reduce、BigTable为框架核心的分布式存储和计算系统。通常如我一样初学的人，会以Google这几份经典的论文作为开端的。它们勾勒出了分布式存储和计算的一个基本蓝图，已可窥见其几分风韵，但终究还是由于缺少一些实现的代码和示例，色彩有些斑驳，缺少了点感性。幸好我们还有Open Source，还有

2010-04-09 19:30:00 2191

转载 HDFS的元数据持久化

dfs.name.dir这个参数设置HDFS的元数据信息存放在本地操作系统的目录，如果有多个目录用逗号分开。目录里的文件示例见下图 1049092 2009-11-12 09:15 edits 17678000 2009-11-12 08:50 fsimage 8 2009-11-12 08:5

2010-04-09 15:06:00 2221

转载 HDFS架构和设计要点

原文：http://hadoop.apache.org/core/docs/current/hdfs_design.html一、前提和设计目标1、硬件错误是常态，而非异常情况，HDFS可能是有成百上千的server组成，任何一个组件都有可能一直失效，因此错误检测和快速、自动的恢复是HDFS的核心架构目标。2、跑在HDFS上的应用与一般的应用不同，

2010-04-09 14:58:00 2388 1

转载硬连接与软连接的区别

知道了硬盘的大体结构之后,再来谈谈怎么进行硬盘分区。进行硬盘分割的最小单位是磁柱,分割完之后自然就是格式化(format)。在Linux中进行格式化必须考虑

2010-04-07 14:37:00 1278

转载 java序列化机制学习

什么是序列化java中的序列化(serialization)机制能够将一个实例对象的状态信息写入到一个字节流中，使其可以通过socket进行传输、或者持久化存储到数据库或文件系统中；然后在需要的时候，可以根据字节流中的信息来重构一个相同的对象。序列化机制在java中有着广泛的应用，EJB、 RMI等技术都是以此为基础的。正确使用序列化机制一般而言，要使得一个类可以序列化，只需简单实

2010-04-06 11:17:00 1260

原创单机伪分布式运行hadoop

1) Java环境的安装与配置 2) 安装Hadoop从hadoop官网下载hadoop-0.20.2.tar.gz ,解压 tar zxvf hadoop-0.20.0.tar.gz在hadoop-env.sh 中添加export JAVA_HOME=/home/heyutao/tools/jdk1.6.0_20export HADOOP_HOME=/home/hey

2010-04-03 11:58:00 4037

原创 Ubuntu 下挂载Windows分区

1. 手工挂载1)首先你得知道Linux下对硬盘分区的称呼。sudo fdisk -lDisk /dev/sda: 160.0 GB, 160041885696 bytes255 heads, 63 sectors/track, 19457 cylindersUnits = cylinders of 16065 * 512 = 8225280 bytesDi

2010-04-03 11:33:00 14053

原创在Ubuntu 8.10 安装和使用者SSH

在终端使用命令测试：ssh localhost如果出现以下错误，则很可能是因为还没有安装ssh-server：ssh: connect to host localhost port 22: Connection refusedubuntu系统下的ssh服务器端搭建 1）安装和设置 OpenSSH ServerUbuntu 下安装 OpenSSH Server 需要的命

2010-04-02 09:41:00 1843

Linux 发展到今天，可用的软件已经非常多了。这样自然会有一些软件的功能大致上相同。例如，同样是编辑器，就有 nvi、vim、emacs、nano，而且我说的这些还只是一部分。大多数情况下，这样的功能相似的软件都是同时安装在系统里的，可以用它们的名称来执行。例如，要执行 vim，只要在终端下输入 vim 并按回车就可以了。不过，有些情况下我们需要用一个相对固定的命令调用这些程序中的一个。例如，当

2010-04-01 14:38:00 27807 6

原创 ubuntu 9.10 下安装 jdk1.6u20

首先，从http://java.sun.com中下载jdk,我的版本是 jdk1.6.0_20，我下载的是.bin文件，我将下载的jdk-6u20-ea-bin-b01-linux-i586-10_mar_2010.bin文件置于/home/heyutao/tools然后，在shell中执行：代码:sudo chmod u+x/home/heyutao/tools/jdk-6u

2010-04-01 14:25:00 1898