2013年08月_batilei

12月 11月 10月 09月 08月 07月 05月 03月

原创 Hadoop HelloWord Examples -对Hadoop FileSystem进行操作 - 基于Java

我之前对hadoop的各种文件操作都是基于命令行的，但是进阶后，经常需要直接从java的代码中对HDFS进行修改。今天来练习下。一个简单的demo，从hdfs的一个文件写到另外hdfs一个文件。 import java.util.*;import java.io.*;import org.apache.hadoop.conf.Configuration;import org.

2013-08-27 04:11:45 1593

原创 Hadoop HelloWorld Examples - 单表连接

应该是那本"Hadoop 实战"的第4个demo了，单表连接。给出一对对的children和parents的名字，然后输出所有的grandchildren和grandparents对。输入数据（第一列child，第二列 parent）Tom LucyTom JackJone LucyJone JackLucy MaryLucy BenJack Alice

2013-08-25 11:00:25 1504

原创 Hadoop HelloWord Examples- 求平均数

另外一个hadoop的入门demo，求平均数。是对WordCount这个demo的一个小小的修改。输入一堆成绩单（人名，成绩），然后求每个人成绩平均数，比如：// subject1.txt a 90 b 80 c 70 // subject2.txt a 100 b 90 c 80 求a,b,c这三个人的平均分。解决思路很简单，在

2013-08-23 21:51:03 1660

原创 Hadoop HelloWord Examples - A Simple Sort

来了近两个星期趁还没开学都是各种活动，相对有空，抓紧时间hadoop入门。不得不说Hadoop the Definitive Guide是本好书，但是却不是一本好的入门书，一上来讲了一堆各种Hadoop架构，对与一个菜鸟来说读起来总感觉有点心虚，一行Hadoop代码没写过,一直看各种Hadoop的架构，让人感觉非常的不踏实。找来找去也只是看到一个WordCount的demo，还好实验室Xia兄推荐

2013-08-23 10:29:58 1381

转载 linux的hostname修改详解

转载自 http://soft.chinabyte.com/os/281/11563281.shtmlLinux操作系统的hostname是一个kernel变量，可以通过hostname命令来查看本机的hostname。也可以直接cat /proc/sys/kernel/hostname查看。　　#hostname　　#cat /proc/sys/kernel/host

2013-08-22 03:23:17 817

转载 Ubuntu 下修改文件权限

Ubuntu 下修改文件权限常用方法如下：sudo chmod 600 ××× （只有所有者有读和写的权限）sudo chmod 644 ××× （所有者有读和写的权限，组用户只有读的权限）sudo chmod 700 ××× （只有所有者有读和写以及执行的权限）sudo chmod 666 ××× （每个人都有读和写的权限）sudo chmod 777 ××× （

2013-08-22 02:04:34 1000

转载 Hadoop 解除 "Name node is in safe mode"

运行hadoop程序时，有时候会报以下错误： org.apache.hadoop.dfs.SafeModeException: Cannot delete /user/hadoop/input. Name node is in safe mode这个错误应该还满常见的吧（至少我运行的时候是这样的）那我们来分析下这个错误，从字面上来理解： Name node is in s

2013-08-22 01:58:22 819

转载 linux一日一命令 - 添加修改用户用户组

一，组操作1，创建组groupadd test增加一个test组2，修改组groupmod -n test2 test将test组的名子改成test23，删除组groupdel test2删除组test24，查看组a），查看当前登录用户所在的组 groups，查看apacheuser所在组groups apacheuserb），查看所有组

2013-08-21 03:37:05 1145

转载 linux一日一命令-grep

我觉得grep这个命令太酷了，应该至少排到linux 最cool命令的top10吧？ 1.作用Linux系统中grep命令是一种强大的文本搜索工具，它能使用正则表达式搜索文本，并把匹配的行打印出来。grep全称是Global Regular Expression Print，表示全局正则表达式版本，它的使用权限是所有用户。2.格式grep [options]3.主

2013-08-17 12:25:53 936

原创在eclipse下跑第一个map-reduce程序-转载分享

不得不说从一个linux，hadoop通通0起步的菜鸟，到在eclipse下跑第一个map reduce程序这一步，真的有够累的，双系统装ubuntu，jdk，eclipse，ant，hadoop各种安装配置，hadoop在命令行下运行，hadoop-eclipse-plugin编译，各种google baidu。以上的步骤都搞完后，特别是将hadoop-eclipse-plugin.1.

2013-08-15 11:36:56 1716

原创配置生成hadoop-eclipse-plugin jar包

要想在eclipse下编写hadoop的程序，必须要在eclipse下安装个所谓的hadoop-eclipse-plugin,即插件。貌似从hadoop1.0.0版本后都不直接提供jar包了，所以必须得自己编译一个。因为是菜鸟，各种折腾了将近一天啊，参考了不少人的文章，虽然质量参差不齐。在此总结下这个艰辛的过程，也分享下那些好的文章。基本步骤： 1假设jdk，hadoop, ec

2013-08-15 09:59:40 2411

转载 unbuntu中ant的安装和配置

一. 可以使用 sudo apt-get install ant安装，但是这种装法不好。首先安装的ant不是最新的版本，其次还要装一堆其他的附带的东西。所以我才用自己手动ant安装。二. 手动安装 1. 到Apache官网下载最新版本的ant：http://ant.apache.org/bindownload.cgi 2. 解压下载下来的.tar.gz文件：

2013-08-14 08:18:14 1692

原创命令行运行hadoop的HelloWorld，word count - 总结

简单的入门，在命令行下跑了下Hadoop自带的Helloworld，word count。在此总结下几个关键步骤： (1) 随便把某个测试文件拷贝刀HDFS上去。一般利用命令: hadoop dfs - put [arg0] [arg1]，或者hadoop dfs -copyFromLocal [arg0] [arg1] (2)向hadoop提交作用，利用命令 hadoop j

2013-08-13 13:19:00 1365

原创几篇HDFS的入门文章分享 - 简介和常用命令

看到几篇很不错的HDFS入门文章，不但深入浅出地介绍了HDFS，也介绍了HDFS的常用命令，方便入门。 Mark下（都是博客园的文章，感觉博客园的文章质量比csdn高不少啊，看来得有空搬家）：（1）http://www.cnblogs.com/xia520pi/archive/2012/05/28/2520813.html （2）http://www.cnblogs.com/s

2013-08-13 12:43:45 957

转载 Linux - one day one command - echo

linux的echo命令, 在shell编程中极为常用, 在终端下打印变量value的时候也是常常用到的, 因此有必要了解下echo的用法echo命令的功能是在显示器上显示一段文字，一般起到一个提示的作用。该命令的一般格式为： echo [ -n ] 字符串其中选项n表示输出文字后不换行；字符串能加引号，也能不加引号。用echo命令输出加引号的字符串时，将字符串原样输出；用echo

2013-08-13 11:05:29 973

原创 Ubuntu下安装Hadoop总结

终于把Hadoop的环境给配好了。在美国的第一个周末，把Ubuntu,JDK,Eclispe,Hadoop都给安装了，算圆满结束了。这下子可以正式投入实验室的工作了。具体步骤就不说了，参考下面的Reference[1,2,3]。这里总结下： 1：安装JDK（安装过了就不用了） 2：Ubuntu中添加一个专门使用Hadoop的用户组和用户（可选） 3：配置SSH服务

2013-08-12 13:35:59 1258

转载 OpenStack的架构详解

Share another article about OpenStack: http://os.51cto.com/art/201205/336386.htm. OpenStack既是一个社区，也是一个项目和一个开源软件，它提供了一个部署云的操作平台或工具集。其宗旨在于，帮助组织运行为虚拟计算或存储服务的云，为公有云、私有云，也为大云、小云提供可扩展的、灵活的云计算。 1

2013-08-12 11:31:37 988

转载分布式计算Hadoop简介

看到一篇挺不错的Hadoop简介，分享下：http://os.51cto.com/art/201209/357388.htm 转载一部分过来。 Hadoop是什么：Hadoop是一个开发和运行处理大规模数据的软件平台，是Appach的一个用java语言实现开源软件框架，实现在大量计算机组成的集群中对海量数据进行分布式计算。 Hadoop框架中最核心设计就是：HDFS和MapReduce

2013-08-12 11:24:11 1217

原创 Unbuntu下安装jdk7

一个周末，一个Linux新手折腾了半天，终于安装好了jdk7。记录下。网上有不少在Ubuntu下安装jdk的帖子了，不过大部分是针对jdk6的，那时候文件格式都是bin，但是jdk7现在只提供tar.gz格式了；而且网上都是一步步列步骤，弄完有点迷糊。所以我这里就总结下把。

2013-08-12 00:26:21 1110

转载一日一命令-屏幕文本编辑器Vi

转载自：http://linux.chinaitlab.com/command/13231.html 本章介绍Linux上最常用的文本编辑器Vi。文本编辑器是所有计算机系统中最常使用的一种工具。用户在使用计算机的时候，往往需要建立自己的文件，无论是一般的文本文件、数据文件，还是编写的源程序文件，这些工作都离不开编辑器。　　Linux系统提供了一个完整的编辑器家族系列，如Ed、Ex、Vi

2013-08-11 12:00:51 989

原创终于用上了Ubuntu了-分享下-windows下如何安装Ubuntu

读了7年的计算机，终于因为实验室要用Hadoop，第一次装了Ubuntu。真是失败。呵呵。以前自己的想法太片面，想着做图形啥得就其他什么都不用学，现在想想，经典的东西还是多学学了解下，说不定以后就用上了。为了方便其它也想用Ubuntu的，跟我一样的入门菜鸟，分享下几个很详细的在windows下ubuntu安装的教程。顺便mark下，现在的ubuntu有两种安装办法，一种是wubi安

2013-08-11 09:19:01 1005