2013年04月_AndersZhuo123

原创 KeyValueTextInputFormat 分割key value For hadoop 1.0

对于要分割这样的文本：1,21,32,4.......需要使用hadoop的KeyValueTextInputFormat，于是乎就要配置：Configuration conf = new Configuration();Job job = new Job(conf,"MyJob");conf.set("mapreduce.input.keyvalueliner

2013-04-30 09:59:29 5032

原创 org.apache.hadoop.mapreduce.lib.input.InvalidInputException: Input path does not exist:

一个Hadoop小程序：将Hello world写入文件中，简要代码：public static void main(String[] args) throws Exception { Configuration conf = new Configuration(); Job job = new Job(conf,"demo"); job.setJarByClass(HelloWo

2013-04-29 19:39:54 12383

原创 Ubuntu could not write bytes broken pipe

下午重启电脑由win7切到ubuntu 12.04 , 开机到图形界面的时候，输入密码以后，竟然黑屏，显示could not write byte broken pipe，很是诧异，莫非12.04的bug不成，然后再网上一查，看到出现这个错误又很多原因，而环境变量写错就是其中的一个，网上也有说是显卡驱动的问题，不过我的是环境变量的事情。因为突然想起来下午的确修改了环境变量，不过但是并没出现错误。

2013-04-29 19:18:59 9904 2

原创 Eclipse Hadoop1.0.4 插件

1，下载 clipse-jee-juno-SR2-linux-gtk.tar.gz 安装到计算机上。2，下载eclipsehadoop插件我用的是hadoop1.0.4的版本,这里有个比较好的版本。下载地址：hadoop-eclipse-plugin-1.0.4.jar 把下载下来的jar文件放到eclipse/plugins/文件夹中,然后重启eclipse。

2013-04-27 23:05:13 3103

转载 Eclipse提交hadoop程序出错：org.apache.hadoop.security.AccessControlException: Permission denied: user=D

http://blog.csdn.net/iquicksandi/article/details/7898790描述：在window下使用Eclipse进行hadoop的程序编写，然后Run on hadoop 后，出现如下错误：11/10/28 16:05:53 INFO mapred.JobClient: Running job: job_201110281103_0003

2013-04-27 23:02:57 2727 1

原创程序 'jps' 已包含在下列软件包中

sudo update-alternatives --install /usr/bin/jps jps /home/anders/jdk1.7.0_17/bin/jps 1

2013-04-26 14:54:53 7416

原创修复Ubuntu 12.04 Grub 引导

由于重装windows 7，原来的Grub启动菜单不见了，修复 Ubuntu 12.04 Grub 引导具体修复方法如下：1、用 Ubuntu 12.04 的 Live CD 光盘启动系统，启动光盘后不要选安装而选试用；2、打开终端，输入终端命令： sudo fdisk -l 此时可以看到显示出来的整个硬盘上所有分区的列表，请记录下 Ubuntu 根分区 / 和/boot

2013-04-26 08:44:20 1194

原创 xxx is not in the sudoers file. This incident will be reported的解决方法

1>、进入超级用户模式。也就是输入"su -",系统会让你输入超级用户密码，输入密码后就进入了超级用户模式。（当然，你也可以直接用root用户登录，因为红旗安装过后默认的登录用户就是root） 2>、添加文件的写权限。也就是输入命令"chmod u+w /etc/sudoers"。 3>、编辑/etc/sudoers文件。也就是输入命令"vim /etc/sudoers"

2013-04-25 15:50:56 1078

转载 Ubuntu linux安装ssh server

ubuntu默认并没有安装ssh服务，如果通过ssh链接ubuntu，需要自己手动安装ssh-server。判断是否安装ssh服务，可以通过如下命令进行：xjj@xjj-desktop:~$ ssh localhostssh: connect to host localhost port 22: Connection refused如上所示，表示没有还没有安装，可以通过ap

2013-04-23 12:26:58 1789

转载 ubuntu su认证失败解决方法

刚装好ubuntu后如果想装其他软件或者进行其他要用到管理员权限的操作时无法切换到root权限伤心了好久郁闷了好久也找了好久才发现root用户默认是被说定了不允许登陆的下面的是找到的解决办法很使用su 认证失败解决办法 Ubuntu安装后 root用户默认是被锁定了的，不允许登录，也不允许“su”到 root。有人说这是个不好

2013-04-23 09:42:28 4231

原创简介Hadoop

一云计算的三大平台1 Iaas 基础设施即服务如 appengin2 Saas 业务即服务如webservice3 Paas 平台即服务如hadoop二什么是云计算更大限度的使用网络资源，实现集群，可扩展的软件三云计算与云存储有什么关系？hadoop属于那一种？ hadoop同时关注云计算和云存储 hadoop更趋向于计算

2013-04-23 08:54:45 764

转载 Ubuntu 12.04更新源

首先备份Ubuntu12.04源列表sudo cp /etc/apt/sources.list /etc/apt/sources.list.backup （备份下当前的源列表） 2、修改更新源sudo gedit /etc/apt/sources.list （打开Ubuntu 12.04源列表文件） 3、把里面的列表替换成下面的列表1

2013-04-23 07:56:16 795

原创异步、同步、阻塞、非阻塞

之前面试的时候被问到：异步、同步、阻塞、非阻塞这几个区别的时候，回答的很果断与武断，结果被面试官反问的一头雾水，最终都不知道自己了解的是同步还是阻塞，其实原来也不是很懂所以网上找了很多很多的资料，有的资料竟然把阻塞和同步说成的一回事，看的我甚是头疼，不过网上还是有大神的，解释的非常好，如果有 Unix网络编程这本书的话，看看应该就能明白（等我回学校就去图书馆借一本好好研究

2013-04-14 20:34:41 1045

转载 java nio与tomcat 6 中nio的使用

源地址：http://jiangyongyuan.iteye.com/blog/361983很早就听说tomcat6使用nio了，这几天突然想到一个问题，使用nio代替传统的bio，ThreadLocal岂不是会存在冲突？　　　　首先，何谓nio？　　　　如果读者有socket的编程基础，应该会接触过堵塞socket和非堵塞socket，堵塞socket

2013-04-14 18:37:07 905

转载 Linux rpm 命令参数使用详解［介绍和应用］

源地址：http://www.cnblogs.com/xiaochaohuashengmi/archive/2011/10/08/2203153.htmlRPM是RedHat Package Manager（RedHat软件包管理工具）类似Windows里面的“添加/删除程序”rpm 执行安装包二进制包（Binary）以及源代码包（Source）两种。二进制

2013-04-12 22:02:05 739

转载外部排序

原地址：http://www.cnblogs.com/HappyXie/archive/2012/08/29/2662624.html一、定义问题外部排序指的是大文件的排序，即待排序的记录存储在外存储器上，待排序的文件无法一次装入内存，需要在内存和外部存储器之间进行多次数据交换，以达到排序整个文件的目的。外部排序最常用的算法是多路归并排序，即将原文件分解成多

2013-04-10 20:10:10 877

转载 MySQL游标的使用笔记大全

原文地址：http://database.51cto.com/art/201005/202914.htm以下的文章主要介绍的是MySQL游标的使用笔记，其可以用在存储过程的SQL语句，其主要类型主要有以下几种，以下就是对其详细介绍，相信如果你掌握了这项技术，会在以后的学习或是工作中带来很大的帮助。1、无返回结果语句，如：INSERT,UPDATE,DROP, DELE

2013-04-10 14:49:43 1001

转载 mysql存储过程一览表

MySQL是“世界上最为流行的开放性数据库”，至少对于MySQL Web站点会这样。但无论MySQL如此流行，很多公司都对MySQL的使用抱有抵触情绪。这种现象来自几个原因，其中有些人错误地认为开放性源代码只不过相当于小孩子的积木游戏，而另一些人认为任何免费的东西都不会是好东西。也许这些想法都是误解，然而有一种抱怨却是合理的，即与其它对应的产品不一样，比如Oracle或者 DB2，MySQL不

2013-04-10 14:39:25 988

转载 MySql存储过程—6、循环

1、WHILE WHILE的格式是这样的：[sql] WHILE expression DO Statements END WHILE 下面是个例子[sql] DELIMITER $$ www.2cto.com DROP PROCEDURE IF EXISTS `test`.`While

2013-04-09 22:02:23 763

转载 MySql存储过程—5、逻辑判断，条件控制

同编写程序类似，存储过程中也有对应的条件判断，功能类似于if、switch。在MySql里面对应的是IF和CASE 1、IF判断 IF判断的格式是这样的： [sql] IF expression THEN commands [ELSEIF expression THEN commands] [ELSE comm

2013-04-09 20:55:57 916

转载 MySql存储过程—4、参数

1、参数分类参数，同编程一样，MySql中存储过程也可以带参数，前面的例子中我们没有使用参数，在下面的例子中我们将使用到参数；MySql的参数分为三类:IN、OUT、INOUT，即使是字面上这三种类型的参数也很好理解： www.2cto.com ——IN：这是个默认的类型，也就是如果参数没指定类型的话，那么默认就是IN类型了，这种参数主要是传递进去的值，这个值提

2013-04-09 20:48:58 696

转载 MySql存储过程—3、变量

1、变量的定义在Mysql里面可以像我们写代码中一样定义变量来保持中间结果，看下面的格式： www.2cto.com [sql] DECLARE variable_name datatype(size) DEFAULT default_value; DECLARE相当于关键字，有点类似var，表示定义一个变量；然后variable_name是你指定的

2013-04-09 20:41:19 868

转载 MySql存储过程—2、第一个MySql存储过程的建立

MySql存储过程—2、第一个MySql存储过程的建立看看如何创建一个存储过程。虽然通过命令行可以创建，但基本通过MySQL提供的Query browser来创建。 1、首先我们通过Administrator在test数据库中创建一个简单的表名叫”products“的，里面包括下面这两个字段： www.2cto.com 2、然后打

2013-04-09 20:40:48 692

转载 MySql存储过程—1、SQL存储过程的基础知识

原地址http://www.2cto.com/database/201208/148790.htmlMySql存储过程—1、SQL存储过程的基础知识在深入理解MySq之前，我们先理下一些简单的问题 Q：什么是存储过程？（stored procedure）A：是一段写好的SQL代码，特别的就是它是存在数据库的目录里。所以外部程

2013-04-09 20:23:30 841

转载 shell中的点命令与source命令

原文 http://blog.chinaunix.net/uid-22028566-id-3182362.html 1 shell脚本执行方法有两种方法执行shell scripts，一种是新产生一个shell，然后执行相应的shell scripts；一种是在当前shell下执行，不再启用其他shell。新产生一个shell然后再执行scripts的

2013-04-07 20:59:57 1430

转载 Mysql存储过程-具体学习

1.1 CREATE PROCEDURE （创建）CREATE PROCEDURE存储过程名 (参数列表) BEGIN SQL语句代码块END注意：由括号包围的参数列必须总是存在。如果没有参数，也该使用一个空参数列()。每个参数默认都是一个IN参数。要指定为其它参数，可在参数名之前使用关键词 OUT或I

2013-04-05 21:34:17 808

原创 Mysql存储过程-简介

存储过程简介我们常用的操作数据库语言SQL语句在执行的时候需要要先编译，然后执行，而存储过程（Stored Procedure）是一组为了完成特定功能的SQL语句集，经编译后存储在数据库中，用户通过指定存储过程的名字并给定参数（如果该存储过程带有参数）来调用执行它。一个存储过程是一个可编程的函数，它在数据库中创建并保存。它可以有SQL语句和一些特殊的控制结构组成。当希望在不

2013-04-05 21:32:05 661

Anders 的专栏(Talk is cheap, show me the code！)