2015年07月_Enockipp

12月 08月 07月 03月 02月 01月

转载 hadoop streaming 输出数据分割与二次排序

输出数据分割默认情况下Streaming框架将map输出的每一行第一个”\t”之前的部分作为key，之后的部分作为value，key\tvalue又作为reduce的输入。可以用-D stream.map.output.field.separator改变map输出中key和value的分隔符，用-D stream.num.map.output.key.fields设置分隔符的位置，该位置之

2015-07-30 11:32:28 12450

转载 Linux使用expect实现免手工密码输入

使用expect实现自动登录的脚本，网上有很多，可是都没有一个明白的说明，初学者一般都是照抄、收藏。可是为什么要这么写却不知其然。本文用一个最短的例子说明脚本的原理。　　脚本代码如下：　　############################################## 　　#!/usr/bin/expect 　　set timeout 30 　　spawn ss

2015-07-27 11:10:26 3072

转载 hadoop入门操作命令

转自：http://www.cnblogs.com/gpcuster/archive/2010/06/04/1751538.html在这篇文章中，我们默认认为Hadoop环境已经由运维人员配置好直接可以使用。假设Hadoop的安装目录HADOOP_HOME为/home/admin/hadoop。启动与关闭启动HADOOP1. 进入HADOOP_HOME目录。

2015-07-09 17:38:51 577