2013年10月_maixia24

12月 11月 10月 09月 08月 07月 06月 05月 04月

转载 Hadoop开发常用的InputFormat和OutputFormat

http://blog.csdn.net/dajuezhao/article/details/6028985Hadoop中的Map Reduce框架依赖InputFormat提供数据，依赖OutputFormat输出数据；每一个Map Reduce程序都离不开他们。Hadoop提供了一系列InputFormat和OutputFormat方便开发，本文介绍几种常用的。TextIn

2013-10-31 23:43:51 870

转载 hadoop namenode 格式化问题

在Hadoop的HDFS部署好了之后并不能马上使用，而是先要对配置的文件系统进行格式化。在这里要注意两个概念，一个是文件系统，此时的文件系统在物理上还不存在，或许是网络磁盘来描述会更加合适；二就是格式化，此处的格式化并不是指传统意义上的本地磁盘格式化，而是一些清除与准备工作。本文接下来将主要讨论NameNode节点上的格式化。我们都知道，NameNode主要被用来管理整个分布

2013-10-27 21:04:04 1681

原创 Hadoop作业提交多种方案 hadoop插件编译

转载 http://weixiaolu.iteye.com/blog/1402919

2013-10-27 14:54:09 528

原创 eclipse 插件安装

转载：第一种方法很简单，在Eclipse的主目录（%ECLIPSE_HOME%）下有一个plugins目录和features目录。将插件解压缩后，在解压缩后的文件夹里一般可以看到plugins文件夹，有的插件解压缩后还可以看到一个features文件夹。一般将plugins文件夹下的内容直接拷贝到%ECLIPSE_HOME%\plugins目录下，如果解压缩后的插件目录下还有featu

2013-10-27 11:45:07 798

原创 ubuntu 设置背景色为豆沙绿

sudo apt-get install dconf-tools如下设置即可输入回车确定图片转载：

2013-10-26 18:59:54 1728

原创服务器突然停电重启后 HBase起不来的问题

错误日志信息2013-10-24 14:51:22,436 DEBUG org.apache.hadoop.hbase.client.HTable$ClientScanner: Creating scanner over -ROOT- starting at key ''2013-10-24 14:51:22,436 DEBUG org.apache.hadoop.hbase.clien

2013-10-24 17:14:44 6203 1

原创 hadoop context.write() 以多个字段为key

context.write(字段1, value);context.write(字段2, value);这样输出就是以字段1和字段2为key的数据了

2013-10-22 16:51:31 11767 1

原创 hadoop两表join相关

map 只设置book.class的某些字段如用户，看的作者 pv量这样相同的用户，作者进入相同的reducer 即可实现合并相同用户作者的pv总和writable toString方法，可以影响 mapreduce中 set(vars[2]) 这样的设置顺序

2013-10-21 18:20:22 747

原创 DBinputformat的使用

很简单，就是把sql数据库导入hdfs中经常用的方法是如下方法setInputpublic static void setInput(JobConf job, ClassDBWritable> inputClass, String inputQuery,

2013-10-21 17:30:28 2071

转载 list to array

转载http://www.cnblogs.com/ihou/archive/2012/05/10/2494578.htmlArrayList提供了一个将List转为数组的一个非常方便的方法toArray。toArray有两个重载的方法：1.list.toArray();2.list.toArray(T[] a);对于第一个重载方法，是将list直接转为Object

2013-10-21 11:23:53 820

原创 Hbase的get

截取自hbase p173Example 3.9. Example application retrieving data from HBaseConfiguration conf = HBaseConfiguration.create();//Create the configuration.HTable table = new HTable(conf, "testtable")

2013-10-18 18:12:29 2570

原创 property 等

static PropertiesConfiguration propertiesConfiguration; propertiesConfiguration=new PropertiesConfiguration("mm.properties");加载在 src/main/resources目录下面的mm.propertiespropertiesConfigu

2013-10-18 17:15:19 511

原创 mysql 函数注意的小问题

mysql> select MIN(date) from t_c_effect_position_day;出来的结果是：MIN(date)20131013这样的形式，字段名不再是date了变成了MIN(date)，这样不便于取date了。所以应该如下写select date, MIN(date) from t_c_effect_position_day;

2013-10-15 09:17:55 613

原创 etc/profile 重启电脑后不生效

/etc/profile文件是每一个用户登录时,操作系统首先执行的文件,然后再将控制权交给用户主目录下的.profile文件注意，如果进入终端后su登录不是sudo 修改的普通用户不是超级用户。重启电脑后也不会生效

2013-10-13 01:12:13 5910

原创 java 读properties中文乱码问题

items[i]=new String(items[i].getBytes("ISO-8859-1"),"UTF-8"); 网上不少相关文章，参考文章http://blog.csdn.net/shixing_11/article/details/5652347http://www.wenhq.com/article/view_330.html补充，items

2013-10-11 10:16:17 771