slight0908-CSDN博客

转载 hadoop二次排序

原文转自：http://my.oschina.net/leejun2005/blog/132785关于二次排序主要涉及到这么几个东西：在0.20.0 以前使用的是setPartitionerClass setOutputkeyComparatorClasssetOutputValueGroupingComparator 在0.20.0以后使

2014-03-06 09:33:46 819

转载 hive,show tables报错解决方案。

执行show tables;FAILED: Execution Error, return code 1 from org.apache.Hadoop.hive.ql.exec.DDLTask. java.lang.RuntimeException: Unable to instantiate org.apache.hadoop.hive.metastore.HiveMetaStoreClie

2014-02-28 01:52:14 4283

转载 mapreduce的简单应用

本文转自：http://www.cnblogs.com/xia520pi/archive/2012/06/04/2534533.html1、数据去重　　 "数据去重"主要是为了掌握和利用并行化思想来对数据进行有意义的筛选。统计大数据集上的数据种类个数、从网站日志中计算访问地等这些看似庞杂的任务都会涉及数据去重。下面就进入这个实例的MapReduce程序设计。1.1 实例描述

2014-02-19 16:40:58 705

转载 HDFS客户端的权限错误：Permission denied

搭建了一个Hadoop的环境，Hadoop集群环境部署在几个Linux服务器上，现在想使用windows上的Java客户端来操作集群中的HDFS文件，但是在操作的过程中出出了如下的认证错误，被折磨了几天，问题终得以解决。以此文记录问题的解决过程。（如果想看最终解决问题的方法拉到最后，如果想看我的问题解决思路请从上向下看）问题描述上传文件的代码：

2014-01-29 14:35:24 813

原创 hadoop之"hello world"--wordCount

hadoop版本1.2.1 ,开发IDE：eclipse;编写map函数,继承mapper类。package com.cjh.hadoop;import java.io.IOException;import java.util.StringTokenizer;import org.apache.hadoop.io.IntWritable;import org.apach

2014-01-25 22:50:30 642

原创 hadoop完全分布式搭建datanode无法启动原因

折腾了大半天，终于成功搭建完毕环境。其中耽误时间最长的是datanode无法启动。其实是自己的低级错误。。3台虚拟机，一台master，两台salve。第一次错误，查看日志，是hdfs-site.xml文件配置拼写错误。第二次到第N次都是 slave无法连接到master ，以下是我检查的方向：1.master 和 slave的防火墙确认是关闭的。2

2014-01-24 22:05:11 908

转载 linux修改主机名

linux修改主机名的方法用hostname命令可以临时修改机器名，但机器重新启动之后就会恢复原来的值。#hostname //查看机器名#hostname -i //查看本机器名对应的ip地址另外一种方法就是之久修改配置文件修改/etc/sysconfig/network 修改这个文件，系统才有效 /etc/hosts ho

2014-01-23 23:22:14 475

原创 hadoop环境搭建之环境变量配置

刚刚接触hadoop和linux，以此来记录学习的过程和点滴。一：自己新建的用户没有修改/etc/profile文件和sudo命令的权限：进入root用户，chmod u+w /etc/sudoers 添加写权限 vim /etc/sudoers :编辑文件在 root ...下一行加入: xxx(自己建的用户名) ALL

2014-01-16 22:39:06 1126

slight0908的专栏