- 博客(8)
- 资源 (1)
- 收藏
- 关注
转载 hadoop二次排序
原文转自:http://my.oschina.net/leejun2005/blog/132785关于二次排序主要涉及到这么几个东西:在0.20.0 以前使用的是setPartitionerClass setOutputkeyComparatorClasssetOutputValueGroupingComparator 在0.20.0以后使
2014-03-06 09:33:46 819
转载 hive,show tables报错解决方案。
执行show tables;FAILED: Execution Error, return code 1 from org.apache.Hadoop.hive.ql.exec.DDLTask. java.lang.RuntimeException: Unable to instantiate org.apache.hadoop.hive.metastore.HiveMetaStoreClie
2014-02-28 01:52:14 4283
转载 mapreduce的简单应用
本文转自:http://www.cnblogs.com/xia520pi/archive/2012/06/04/2534533.html1、数据去重 "数据去重"主要是为了掌握和利用并行化思想来对数据进行有意义的筛选。统计大数据集上的数据种类个数、从网站日志中计算访问地等这些看似庞杂的任务都会涉及数据去重。下面就进入这个实例的MapReduce程序设计。1.1 实例描述
2014-02-19 16:40:58 706
转载 HDFS客户端的权限错误:Permission denied
搭建了一个Hadoop的环境,Hadoop集群环境部署在几个Linux服务器上,现在想使用windows上的Java客户端来操作集群中的HDFS文件,但是在操作的过程中出出了如下的认证错误,被折磨了几天,问题终得以解决。以此文记录问题的解决过程。(如果想看最终解决问题的方法拉到最后,如果想看我的问题解决思路请从上向下看)问题描述上传文件的代码:
2014-01-29 14:35:24 815
原创 hadoop之"hello world"--wordCount
hadoop版本1.2.1 ,开发IDE:eclipse;编写map函数,继承mapper类。package com.cjh.hadoop;import java.io.IOException;import java.util.StringTokenizer;import org.apache.hadoop.io.IntWritable;import org.apach
2014-01-25 22:50:30 642
原创 hadoop完全分布式搭建datanode无法启动原因
折腾了大半天,终于成功搭建完毕环境。其中耽误时间最长的是datanode无法启动。其实是自己的低级错误。。3台虚拟机,一台master,两台salve。第一次错误,查看日志,是hdfs-site.xml文件配置拼写错误。第二次到第N次 都是 slave无法连接到master ,以下是我检查的方向:1.master 和 slave的防火墙确认是关闭的。2
2014-01-24 22:05:11 908
转载 linux修改主机名
linux修改主机名的方法用hostname命令可以临时修改机器名,但机器重新启动之后就会恢复原来的值。#hostname //查看机器名#hostname -i //查看本机器名对应的ip地址另外一种方法就是之久修改配置文件修改/etc/sysconfig/network 修改这个文件,系统才有效 /etc/hosts ho
2014-01-23 23:22:14 475
原创 hadoop环境搭建之环境变量配置
刚刚接触hadoop和linux,以此来记录学习的过程和点滴。一:自己新建的用户没有修改/etc/profile文件和sudo命令的权限: 进入root用户,chmod u+w /etc/sudoers 添加写权限 vim /etc/sudoers :编辑文件 在 root ...下一行加入: xxx(自己建的用户名) ALL
2014-01-16 22:39:06 1127
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人