hadoop1.x.x
文章平均质量分 58
戴桥冰
游山玩水、发奋图强、做好自己
展开
-
hadoop专有的数据类型
一 Writable和writableComparable接口 Writable接口: import java.io.DataInput;import java.io.DataOutput;import java.io.IException;public interface Writable{ void write(原创 2015-10-05 17:25:52 · 702 阅读 · 0 评论 -
Hadoop家族产品学习路线图
1. Hadoop家族产品截止到2013年,根据cloudera的统计,Hadoop家族产品已经达到20个!http://blog.cloudera.com/blog/2013/01/apache-hadoop-in-2013-the-state-of-the-platform/接下来,我把这20个产品,分成了2类。第一类,是我已经掌握的第二类,是TODO准备继续学习的转载 2015-10-14 19:48:21 · 411 阅读 · 0 评论 -
hadoop配置文件
常见的几个配置文件以及描述: 文,件名描述hadoop-en.sh这里可以设置环境变量,如果当前的JDK不在系统的路径下,可以再这里配置你的JAVA_HOME,可以为不同hadoop组件指定不同的JVM选项。可以在这里配置日志目录,master以及slave文件,但在默认的情况下最好不要去改动CDH已有的配置core-site.xml原创 2015-10-21 14:22:14 · 444 阅读 · 0 评论 -
MapReduce之单词(字母)个数的统计
package com.hadoop.study;import java.io.IOException;import java.util.StringTokenizer;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.Path;import org.apache.hadoop原创 2015-10-06 15:53:18 · 3014 阅读 · 0 评论 -
hadoop之MapReduce编程的权限问题
PriviledgedActionException as:Administrator cause:java.io.IOException: Failed to set permissions of path:原创 2015-10-06 16:48:25 · 742 阅读 · 0 评论 -
MapReduce编程
MapReduce:一种分布式计算的模型的框架,解决海量数据的计算问题MapReduce将整个并行计算过程抽象到两个函数 1 Map(映射):对一些独立元素组成的列表的每一个元素进行指定的操作,可以高度并行 2 Reduce(化简):对一个列表的元素组进行合并一个简单的MapReduce程序只需要指定map(),reduce(),input和o原创 2015-10-05 21:51:08 · 1086 阅读 · 0 评论 -
hadoop的数据类型的应用
package com.hadoop.io;import java.util.Set;import org.apache.hadoop.io.ArrayWritable;import org.apache.hadoop.io.BooleanWritable;import org.apache.hadoop.io.ByteWritable;import org.apache.hadoo原创 2015-10-05 19:49:12 · 620 阅读 · 0 评论 -
hadoop之HDFS对文件的相关操作
hadoop对文件的操作: 工具类中的代码: /** * * @author:戴桥冰 2015-10-4 下午7:48:55 content:HDFS文件的操作 */ public class Utils{ private static Configuration conf=new Configuration(); public static FileSystem原创 2015-10-04 21:30:40 · 638 阅读 · 0 评论 -
HDFS文件的合并
import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.FSDataInputStream;import org.apache.hadoop.fs.FSDataOutputStream;import org.apache.hadoop.fs.FileStatus;import org.apach原创 2015-10-05 14:17:21 · 2415 阅读 · 0 评论 -
hive安装过程中遇到的一些问题以及解决方案
出现问题一: Exception in thread "main" java.lang.RuntimeException: java.lang.IllegalArgumentException: java.net.URISyntaxException: Relative path in absolute URI: ${system:java.io.tmp原创 2015-11-17 21:20:46 · 833 阅读 · 0 评论