hadoop
文章平均质量分 70
wangkjs
这个作者很懒,什么都没留下…
展开
-
使用eclipse连接hadoop失败情况
INFO: Retrying connect to server: vincent/192.168.56.101:9000. Already tried 0 time(s); maxRetries=45 INFO: Retrying connect to server: vincent/192.168.56.101:9000. Already tried 1 time(s); maxRetrie转载 2015-07-27 09:36:39 · 1408 阅读 · 0 评论 -
wordcount
package com.test; import java.io.IOException; import java.util.StringTokenizer; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.Path; import org.apache.hadoop.io.IntWritable原创 2015-08-02 21:29:11 · 336 阅读 · 0 评论 -
hdfs api
public static FileSystem getHDFS() { FileSystem fs =null; Configuration conf = new Configuration(); try { fs= FileSystem.get(conf); } catch (IOException e) { e.printStackTrace(原创 2015-08-02 20:57:42 · 334 阅读 · 0 评论 -
eclipse运行wordcount
1、进行参数配置 WordCount.java->右键->Run As->Run Configuration 如下报错: Exception in thread "main" java.io.IOException: Failed to set permissions of path: \tmp\hadoop-Administrator\mapred\s原创 2015-08-01 11:19:08 · 350 阅读 · 0 评论 -
运行hadoop报错
一:找不到内部类的问题 java.lang.ClassNotFoundException:com.test.WordCount$TokenizerMapperat org.apache.hadoop.conf.Configuration.getClass(Configuration.java:809) at org.apache.had转载 2015-08-01 11:43:55 · 941 阅读 · 0 评论 -
Hadoop-eclipse-plugin插件安装
将hadoop-1.2.1-eclipse-plugin.jar复制到eclipse\plugins下面 重启eclipse 会发现打开open perspective选项卡,点击other,弹出窗口下会多出Mapreduce选项 配置本地Hadoop Install (hadoop的源码目录)目录 新建一个H转载 2015-07-31 11:01:31 · 907 阅读 · 0 评论 -
Eclipse导入Hadoop源码项目
将Hadoop源码导入Eclipse有个最大好处就是通过 "ctrl + shift + r" 可以快速打开Hadoop源码文件。 第一步:在Eclipse新建一个Java项目 第二步:将Hadoop程序src下core, hdfs, mapred, tools几个目录copy到上述新建项目的src目录 第三步:修改将Java Build Path,转载 2015-07-27 10:30:53 · 806 阅读 · 0 评论 -
WordCount源码分析
3.1 特别数据类型介绍 Hadoop提供了如下内容的数据类型,这些数据类型都实现了WritableComparable接口,以便用这些类型定义的数据可以被序列化进行网络传输和文件存储,以及进行大小比较。 BooleanWritable:标准布尔型数值 ByteWritable:单字节数值 DoubleWritable:双字节数转载 2015-07-28 10:05:03 · 318 阅读 · 0 评论 -
SequenceFile类
包为:org.apache.hadoop.io.SequenceFile Hadoop的SequenceFile类为二进制键值对提供了一个持续化的数据结构。它提供了 Writer, Reader and SequenceFile.Sorter 类能独立执行读、写以及排序操作。 如果想应用于日志文件格式,需要选择一个键(如LongWritable表示时间戳)和一个值(如Writabl转载 2015-08-08 13:09:49 · 825 阅读 · 0 评论 -
Writable接口
在org.apache.hadoop.io中,hadoop使用自己的序列化格式Writables接口,具有紧凑,快速的特点,不过目前只有用Java才能较容易扩展。在hadoop中,它一般用于MapReduce程序的序列化 键值对 。它是基于java.io 中的数据输入输出流DataInput和DataOutput的。 void readFields(DataInput in) //从in流反转载 2015-08-08 10:15:05 · 1226 阅读 · 0 评论 -
hadoop深入研究:(二)——java访问hdfs
转载请注明出处,http://blog.csdn.net/lastsweetop/article/details/9001467 所有源码在github上,https://github.com/lastsweetop/styhadoop 读数据 使用hadoop url读取 比较简单的读取hdfs数据的方法就是通过java.net.URL打开一个流,不过在这之前先要预先调用转载 2015-07-27 10:00:01 · 325 阅读 · 0 评论 -
Hadoop学习笔记之---HDFS
一、HDFS的基本概念 1.1、数据块(block) HDFS(Hadoop Distributed File System)默认的最基本的存储单位是64M的数据块。和普通文件系统相同的是,HDFS中的文件是被分成64M一块的数据块存储的。不同于普通文件系统的是,HDFS中,如果一个文件小于一个数据块的大小,并不占用整个数据块存储空间。 1.2、元数据节点(Namenode)和数转载 2015-07-27 09:52:17 · 487 阅读 · 0 评论 -
Hadoop系统操作类FileSystem
FileSystem类,Hadoop文件API的起点,是一个一个与文件系统交互的抽象类,其对HDFS的操作由不同的具体实现子类来实现。 通过下面的方法来获取一个具体的FileSystem实例: 获取用于HDFS系统的实例:public static FileSystem get(Configuration conf) throws IOException 获取用于本地文件系统的实例:pu转载 2015-07-27 09:49:07 · 544 阅读 · 0 评论 -
在MapReduce中使用压缩
转载 2015-08-08 10:05:43 · 323 阅读 · 0 评论