![](https://img-blog.csdnimg.cn/20201014180756930.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
hadoop
codepython
这个作者很懒,什么都没留下…
展开
-
Hadoop数据类型
一. Hadoop内置的数据类型BooleanWritable:标准布尔型数值ByteWritable:单字节数值DoubleWritable:双字节数值FloatWritable:浮点数IntWritable:整型数LongWritable:长整型数Text:使用UTF8格式存储的文本NullWritable:当中的key或value为空时使用二. 用户自定义数据类型的实现转载 2015-01-28 21:52:18 · 418 阅读 · 0 评论 -
如何快速地编写和运行一个属于自己的MapReduce例子程序
大数据的时代, 到处张嘴闭嘴都是Hadoop, MapReduce, 不跟上时代怎么行? 可是对一个hadoop的新手, 写一个属于自己的MapReduce程序还是小有点难度的, 需要建立一个maven项目, 还要搞清楚各种库的依赖, 再加上编译运行, 基本上头大两圈了吧。 这也使得很多只是想简单了解一下MapReduce的人望而却步。本文会教你如何用最快最简单的方法编写和运行一个属于自己转载 2015-01-22 15:15:28 · 731 阅读 · 0 评论 -
Hadoop实战-初级部分 之 Hadoop MapReduce JAVA API
私塾在线《深入浅出学 Hadoop- 初级 部分》 —— 系列精品教程视频课程地址》》》 http://sishuok.com/product/481整体课程概览第一部分:开始云计算之旅第二部分:初识Hadoop第三部分:Hadoop 环境安装部署第四部分:Hadoop Shell 基本操作介绍第五部分:Hadoop 分布式转载 2015-01-13 23:05:24 · 454 阅读 · 0 评论 -
【hadoop-HDFS】 抛出错误 (java.io.IOException: config())
【hadoop-HDFS】 抛出错误 (java.io.IOException: config())DEBUG [main] Configuration.(211) | java.io.IOException: config()at org.apache.hadoop.conf.Configuration.(Configuration.java:211)at com转载 2015-02-01 17:17:07 · 631 阅读 · 0 评论 -
Hadoop实战-初级部分 之 MapReduce
私塾在线《深入浅出学 Hadoop- 初级 部分》 —— 系列精品教程视频课程地址》》》 http://sishuok.com/product/481整体课程概览第一部分:开始云计算之旅第二部分:初识Hadoop第三部分:Hadoop 环境安装部署第四部分:Hadoop Shell 基本操作介绍第五部分:Hadoop 分布式文件系统1转载 2015-01-13 22:46:08 · 431 阅读 · 0 评论 -
Hbase访问方式之Mapreduce
概述:Hbase对Mapreduce API进行了扩展,方便Mapreduce任务读写HTable数据。一个简单示例:说明:从日志表中,统计每个IP访问网站目录的总数[java] view plaincopypackage man.ludq.hbase; import java.io.转载 2015-01-14 16:59:10 · 517 阅读 · 0 评论 -
HBase/Hadoop学习笔记
学习目标:至少掌握五点:1. 深入理解HTable,掌握如何结合业务涉及高性能的HTable。2. 掌握与HBase的交互,通过HBase Shell命令及Java API进行数据的增删改查。3. 掌握如何用MapReduce分析HBase里的数据4. 掌握如何测试HBase MapReduce。 HBase简介:转载 2015-01-13 23:27:52 · 864 阅读 · 0 评论 -
MapReduce操作HBase
运行HBase时常会遇到个错误,我就有这样的经历。 ERROR: org.apache.hadoop.hbase.MasterNotRunningException: Retried 7 times检查日志:org.apache.hadoop.ipc.RPC$VersionMismatch: Protocol org.apache.hadoop.hdfs.protocol.ClientPr转载 2015-01-13 23:26:10 · 458 阅读 · 0 评论 -
基于HBase Hadoop 分布式集群环境下的MapReduce程序开发
HBase分布式集群环境搭建成功后,连续4、5天实验客户端Map/Reduce程序开发,这方面的代码网上多得是,写个测试代码非常容易,可是真正运行起来可说是历经挫折。下面就是我最终调通并让程序在集群上运行起来的一些经验教训。 一、首先说一下我的环境: 1,集群的环境配置请见这篇博文。 2,开发客户机环境:操作系统是CentOS6.5,JDK版本是1.转载 2015-02-01 17:21:54 · 2248 阅读 · 0 评论 -
HTablePool简单使用例子
HTablePool用在经常要创建表关闭表的程序中,可以大大优化性能,提高效率。HTablePool()HTablePool(Configuration config, int maxSize)HTablePool(Configuration config, int maxSize, HTableInterfaceFactory tableFactory)maxSize并非转载 2015-01-21 20:07:31 · 862 阅读 · 0 评论