Hadoop
liuc0317
这个作者很懒,什么都没留下…
展开
-
Ubuntu 下Hadoop 伪分布式 hadoop-0.20.2.tar.gz 的安装
第一步: 把Hadoop 的安装文件下载到当前用户下,解压安装,命令如下: tar -xvf hadoop-0.20.2.tar.gz 第二步:配置 Hadoop 文件。 配置 Hadoop-env.sh export JAVA_HOME=/usr/java/jdk1.6.0_11 配置 /conf/hafs-si原创 2013-02-26 14:26:47 · 2048 阅读 · 0 评论 -
自己实现 一个MapReduce 示例
有这样一个实际的问题需要要通过hadoop的来解决一下。 有一个学生成绩表,有学生姓名 和成绩格式如下 zs 89 zs 100 ls 98 ls 100 zs 20 ww 89 ww 67 ls 30 ww 20 一个学生 有多个科目,有不同的成绩。 需要对每个同学的成绩求平均值。 同时,把这个student.txt 上传到 hadoop的 file System 中。 ./bi原创 2013-03-25 12:12:44 · 33872 阅读 · 4 评论 -
hadoop 有用的文章索引
以下是一些对Hadoop 技术的学习和说明的一些文章,在此列举一下。可以日后方便查询。 Ubuntu11.10 正式版下载地址 http://ubuntu.cn99.com/ubuntu-releases/11.10/ Hadoop 介绍 http://www.cnblogs.com/wayne1017/archive/2007/03/18/668768.html原创 2013-03-14 13:25:36 · 1096 阅读 · 0 评论 -
Pig 安装和使用
pig 0.10.0 的下载地址 http://labs.mop.com/apache-mirror/pig/pig-0.10.0/ 下载针对Ubuntu 的安装文件pig-0.10.0.tar.gz ,0.10.0 可以运行在Hadoop 0.20.x 的版本之上, 下载安装pig 的版本要和自己在安装的hadoop版本匹配。 把 pig-0.10.0 文件 放到Linux 系统的当前用户原创 2013-04-08 17:01:10 · 1405 阅读 · 0 评论 -
hadoop 把text 文件转成 Hfile 文件
package dataimport; import java.io.IOException; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.Path; import org.apache.hadoop.hbase.HBaseConfiguration; import org.apache.原创 2013-03-26 17:21:01 · 2987 阅读 · 0 评论 -
hadoop 操作 hdfs
package com.picc.test; import java.io.BufferedReader; import java.io.IOException; import java.io.InputStream; import java.io.InputStreamReader; import java.net.URI; import java.net.URL; import org.a原创 2013-03-27 17:28:14 · 2824 阅读 · 0 评论 -
Ubuntu 9.0 下之HBase 0.90.4 的安装和使用
Ubuntu 9.o 下安装 Hbase Hbase 下载 地址 http://archive.apache.org/dist/hbase/hbase-0.90.4/ 解压 tar vxf hbase-0.90.4.tar.gz cd hbase-0.90.4 单机版的配置 配置一个目录 现在你已经可以启动Hbase了。但是你可能需要先编辑 conf/hbase原创 2013-03-18 13:08:13 · 1875 阅读 · 0 评论 -
Ubuntu 下安装免登陆SSH
Ubuntu 下安装免登陆SSH 先参看此博客操作 ,http://tech.it168.com/a2013/0127/1450/000001450989_1.shtml 上边如果 可以解析网络地址也就可以顺利的安装了,上边的那个地址安装是 对的,不要怀疑有问题 呵呵 。 我的网络解析不了。所以 我得自己 下载安装包来自己处理。有点麻烦,弄了挺长时间,给大家分享一下。 首先请看一下原创 2013-02-28 14:11:37 · 2001 阅读 · 0 评论 -
HDFS 简介 和常用命令的使用
HDFS 简介 HDFS 是 hadoop Distributed file system 的缩写,意为hadoop 分布式文件系统。是基于流数据模式访问和处理超大文件的需求而开发的,运行在廉价的商用服务器上。 有以下特点: 处理超大文件,可以处理和存储PB级的数据,在yahoo 已经运行了4096个节点的集群了。 在hadoop file system 创建原创 2013-03-27 14:07:34 · 1987 阅读 · 0 评论 -
Java 访问 Hbase 的API
Java 访问 Hbase 的API 第一步:要添加eclipse 对Hadoop的插件。 1.复制 hadoop安装目录hadoop-0.20.203.0/contrib/eclipse-plugin/hadoop-eclipse-plugin-0.20.203.0.jar到eclipse安装目录下的plugins目录中。 2.重启eclipse,配置hadoop installation原创 2013-03-19 11:24:47 · 2561 阅读 · 0 评论 -
Ubuntu9.0 下安装 hive 0.8.1
下载地址: http://mirrors.cnnic.cn/apache/hive/hive-0.8.1/ hive是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张数据库表,并提供完整的sql查询功能,可以将sql语句转换为MapReduce任务进行运行。 其优点是学习成本低,可以通过类SQL语句快速实现简单的MapReduce统计,不必开发专门的MapReduce应用,十原创 2013-03-29 12:15:31 · 1371 阅读 · 0 评论 -
hadoop 0.20.2 wordcount 示例
在安装hadoop 之前一定要先安装免登陆的 ssh.可以参看安装ssh 的例子。http://blog.csdn.net/liuc0317/article/details/8621879 安装 hadoop 伪分布式 参看 http://blog.csdn.net/liuc0317/article/details/8613586 写这篇blog 是见解 http://www.cnblogs.原创 2013-03-21 14:41:40 · 3624 阅读 · 0 评论 -
Hive 的基础使用
在创建一个表baobei_info后, 给baobei_info 插入一些数据,他并不支持insert 这样的关系型数据库的操作, 首先:我们在创建表时,row 分割符是使有 ":",在file文件夹下新建一个baobei_info.txt 格式如: 1:100 2:90 我们把这个baobei_info.txt 文件导入到数据库hive 表baobei_info 中。命令如下:原创 2013-03-29 14:04:12 · 1972 阅读 · 0 评论 -
dubbo 的使用
dubbo 官方使用说明: http://alibaba.github.io/dubbo-doc-static/Home-zh.htm [2] Dubbo是[3] 阿里巴巴公司开源的一个高性能优秀的服务框架,使得应用可通过高性能的 RPC 实现服务的输 Logo 出和输入功能,可以和 [4] Spring框架无缝集成。 主要核心部件 Remoting: 网络通信框原创 2014-12-30 15:06:23 · 34762 阅读 · 8 评论