Hadoop
liuc0317
这个作者很懒,什么都没留下…
展开
-
Ubuntu 下Hadoop 伪分布式 hadoop-0.20.2.tar.gz 的安装
第一步: 把Hadoop 的安装文件下载到当前用户下,解压安装,命令如下: tar -xvf hadoop-0.20.2.tar.gz 第二步:配置 Hadoop 文件。 配置 Hadoop-env.sh export JAVA_HOME=/usr/java/jdk1.6.0_11 配置 /conf/hafs-si原创 2013-02-26 14:26:47 · 2030 阅读 · 0 评论 -
自己实现 一个MapReduce 示例
有这样一个实际的问题需要要通过hadoop的来解决一下。有一个学生成绩表,有学生姓名 和成绩格式如下zs 89zs 100ls 98ls 100zs 20ww 89ww 67ls 30ww 20一个学生 有多个科目,有不同的成绩。需要对每个同学的成绩求平均值。同时,把这个student.txt 上传到 hadoop的 file System 中。./bi原创 2013-03-25 12:12:44 · 33832 阅读 · 4 评论 -
hadoop 有用的文章索引
以下是一些对Hadoop 技术的学习和说明的一些文章,在此列举一下。可以日后方便查询。Ubuntu11.10 正式版下载地址 http://ubuntu.cn99.com/ubuntu-releases/11.10/Hadoop 介绍 http://www.cnblogs.com/wayne1017/archive/2007/03/18/668768.html原创 2013-03-14 13:25:36 · 1075 阅读 · 0 评论 -
Pig 安装和使用
pig 0.10.0 的下载地址 http://labs.mop.com/apache-mirror/pig/pig-0.10.0/下载针对Ubuntu 的安装文件pig-0.10.0.tar.gz ,0.10.0 可以运行在Hadoop 0.20.x 的版本之上,下载安装pig 的版本要和自己在安装的hadoop版本匹配。把 pig-0.10.0 文件 放到Linux 系统的当前用户原创 2013-04-08 17:01:10 · 1339 阅读 · 0 评论 -
hadoop 把text 文件转成 Hfile 文件
package dataimport;import java.io.IOException;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.Path;import org.apache.hadoop.hbase.HBaseConfiguration;import org.apache.原创 2013-03-26 17:21:01 · 2960 阅读 · 0 评论 -
hadoop 操作 hdfs
package com.picc.test;import java.io.BufferedReader;import java.io.IOException;import java.io.InputStream;import java.io.InputStreamReader;import java.net.URI;import java.net.URL;import org.a原创 2013-03-27 17:28:14 · 2782 阅读 · 0 评论 -
Ubuntu 9.0 下之HBase 0.90.4 的安装和使用
Ubuntu 9.o 下安装 HbaseHbase 下载 地址 http://archive.apache.org/dist/hbase/hbase-0.90.4/解压 tar vxf hbase-0.90.4.tar.gz cd hbase-0.90.4单机版的配置配置一个目录 现在你已经可以启动Hbase了。但是你可能需要先编辑 conf/hbase原创 2013-03-18 13:08:13 · 1844 阅读 · 0 评论 -
Ubuntu 下安装免登陆SSH
Ubuntu 下安装免登陆SSH 先参看此博客操作 ,http://tech.it168.com/a2013/0127/1450/000001450989_1.shtml 上边如果 可以解析网络地址也就可以顺利的安装了,上边的那个地址安装是 对的,不要怀疑有问题 呵呵 。 我的网络解析不了。所以 我得自己 下载安装包来自己处理。有点麻烦,弄了挺长时间,给大家分享一下。 首先请看一下原创 2013-02-28 14:11:37 · 1982 阅读 · 0 评论 -
HDFS 简介 和常用命令的使用
HDFS 简介 HDFS 是 hadoop Distributed file system 的缩写,意为hadoop 分布式文件系统。是基于流数据模式访问和处理超大文件的需求而开发的,运行在廉价的商用服务器上。 有以下特点: 处理超大文件,可以处理和存储PB级的数据,在yahoo 已经运行了4096个节点的集群了。 在hadoop file system 创建原创 2013-03-27 14:07:34 · 1971 阅读 · 0 评论 -
Java 访问 Hbase 的API
Java 访问 Hbase 的API第一步:要添加eclipse 对Hadoop的插件。1.复制 hadoop安装目录hadoop-0.20.203.0/contrib/eclipse-plugin/hadoop-eclipse-plugin-0.20.203.0.jar到eclipse安装目录下的plugins目录中。2.重启eclipse,配置hadoop installation原创 2013-03-19 11:24:47 · 2538 阅读 · 0 评论 -
Ubuntu9.0 下安装 hive 0.8.1
下载地址: http://mirrors.cnnic.cn/apache/hive/hive-0.8.1/hive是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张数据库表,并提供完整的sql查询功能,可以将sql语句转换为MapReduce任务进行运行。 其优点是学习成本低,可以通过类SQL语句快速实现简单的MapReduce统计,不必开发专门的MapReduce应用,十原创 2013-03-29 12:15:31 · 1352 阅读 · 0 评论 -
hadoop 0.20.2 wordcount 示例
在安装hadoop 之前一定要先安装免登陆的 ssh.可以参看安装ssh 的例子。http://blog.csdn.net/liuc0317/article/details/8621879安装 hadoop 伪分布式 参看 http://blog.csdn.net/liuc0317/article/details/8613586写这篇blog 是见解 http://www.cnblogs.原创 2013-03-21 14:41:40 · 3601 阅读 · 0 评论 -
Hive 的基础使用
在创建一个表baobei_info后,给baobei_info 插入一些数据,他并不支持insert 这样的关系型数据库的操作,首先:我们在创建表时,row 分割符是使有 ":",在file文件夹下新建一个baobei_info.txt 格式如:1:1002:90我们把这个baobei_info.txt 文件导入到数据库hive 表baobei_info 中。命令如下:原创 2013-03-29 14:04:12 · 1948 阅读 · 0 评论 -
dubbo 的使用
dubbo 官方使用说明: http://alibaba.github.io/dubbo-doc-static/Home-zh.htm[2] Dubbo是[3] 阿里巴巴公司开源的一个高性能优秀的服务框架,使得应用可通过高性能的 RPC 实现服务的输Logo出和输入功能,可以和 [4] Spring框架无缝集成。主要核心部件Remoting: 网络通信框原创 2014-12-30 15:06:23 · 34686 阅读 · 8 评论