![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
hadoop
文章平均质量分 64
puweilan
这个作者很懒,什么都没留下…
展开
-
ssh登陆问题
在安装hadoop的时候,每次在新打开计算机后,在cygwin里首次登陆ssh会出现如下错误:《hadoop开发者》第一期里面也有提到过如果是windows域用户会出现如下错误:提供的解决方案为:http://bbs.hadoopor.com/thread-348-1-1.html基于提供的解决方案。由于我在进入cygwin时没有遇到mkpasswd原创 2011-10-30 10:32:38 · 1084 阅读 · 0 评论 -
使用eclipse编写Hadoop应用程序
在此,用eclipse编写了一个简单的程序。1)在eclipse下创建一个java工程DFSOperator,并创建相应的类。在创建类的时候不要自己创建包,用系统默认的包。之前一直不能运行成功好像就是创建了自己的包,错误提示找不到Class。后来重新创建类在默认的包中,运行成功。2)配置编译参数配置“Build Path”,选中“DFSOperator”,单击右键,点击下图所示菜单“B转载 2011-10-30 13:58:16 · 3830 阅读 · 0 评论 -
编译hadoop的eclipse插件
前提是已经安装好jdk并部署好hadoop。hadoop的安装目录为hadoop-1.0.31. 如果系统里没有ant先安装ant。yum install ant2. 在hadoop-1.0.3\src\contrib\build-contrib.xml中加入:(location为eclipse的安装目录) 3. 在hadoop-1.0.3目录下执行ant compile -l原创 2012-10-17 14:55:42 · 1810 阅读 · 0 评论 -
CentOS安装Hadoop并运行WordCount实例
整个配置过程参考http://hadoop.apache.org/docs/r0.19.2/cn/index.htmlLinux系统是CentOS6.21. 安装jdk。在oracle上下载最新jdk的rpm包,双击安装。系统默认安装到了/usr/java/jdk1.7.0_07文件夹里。2. 在apache下载最新稳定版hadoop,我下的是hadoop-1.0.3.tar.gz原创 2012-10-16 10:59:26 · 2129 阅读 · 0 评论 -
Hadoop文件压缩与解压
hadoop文件压缩和解压缩的一个简单测试程序:package org.myorg;import java.io.*;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.io.compress.CompressionCodec;import org.apache.hadoop.io.compress原创 2012-10-19 16:41:23 · 6375 阅读 · 6 评论 -
【hadoop学习笔记】How MapReduce Works
Anatomy of a MapReduce Job Runmapreduce job的整个工作过程如下:1. Job Submission用户通过JobClient.runJob(conf)开始执行一个job(注:最新版本的hadoop,应该是用job.waitForCompeletion(true))。JobClient创建一个JobClient实例并且调用submitJob()来原创 2013-03-18 23:09:26 · 981 阅读 · 0 评论 -
Ubuntu下Sqoop安装配置
需要用到Sqoop将原来mysql中的数据导入到HBase,以下是安装配置Sqoop的步骤和问题记录:1. 项目用到的hadoop的版本是1.0.3,所以对应的sqoop是sqoop-1.4.3.bin__hadoop-1.0.0,mysql的jdbc是mysql-connector-java-5.1.242. 解压sqoop,配置环境变量: 在/etc/profile中添加:原创 2013-07-02 10:29:41 · 6464 阅读 · 0 评论