![](https://img-blog.csdnimg.cn/20201014180756926.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
hadoop
iteye_8118
这个作者很懒,什么都没留下…
展开
-
Eclipse导入hadoop源码
将Hadoop源码导入Eclipse有个最大好处就是通过 "ctrl + shift + r" 可以快速打开Hadoop源码文件。 第一步:在Eclipse新建一个Java项目。 第二步:将Hadoop程序src下core, hdfs, mapred, tools几个目录copy到上述新建项目的src目录。 第三步:修改将Java Build Path,删除src,添加src/...原创 2013-06-11 11:22:59 · 66 阅读 · 0 评论 -
ubuntu 12.04 64位系统下hadoop-2.2.0-src源码编译
[code="java"] 第零:配置yum源 yum install gcc yum install gcc-c++ yum install make yum install cmake yum install openssl-devel yum install ncurses-devel ...原创 2014-05-20 15:39:40 · 79 阅读 · 0 评论 -
搭建hadoop2.4.0伪分布式
+==========================================搭建伪分布式hadoop=========================== +======================================准备工作/下载及安装软件 开始=========================== 0.下载新新版本的ubuntu 见网...原创 2014-05-21 14:47:20 · 85 阅读 · 0 评论 -
完全分布式下使用eclipse运行hadoop2.2.0的WordCount实例
[img]http://dl2.iteye.com/upload/attachment/0097/7395/179e518f-ec2b-3ca7-b040-858087afdeb4.png[/img] [img]http://dl2.iteye.com/upload/attachment/0097/7397/ec5176e0-e319-3be3-91c5-aa53745761d3.png[/im...原创 2014-06-03 14:12:41 · 117 阅读 · 0 评论 -
hadoop2之YARN
YARN资源管理系统 产生背景: 1.源于MRV1的几个缺陷 单点故障、扩展性受限、难以支持MR以外的计算 2.多种计算框架各自为战,难以数据共享 MR离线计算框架、Storm实时/流式计算框架、Spart内存计算框架 基本架构 1.ResourceManager (整个集群只有一个,负责集群资源的统一管理与调度) 处理客...原创 2014-06-17 16:43:41 · 62 阅读 · 0 评论 -
hadoop启动报jvm错
ROO用户下启动hadoop报以下错误: root@debian:/opt/software/hadoop/hadoop-0.20.205.0/bin# ./start-all.sh starting namenode, logging to /opt/software/hadoop/hadoop-0.20.205.0/libexec/../logs/hadoop-root-namenode...原创 2013-02-20 22:39:52 · 133 阅读 · 0 评论 -
hadoop安装
网上找到一兄弟的资源,debian下安装hadoop,附件中 [code="java"] 1.下载hadoop-0.20.205.0.tar.gz 2.cp 到/usr/local/hadoop并减压 3.修改环境变量 root@debian:/usr/local/hadoop/conf# echo $JAVA_HOME /opt/software/hadoop/jdk1.6.0_...原创 2013-02-21 19:22:34 · 71 阅读 · 0 评论 -
java.io.IOException: Mkdirs failed to create file
[转]http://blog.csdn.net/xiaoping8411/article/details/7429209 [code="java"] 一:文件操作 1、建立目录 [hadoop@hadoop1:hadoop]$bin/hadoop dfs -mkdir testdir 在HDFS中建立一个名为testdir的目录 2、上传文件到HDFS [hadoop@hadoo...原创 2013-02-21 23:10:56 · 6236 阅读 · 0 评论 -
Performance Tunning
「转自」http://langyu.iteye.com/blog/1341267 Performance Tunning 8mins, 44sec TO 3mins, 45sec 硬件级别 提高磁盘IO的性能 noatime 我为两台slaves server设置了noatime. vi /etc/fstab.map task的平均执行时间减少两秒 ,这影响硬盘IO...原创 2014-07-16 16:24:18 · 186 阅读 · 0 评论 -
hadop一些地址
[code="java"] hadoop在路上 http://www.kankanews.com/ICkengine/archives/121434.shtml [/code]原创 2014-05-15 16:09:18 · 76 阅读 · 0 评论 -
Hadop介绍
[code="java"] Hadoop解决的二个问题: 1.海量数据的存储,HDFS 2.海量数据的分析,MapReduce HDFS设计目标: --适应场景 1.Very Large File(单个文件很大,或者文件总大小非常大) 2.Streaming data access (write-once, read-many-times) 3.Commo...原创 2013-11-23 11:43:39 · 229 阅读 · 0 评论 -
运行WordCount
[code="java"] 1.eclipse中新建java工程 2.把hadoop中自带的WordCount.java类拷到工程中, 3.引入hadoop安装目录lib及share目录下的jar文件 4.右键WordCount类, Run Confguration 配置输入与输出路经 ,见附件 5.在输入目录下创建几个文件并且给文件中写入些单词 6.运行此类 ps:注意每次...原创 2013-06-18 22:54:26 · 55 阅读 · 0 评论 -
debian下安装mysql
[code="java"] 1.把安装包mysql-5.1.60.tar.gz下载到/usr/local目录下减压 2.安装客户端与服务器 apt-get install mysql-server apt-get install mysql-client ==============安全卸载mysql 停止mysql服务,如果不管用,就grep包括"mysql“的进程,全部pkill掉...原创 2013-06-30 12:28:13 · 107 阅读 · 0 评论 -
hadoop的namenode Shell执行启动过程
[code="java"] ./start-all.sh中主要做的三件事件: ...获取到hadoop的bin目录 1.执行$bin/../libexec/hadoop-config.sh脚本 A.获取当前脚本及其整个目录this="${BASH_SOURCE-$0}" B.获取到目录,不包含此目录下的脚本 common_bin=$(cd -P -- "$(dir...原创 2013-06-30 12:29:48 · 270 阅读 · 0 评论 -
hadoop的web操作界面
[code="java"] 1 NN(NameNode)常规报告: http://localhost:50070 localhost为NN的ip 提供集群的基本状态,可以看集群中的NN的日志 2 JT(JobTracker)的Map-Reduce报告 http://localhost:50030 localhost为JT的ip 可以查看具体Map-Reduce任务的执...原创 2013-06-30 12:31:47 · 759 阅读 · 0 评论 -
动态代理程序
见附件中...原创 2013-07-08 19:54:36 · 95 阅读 · 0 评论 -
Hadoop第一个测试实例WordCount的运行
首先确保hadoop已经正确安装、配置以及运行。 拷贝WordCount.java到我们的文件夹,下载的hadoop里带有WordCount.java,路径为: hadoop-0.20.203.0/src/examples/org/apache/hadoop/examples/WordCount.java 进行拷贝操作 [plain] view plaincopyprint...原创 2013-09-07 07:35:09 · 307 阅读 · 0 评论 -
Hadooop序列化框架使用
第一步:实现Writable接口(TestGenericWritable.java) public static class Baz extends Bar { @Override public void readFields(DataInput in) throws IOException { super.readFields(in); //...原创 2015-07-03 11:03:45 · 129 阅读 · 0 评论 -
Uber模式测试
原创 2015-07-09 16:15:27 · 143 阅读 · 0 评论 -
hadoop记录
MapReduce的特征 1. 每个分片输入的文件可以比较大。默认64M Map1结果与Map2结果重叠现象?(传统的分布式计算无法解决) 方案:Map2与Map2原封不动的把数据传到Reduce; 问题:结果Map啥事没干,Reduce最终累死, 分而治之成为了空谈。 最终方案:使用partition把相同key的结果分配到同一个reduce上执行 输入文件把切分成...原创 2014-07-17 09:14:13 · 83 阅读 · 0 评论