hadoop
大饼卷馒头蘸米饭
生前何必贪睡,死后自会长眠!
展开
-
Hadoop科普文——常见的45个问题解答
摘要:时至今日,Hadoop已成为最流行的离线数据处理平台,然而它的集群配置起来并不简单。如果你学习Hadoop不久,相信下面这45个问题会对你有所帮助。在工作生活中,有些问题非常简单,但往往搜索半天也找不到所需的答案,在Hadoop的学习与使用过程中同样如此。这里为大家分享Hadoop集群设置中经常出现的一些问题,以下为译文: CSDN推荐:欢迎免费订阅《Ha转载 2014-01-09 11:02:38 · 995 阅读 · 0 评论 -
hadoop问题Type mismatch in value from map解决方法
12/08/27 15:49:40 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable12/08/27 15:49:40 WARN mapred.JobClient: No job jar转载 2014-04-21 15:53:45 · 1047 阅读 · 0 评论 -
hadoop异常“could only be replicated to 0 nodes, instead of 1” 解决
异常分析 1、“could only be replicated to 0 nodes, instead of 1”异常(1)异常描述上面配置都正确无误,并且,已经完成了如下运行步骤:[root@localhost hadoop-0.20.0]# bin/hadoop namenode -format [root@localhost hadoop-0转载 2014-04-18 14:35:24 · 900 阅读 · 0 评论 -
Win7+Eclipse+Hadoop 运行WordCount报错:java.lang.OutOfMemoryError: Java heap space
在Win7下配置好hadoop集成eclipse开发环境后,运行WordCount程序的时候,有可能会报内存溢出异常:原创 2014-04-18 15:43:33 · 2401 阅读 · 0 评论 -
Hadoop切换三种模式之间的配置文件
Hadoop有三种运行模式:单机、伪分布、完全分布模式原创 2014-04-18 14:06:43 · 2222 阅读 · 0 评论 -
Hadoop重新编译WordCount程序报错:cannot access Options
Hadoop版本1.2.1,在根据《hadoop实战》操作重新原创 2014-04-18 11:22:38 · 3144 阅读 · 0 评论 -
eclipse_win7_hadoop1.2.1开发环境搭建1
转自:http://www.cnblogs.com/xia520pi/archive/2012/05/20/2510723.html时间比较紧,而且,这篇日志不管怎么写,都不能比转载的这篇好,所以,这次抄了:1、Hadoop开发环境简介1.1 Hadoop集群简介 Java版本:jdk-6u31-linux-i586.bin Linux系统:CentOS转载 2014-04-17 16:18:07 · 5114 阅读 · 3 评论 -
eclipse_win7_hadoop1.2.1开发环境搭建3
转自:http://www.cnblogs.com/xia520pi/archive/2012/05/20/2510723.html3.6 查看WordCount运行结果 查看Eclipse软件左侧,右击"DFS LocationsàWin7ToHadoopàuseràhadoop",点击刷新按钮"Refresh",我们刚才出现的文件夹"newoutput"会出现。记得"newo转载 2014-04-17 16:20:22 · 1419 阅读 · 1 评论 -
eclipse_win7_hadoop1.2.1开发环境搭建2
转自:http://www.cnblogs.com/xia520pi/archive/2012/05/20/2510723.html3、Eclipse运行WordCount程序3.1 配置Eclipse的JDK 如果电脑上不仅仅安装的JDK6.0,那么要确定一下Eclipse的平台的默认JDK是否6.0。从"Window"菜单下选择"Preference",弹出一个窗体,转载 2014-04-17 16:19:16 · 1790 阅读 · 0 评论 -
CentOS6.4之图解Hadoop1.2.1完全分布式部署
原文地址:CentOS6.4之图解Hadoop1.2.1完全分布式部署散仙上篇博客,介绍了Hadoop基于单机模式下的伪分布式的部署,那么今天我们来看下Hadoop完全分布式的部署,其实只要伪分布式部署的会了,那么完全分布式的相对来说就很简单了,只要我们在一台机器上部署好,然后远程拷贝给其他的子节点就可以了。 散仙用的是Centos6.4的版本,hadoop1.2.1的版本转载 2014-04-17 14:14:58 · 1926 阅读 · 0 评论 -
CentOS6.4之图解配置Hadoop1.2单机伪分布式
基于yarn平台的Hadoop2.2.0在前几天已经发布稳定版本了 新版本解决了1.x中的NameNode,JobTracker单点故障问题,使用yarn统一了分布式开发的集群平台,给集群的资源管理及部署大大提供了便利。目前大多数公司使用的还是1.x的hadoop,那么散仙今天伪分布式的部署,使用的是Apache1.2的hadoop稳定版本,关于2.x的hadoop的部署,散仙会在后面的文章转载 2014-04-17 11:19:56 · 1625 阅读 · 0 评论 -
CentOS6.4之图解SSH无验证双向登陆配置
配置SSH无登陆验证,在很多场景下是非常方便的,尤其是在管理大型集群服务时,避免了繁琐的密码验证,在安全级别越高的服务器上,通常密码的设置更复杂,配置SSH,不仅可以用密钥保证节点间通信的安全性,同时也降低了频繁输入密码登陆的耗时,大大提高了管理效率。散仙写此篇文章,也是给准备入手Hadoop的道友们先做好一个基础的准备,当然你也可以不配置SSH,只要你愿意频繁输入Slave节点的密码来登陆。转载 2014-04-17 11:15:14 · 3091 阅读 · 0 评论 -
CentOS6.4之SSH无验证双向登陆配置(二)
源文地址:http://qindongliang1922.iteye.com/blog/1958826上一篇博客,散仙详细的描述了SSH的无验证登陆方式,但会发现命令流程还是有点复杂的,那么有没有一种简单,快捷的方式来搞定呢?答案是肯定的。 上篇我们在远程拷贝公钥文件时,用的是scp的方式,先把公钥从原机拷贝到从机上,然后使用 Java代码 cat转载 2014-04-17 11:17:40 · 1219 阅读 · 0 评论 -
Centos6.4-Hadoop1.2.1-Hbase-0.95.2 配置分布式服务器
转发请说明出处 http://blog.csdn.net/ligy2005/article/details/12112455由于自己搭建 所以 没有 cloudera manager 快 但是 cloudera manager 架起来 对一两个 机器 负担 还是 有点 大 管理类和监控类工具过多 导致 使用内存 量 很大 废话不多说了直接开始转载 2014-04-29 11:20:56 · 1020 阅读 · 0 评论