Hadoop
黄小北
这个作者很懒,什么都没留下…
展开
-
Ubuntu下配置hadoop
实验环境: Ubuntu12.10, Hadoop1.1.1, jdk1.7准备工作: 1.下载Ubuntu12.10, 下载地址:http://www.ubuntu.com/download 2.下载jdk, 下载地址:http://www.oracle.com/technetwork/java/javase/downloads/jdk7-downloads-1880原创 2013-03-05 16:02:42 · 827 阅读 · 0 评论 -
hadoop实现无密登录[转]
文章转载自:http://www.2cto.com/os/201301/186673.html1. 前期准备: 检查是否安装了SSH服务和rsync服务(rsync是一个远程数据同步工具,可以通过LAN/WLAN快速同步多台主机之间的文件) rpm -qa | grep openssh rpm -qa | grep rsync 我的Centos 5.6下的显示:转载 2013-03-13 18:05:56 · 682 阅读 · 0 评论 -
hadoop集群部署介绍
1、集群部署介绍 1.1 Hadoop简介 Hadoop是Apache软件基金会旗下的一个开源分布式计算平台。以Hadoop分布式文件系统(HDFS,Hadoop Distributed Filesystem)和MapReduce(Google MapReduce的开源实现)为核心的Hadoop为用户提供了系统底层细节透明的分布式基础架构。 对于Hadoop的集群来讲,可转载 2013-03-19 17:59:36 · 1347 阅读 · 0 评论 -
hadoop中查看System.out.println输出
1.首先打开http://131.1.2.26:50030/jobtracker.jsp这个网页, 注意ip为你自己master的ip2.在Completed Jobs 中选择你要查看输出打印信息的jobid,点击进去3.在进入的页面中,看到Kind, 选择Map或Reduce,点击进入4.在进入的页面中,看到Task, 选择相应的Task,地那几进入5.在进入的页面中, 看到标签原创 2013-04-03 15:58:42 · 2093 阅读 · 0 评论 -
hadoop伪分布式每次启动时需要重新format否则namenode无法启动的问题
转自:http://blog.csdn.net/mydreamongo/article/details/8146036伪分布式模式下,hadoop每次start-all完之后,用jps发现namenode没有正常启动,原因是将hadoop默认的临时目录在/tmp目录下,这个目录在机器重启后就会删除。所以在conf目录下的core-site.xml文件里加入对临时文件夹的配置转载 2013-04-17 10:05:50 · 711 阅读 · 0 评论 -
Hive关联HBase
在Hbase中创建的表数据,怎么在hive中查询呢, 下面我们做一下hive对hbase的关联。1.先后启动hdfs和hbase和hive#start-all.sh#start-hbase.sh#hive -hiveconf hbase.zookeeper.quorum=Master.Hadoop, Slave1.Hadoop, Slave2.Hadoop2.在hbase中原创 2013-05-15 10:38:40 · 2198 阅读 · 1 评论 -
解决Unsupported major.minor version 51.0错误
最近在Ubuntu环境下配置Hadoop时,在eclipse中配置hadoop时,总会报错,什么错误呢?哈哈, 就是标题到错误啦! 哇卡卡,怎么会这样呢, 楼主就开始百度了, 因为以前也事没有发现过这种错误的,就百度到是因为jdk版本不兼容的问题。 可是我新建了一个普通到java类, 还是可以运行的,就是Hadoop出问题, 我就想到是不是eclipse添加到hado原创 2013-03-06 13:42:50 · 2247 阅读 · 0 评论