Hadoop
dhtx_wzgl
这个作者很懒,什么都没留下…
展开
-
Hadoop+Hbase+Zookeeper集群部署
一 准备工作1、修改/etc/hosts配置文件,内容如下:127.0.0.1 localhost10.5.83.191 master10.5.83.192 hbase110.5.83.190 hbase2 2、修改主机名修改/etc/hostname的内容分别为master、hbase1、hbase原创 2015-05-05 15:19:29 · 1041 阅读 · 0 评论 -
Mahout学习路线图
转自:http://blog.fens.me/hadoop-mahout-roadmap/前言Mahout是Hadoop家族中与众不同的一个成员,是基于一个Hadoop的机器学习和数据挖掘的分布式计算框架。Mahout是一个跨学科产品,同时也是我认为Hadoop家族中,最有竞争力,最难掌握,最值得学习的一个项目之一。Mahout为数据分析人员,解决了大数据的门槛;为转载 2016-03-19 10:54:40 · 775 阅读 · 0 评论 -
Hadoop RPC框架
转自:http://blog.csdn.net/thomas0yang/article/details/412112591、RPC框架概述1.1 RPC(Remote Procedure Call Protocol)——远程过程调用协议,它是一种通过网络从远程计算机程序上请求服务,而不需要了解底层网络技术的协议。RPC协议假定某些传输协议的存在,如TCP或UDP,为通信程序之间携带转载 2015-12-11 16:43:10 · 570 阅读 · 0 评论 -
hadoop的namenode无法启动的解决办法
安装hadoop集群时,启动集群,发现master节点的namenode没有启动成功,这一般都是没有格式格式化namenode的缘故,格式化一下即可,格式化namenode的命令:在hadoop安装目录的bin下输入./hadoop namenode -format。有时hadoop集群非首次启动时也无法启动namenode,而格式化以后,namenode可以启动了,但是dat原创 2015-07-15 22:02:56 · 2457 阅读 · 0 评论 -
hadoop-2.6.0 Unhealthy Nodes 问题
最近安装hadoop-2.6.0集群时,打开8088页面,查看集群信息,看到集群出现Unhealthy Nodes 的问题,点击该处,会展开Unhealthy Nodes 的情况,这时会看到Health-report处有信息,这就是问题的根源,我这里是/home/opt/hadoop_tmp/下的一个目录出现bad,原因是该目录下存储空间不够了。修改hadoop的core-site.xml配置文件原创 2015-07-12 11:06:21 · 2215 阅读 · 0 评论 -
hadoop-2.6.0安装(new)
1.下载Hadoop安装文件(hadoop-2.6.0.tar.gz)解压hadoop到/home/ld/Lee/目录下tar -zxvf hadoop-2.6.0.tar.gz -C /home/ld/Lee2.修改/home/ld/Lee/hadoop-2.6.0/etc/hadoop/hadoop-env.sh文件的环境变量:主要是添加java路原创 2015-07-12 13:14:08 · 993 阅读 · 0 评论 -
hadoop集群扩展
一、先修改master机上的host文件,新增内容10.61.6.180 slaves15二、修改master机上hadoop安装目录下的conf中的slaves文件,新增内容slaves15三、将master机上的hosts文件与hadoop安装文件复制到slaves15上四、格式化namenode五、重新启动hadoop集群,通过查看10.61.原创 2015-07-15 14:14:12 · 2784 阅读 · 0 评论 -
hadoop namenode重新格式化以后hbase的hmaster进程启动后马上消失
hadoop的 namenode重新格式化以后,重启hbase,发现它的hmaster进程启动后马上消失,查看一大堆日志,最后在zookeeper的日志里发现如下问题Unable to read additional data from client sessionid 0x14e86607c850007, likely client has closed socket解决 方法:删除掉h原创 2015-07-13 16:42:21 · 2915 阅读 · 0 评论 -
hadoop 运行jar文件
hadoop集群运行java项目的命令hadoop jar 项目名字.jar 包名.主类名 输入目录输出目录原创 2015-07-15 13:33:29 · 1098 阅读 · 0 评论 -
hadoop-2.6.0运行woudcount报错
最近安装的hadoop-2.6.0的集群50070和8088web页面都能打开,也不报任何错,但是在运行wordcount作业时,总是不成功,最后修改了mapred-site.xml配置后,再重新格式化namenode、重启集群,再跑wordcount作业,作业提交成功修改后的mapred-site.xml内容如下mapreduce.framework.nameyarntr原创 2015-07-13 17:03:12 · 887 阅读 · 0 评论 -
【Hadoop】HDFS的运行原理
转自:http://blog.csdn.net/weixuehao/article/details/16967485简介HDFS(Hadoop Distributed File System )Hadoop分布式文件系统。是根据google发表的论文翻版的。论文为GFS(Google File System)Google 文件系统(中文,英文)。HDFS有很多特点:转载 2016-05-09 13:07:56 · 473 阅读 · 0 评论