hadoop实战
jmuhe
这个作者很懒,什么都没留下…
展开
-
大数据下Hadoop及Hbase使用中遇到的若干问题及汇总
项目说明首先需要说明的是hadoop集群的情况。一共有5台服务器,其中一台作为namenode,另四台是datenode节点。项目具体什么内容不便透露,但是用hadoop集群跑了12个小时,跑完的结果文件有280G,共几亿条数据,也算和大数据沾点边吧。写这篇博客的目的也是为了记录下期间遇到的问题及解决办法,不至于以后再用的时候仍是一片茫然。hadoophadoop的基本概念这里不做介绍。首先说明的是原创 2017-05-24 13:11:03 · 668 阅读 · 0 评论 -
Hadoop集群多用户部署
1 引言之前曾用一个管理员账号A在用户目录下部署了一个hadoop集群。但是当新建一个账号的时候,新账号B就不能使用Hadoop集群,理由很简单,B不能访问A下面的目录和文件。因此,正确的做法是将hadoop集群部署到公告目录下,如/usr/local目录下,让所有账号都能使用。本篇博客就是为了记叙hadoop迁移过程中遇到的问题。2 权限迁移过程中的一个核心问题就是权限问题,只要解决了这个问题,就原创 2017-11-22 17:35:44 · 1590 阅读 · 0 评论