Hadoop
文章平均质量分 90
wuscar0703
这个作者很懒,什么都没留下…
展开
-
Ubuntu 下安装hadoop
0.创建/soft目录,并更改用户和组$>sudo mkdir /soft$>sudo chown ubuntu:ubuntu /soft1.安装jdka.复制jdk-8u65-linux-x64.tar.gz到 ~/Downloads(这里采取的是从mnt文件夹下面复制, 我们可以利用vmware的复制功能,直接复制到Downloads)$>cp /mnt/hgfs/down原创 2016-11-18 16:30:27 · 344 阅读 · 0 评论 -
Hadoop 的模块结构
Hadoop是用来干什么的呢?处理海量数据:量的大, 多, PB --ZB|------>存储: 分布式, 集群的概念, 管理(主节点, 从节点),| HDFS (hadoop distributed Filesystem)|------>分析: 分布式, 并行,离线并行的计算框架,管理(主,从节点)对应mapreduceHadoop的特点以及思想原创 2016-11-18 17:06:27 · 2874 阅读 · 0 评论 -
Hadoop三种模式 详解
一、Hadoop的三种模式:1、独立模式(本地模式) standalone默认的模式,无需运行任何守护进程(daemon),所有程序都在单个JVM上执行。由于在本机模式下测试和调试MapReduce程序较为方便,因此,这种模式适宜用在开发阶段。使用本地文件系统,而不是分布式文件系统。Hadoop不会启动NameNode、DataNode、JobTracker、TaskT原创 2016-11-21 15:00:21 · 4409 阅读 · 0 评论 -
Hadoop子模块的介绍
Hadoop2.x成员模块介绍 Zookeeper担任三种角色,领导者,学习者,客户端,主要是一种协调hadoop的机制。 |---领导者负责投票的发起和决议,更新系统状态。 |---学习者--|--跟随者--用于接收客户端的请求并向客户端返回 结点,在选过程中负责参与投票 |--观察者--可以接受客户端的连接,将写请求转发给 领导者,但观察者不参与投票,...原创 2018-10-09 08:55:20 · 169 阅读 · 0 评论 -
HDFS-java.io.IOException: Unable to create new block.
Hadoop集群运行正常,开启hive,load数据进表示发现load不进去,就尝试hdfs put一个文件到hdfs上,发现hdfs上put文件报如下错误,而看NN和DN log均没有报错,而且每次put一次,报错的机器并不完全一致(集群默认3个副本,4个DN),最后发现是DN防火墙没有关闭,关闭DN的防火墙,文件put成功。...原创 2018-11-27 13:52:38 · 2212 阅读 · 0 评论