Hadoop
Zun-
这个作者很懒,什么都没留下…
展开
-
Zookeeper简介
Zookeeper是一个开源的、分布式的应用程序协调服务。它提供了一套原语集,通过 这套原语集,可以实现更高层次的同步服务、配置管理、集群管理以及命名管理。一句话:Zookeeper就是保证数据在集群中的事务一致性。zk是集群部署的(通常有奇数个节点)。(3,5,7,9)集群之间是数据传递的。集群之间传递数据必须要保证事务的一致性。提供中心化的服务故障发现服务。架构Zoo...原创 2020-02-22 17:45:16 · 303 阅读 · 0 评论 -
分布式面向列的数据库--Hbase
概述HBase是一个构建在Hadoop之上的高可用、高性能、多版本的分布式NOSQL数据库。通过在廉价服务器上搭建大规模结构化存储集群,提供海量数据高性能的随机读写能力。NoSQL,指的是非关系型的数据库。NoSQL有时也称作Not Only SQL的缩写,是对不同于传统的关系型数据库的数据库管理系统的统称。NoSQL用于超大规模数据的存储。(例如谷歌或Facebook每天为他们的用户收集万...原创 2020-02-21 17:38:47 · 1437 阅读 · 0 评论 -
基于Hadoop的数据仓库Hive&HiveQL
Hive简介Hive是构建在Hadoop之上的数据仓库平台。Hive是SQL解析引擎,它将SQL语句转译为MapReduce作业,并在Hadoop上运行。Hive表是HDFS的文件目录,一个表对应一个目录名,如果有分区的话,则分区值对应子目录。对比Mysql随着数据量增加某些查询需要几个小时甚至几天才能完成。当 数据达到1T时,MySql进程跨掉Oracle可以支撑几个T的数据...原创 2020-02-21 09:28:32 · 546 阅读 · 0 评论 -
Hadoop资源管理器-YARN
Hadoop1.0创建job,获取jobID。检查作业的输出说明并计算作业的输入分片,然后将运行作业所需要的资源都复制到以作业ID命名的目录下。提交作业,告知jobtracker作业准备执行。(submitJob()方法)初始化作业。创建一个表示正在运行作业的对象,用来封装任务和记录信息。获取客户端计算好的输入分片,然后为每 个分片创建一个map任务。在此步骤的时候 还会创建r...原创 2020-02-19 20:23:24 · 1296 阅读 · 0 评论 -
Hadoop分布式计算框架MapReduce
MapReduce计算模型[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-pbCoXa8F-1582036701306)(/Users/pengzijun/Library/Application Support/typora-user-images/image-20200218173122558.png)]主要由Map和Reduce两部分组成。Reduce阶段...原创 2020-02-18 22:40:08 · 413 阅读 · 0 评论 -
Hadoop分布式文件储存系统
简介一句话(官方):分布式存储系统HDFS( Hadoop Distributed File System)。 其实就是一个文件系统,类似于linux的文件系统。有目录,目录下可以存 储文件。但它又是一个分布式的文件系统。基本原理将文件切分成等大的数据块,分别存储到多台机器上。每个数据块存在多个备份。 将数据切分、容错、负载均衡等功能透明化。可将HDFS看成是一个巨大、具有容错性的磁...原创 2020-02-17 21:48:36 · 2836 阅读 · 0 评论 -
Hadoop:no space left on device
Hadoop:no space left on device问题描述今天突然发现hive使用不了,试着重启Hadoop集群,首先是现实no datanode to stop,按照我上一篇博文方法解决后.再次启动Hadoop。显示no space left on device,字面上就是空间不足的意思。心想我也未曾上传大文件到服务器啊。查阅相关资料,总结如下。原因首先,查看服务器磁盘占用情...原创 2019-11-19 15:29:19 · 951 阅读 · 0 评论 -
Hadoop:no datanode to stop
Hadoop:no dataNode to Stop集群配置后好后,有一段时间未重启集群。执行命令sbin/stop-all.sh集群显示no dataNode to stop等字样原因尚未配置Hadoop相关进程的pid目录,所以pid都是保存在temp文件夹中的,而linux相关机制会定期清理temp文件夹。启动后长时间未重启,pid已经被清理掉了,再次停止就会找不到pid文件,从...原创 2019-11-19 14:56:22 · 920 阅读 · 1 评论