关注
分享
你的男孩.
计算机的世界有无数道门窗 无论我们打开哪一道 都能收获无穷尽的风景
展开
-
Hadoop生态圈(一) -- 伪分布式集群搭建
集群搭建 1.首先得有一个完整的虚拟机,目前作者使用的是Centos,企业大部分都在用这一款,当然你也可以用Ubntu… 网络状态良好 1.上传文件至虚拟机 1.上传文件的两种方式 1.1我们可以使用xftp上传文件,xftp使用起来方便,直接进行文件的拖拽就可以完成文件的传输,传输的速度也是非常快的,but xftp是收费的网上也有一些密钥可以使用试用版本… 1.2当然我们也可以使用命令进行...原创 2019-06-12 15:28:22 · 243 阅读 · 0 评论 -
Hadoop生态圈(二) -- 完全分布搭建
完全集群搭建 首先上一篇博客已经有写到伪分布式搭建,伪分布式搭建是在一个集群当中主节点和SecondaryName放在一个节点上… 1.配置多个节点的网络映射 192.168.79.123 node01 192.168.79.124 node02 192.168.79.125 node03 192.168.79.126 node04 例如上面的几个节点,我们可以在主节点上完成节点的录入,传入数据...原创 2019-06-12 21:52:08 · 212 阅读 · 0 评论 -
Hadoop生态圈(一) -- 搭建伪分布式集群(二)
搭建一个伪分布式集群..... 1)上传安装包 1.1搭建伪分布式集群首先准备一个健康的虚拟机环境…起码你的状态是可以运行的对嘛?下面是我的虚拟机最近工作需要,需要搭建一个集群,所以今天呢好好的来回顾一下,伪分布式集群的搭建，而我呢顺便回顾一下安装的步骤…废话不多说,直接上手吧！ 2)解压安装包 2.1我们搭建的是伪分布式,需要用到的是<a href="www.ba...原创 2019-06-13 10:35:19 · 142 阅读 · 0 评论 -
Hadoop生态圈(三)──HDFS客户端搭建与应用
外部客户端的搭建 早期我们在虚拟机搭建hadoop的开发环境的步骤已经暂且告一段落了,现在我们来开发客户端的搭建(感谢小毕同事的指导) 1.客户端软件 ...原创 2019-06-13 14:45:40 · 356 阅读 · 1 评论 -
Hadoop生态圈(六)──Zookeeper的安装与应用
前言 思想核心 拜占庭将军问题是一个共识问题: 首先由Leslie Lamport与另外两人在1982年提出，被称为The Byzantine Generals Problem或者Byzantine Failure。核心描述是军中可能有叛徒，却要保证进攻一致，由此引申到计算领域，发展成了一种容错理论。随着比特币的出现和兴起，这个著名问题又重入大众视野。 那么今天要给大家引入的是zookeeper分...原创 2019-06-18 22:01:06 · 191 阅读 · 0 评论 -
Hadoop生态圈(七)──Hive的认识的安装
文章目录为什么要使用Hive(优点)Hive工作原理 前言 Hive 是建立在 Hadoop 基础上的数据仓库基础构架。它提供了一系列的工具，可以用来进行数据提取转化加载（ETL），这是一种可以存储、查询和分析存储在 Hadoop 中的大规模数据的机制。Hive 定义了简单的类 SQL 查询语言，称为 QL ，它允许熟悉 SQL 的用户查询数据。同时，这个语言也允许熟悉 MapReduce ...原创 2019-06-19 14:58:16 · 380 阅读 · 1 评论 -
Hadoop生态圈(八)──Hive分区和分桶
Hive的分区 首先我们谈及分区的时候,对于分区我们完全可以引入一个话题…大家每逢节假日的时候,都会去选择购物,那么在我们购物的时候(逛超市的时候)都会看见物品的分门别类,也许一进门你可以看见第一个货架上全是饮料。当我们走到第二个货架的时候,你也许会看见红酒专区…这是在我们日常生活当中看见的分区的概念…而在我们的hive的分区当中我们可以理解为一个个的文件夹,而你的分区是文件夹下的目录。你优先创建...原创 2019-06-20 22:05:08 · 1230 阅读 · 1 评论 -
深入浅出:探讨Hadoo和Strom与Spark的异同
一、hadoop和Storm该选哪一个？ 为了区别hadoop和Storm，该部分将回答如下问题： 1.hadoop、Storm各是什么运算 2.Storm为什么被称之为流式计算系统 3.hadoop适合什么场景，什么情况下使用hadoop 4.什么是吞吐量 首先整体认识：Hadoop是磁盘级计算，进行计算时，数据在磁盘上，需要读写磁盘；Storm是内存级计算，数据直接通过网络导入内存。读写内存比...转载 2019-06-17 14:32:08 · 177 阅读 · 0 评论