hadoop集群部署
文章平均质量分 90
让头发掉下来
这个作者很懒,什么都没留下…
展开
-
05、hive数据仓库介绍及搭建
Hive起源于Facebook(一个美国的社交服务网络)。Facebook有着大量的数据,而Hadoop是一个开源的MapReduce实现,可以轻松处理大量的数据。 但是MapReduce程序对于Java程序员来说比较容易写,但是对于其他语言使用者来说不太方便。此时Facebook最早地开始研发Hive,它让对Hadoop使用SQL查询(实际上SQL后台转化为了MapReduce)成为可能,那些非Java程序员也可以更方便地使用。hive最早的目的也就是为了分析处理海量的日志。 Hi原创 2022-06-24 14:25:26 · 2449 阅读 · 0 评论 -
04、Hbase介绍及搭建
HBase是一个分布式的、面向列、非关系型的开源数据库,该技术来源于Fay Chang所撰写的Google论文“Bigtable:一个结构化数据的分布式存储系统”。Hadoop是一个高容错、高延时的分布式文件系统和高并发的批处理系统,不适用于提供实时计算; HBase是可以提供实时计算的分布式数据库,数据被保存在HDFS分布式文件系统上HBase HRegion servers集群中的所有的region的数据在服务器启动时都是被打开的,相应的这就在一定程度上加快系统响 应;而Hadoop中的block中的数原创 2022-06-24 13:39:44 · 627 阅读 · 0 评论 -
03、hadoop集群安装
hadoop的思想来源是Google,Google曾经面对一个问题,大量的网页怎么存储,怎么快速搜索的问题,于是三篇论文诞生了GFS、Map-Reduce、BigTable,这三篇论文的开源实现版本分别就是hadoop的hdfs、mapreduce和hbase,分别对应大数据存储、大数据分析计算、列式非关系型数据库。 hadoop本身就是一个软件,一个用java写好的软件,只要你电脑上装好了jdk,就能运行。 hadoop1.0软件本身有两个模块,hdfs和mapreduce,hadoop2原创 2022-06-24 10:18:53 · 373 阅读 · 0 评论 -
02、基础环境搭建及Zookeeper介绍与搭建
写在前面:在查看本文之前,需要先学习01、VMware中Centos7安装教程搭建好虚拟机以及需要学会克隆虚拟机。因为整个完全分布式集群的搭建至少需要3台机器,需要克隆2台命名为slave1与slave2两个从节点,而被克隆的主机称为主节点master。本次集群搭建共有三个节点,包括一个主节点master,和两个从节点slave1和slave2。具体操作如下:1.以主机点master为例,首次切换到root用户:su2.修改主机名为master: hostnamectl set-hostname ...原创 2022-06-23 18:06:54 · 807 阅读 · 0 评论 -
01、VMware中Centos7安装教程
一.安装前准备VMware14.0https://www.vmware.com/cn/products/workstation-pro/workstation-pro-evaluation.htmlCentOS 7.2 64位镜像http://isoredirect.centos.org/centos/7/isos/x86_64/CentOS-7-x86_64-DVD-1708.iso二.在VMware中创建虚拟机1.打开VMware,点击文件,选择新建虚拟机(或者直接使用Ctrl+N快捷键),然后选择自定原创 2022-06-22 16:42:14 · 117 阅读 · 0 评论