大数据平台搭建
文章平均质量分 63
这就是一个普普通通的大数据原生平台搭建教程
一枚二白大学生
qq:908024331
展开
-
hive简介--初学者最好看一下
hive简介 Hive是一个数据仓库基础工具在Hadoop中用来处理结构化数据。它架构在Hadoop之上。 Hive并不是一个完整的数据库, Hadoop以及HDFS的设计本身约束和局限性地限制了Hive所能胜任的工作。其中最大的限制就是Hive不支持记录级别的更新、插入或者删除操作。 同时hive用户可以通过查询生成新表或者将查询结果导人到文件中。因为Hadoop是一个面向批处理的系统,而...原创 2019-08-09 15:36:29 · 255 阅读 · 0 评论 -
Hbase简介--初学者最好看一下这些
Hbase简介 HBASE是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统,利用HBASE技术可在廉价PC Server上搭建起大规模结构化存储集群。利用Hadoop HDFS作为其文件存储系统,利用Hadoop MapReduce来处理 HBase中的海量数据,利用Zookeeper作为其分布式协同服务。HBASE主要用来存储非结构化和半结构化的松散数据(列存NoSQL数据库)。 在创...原创 2019-08-09 15:18:02 · 223 阅读 · 0 评论 -
大数据平台--Zookeeper原生搭建教程
环境准备: 三台虚拟机 master(8)、slave1(9)、slave2(10) centos 7.1、jdk-8u171-linux-x64.tar.gz、zookeeper-3.4.10.tar.gz 这个章节非常简单,我们只需要配置一个配置文件就行了 0x1配置java环境 三个节点创建java目录:mkdir -p /usr/java 然后解压到目录tar -zxvf /o...原创 2018-10-25 16:16:18 · 211 阅读 · 0 评论 -
大数据平台--Hbase原生搭建教程
1.环境准备 centos 7.1系统 需要三台云主机: master(8) 作为 client 客户端 slave1(9) 作为 hive server 服务器端 slave2(10) 这是本次搭建需要用到的包 2.基础环境搭建 首先我们需要将java包解压并配置生效java环境变量(前面章节有) 然后我们配置hbase环境变量 vi /etc/profile expor...原创 2019-04-07 14:17:49 · 557 阅读 · 0 评论 -
大数据平台--Hadoop原生搭建教程
环境准备: 三台虚拟机 master(8)、slave1(9)、slave2(10) centos 7.1、jdk-8u171-linux-x64.tar.gz、hadoop-2.7.3.tar.gz 0x1环境准备 首先先在三台虚拟机中创建hadoop文件夹 mdkir /usr/hadoop 在master中将hadoop解压到master的Hadoop文件夹中 tar -z...原创 2018-10-25 17:05:35 · 1194 阅读 · 2 评论 -
大数据平台--Hive原生搭建教程
环境准备 centos 7.1系统 需要三台云主机: master(8) 作为 client 客户端 slave1(9) 作为 hive server 服务器端 slave2(10) 安装 mysql server 注:ip段为8(下同,实际情况根据自己设定来) 安装包使用的是官网下载的(没有的同学百度一下直接到官网下载) 将hive上传到master ,mysql上传到lib ...原创 2018-10-24 12:46:29 · 1284 阅读 · 0 评论 -
大数据原生包搭建脚本
提示:本脚本是运行在centos7上的,节点为master、slave1、slave2。搭建平台主要是基础环境(java环境配置、ntp、主机互通)zookeeper、hadoop、hbase、hive java+zookeeper: master: #1.安装虚拟机,关闭防火墙、selinux(每个节点都要运行) systemctl stop firewalld setenforce ...原创 2018-12-11 11:15:40 · 234 阅读 · 0 评论 -
ambari大数据平台搭建
一.环境准备 centos下载地址: https://www.centos.org/download/ Ambari下载地址: http://docs.hortonworks.com/HDPDocuments/Ambari-2.4.1.0/bk_ambari-installation/content/ambari_repositories.html HDP和HDP UTILS下载...原创 2019-01-03 14:41:36 · 1366 阅读 · 0 评论