![](https://img-blog.csdnimg.cn/20190411103929232.jpeg?x-oss-process=image/resize,m_fixed,h_224,w_224)
大数据平台搭建
这就是一个普普通通的大数据原生平台搭建教程
一枚二白大学生
qq:908024331
展开
-
hive简介--初学者最好看一下
hive简介Hive是一个数据仓库基础工具在Hadoop中用来处理结构化数据。它架构在Hadoop之上。Hive并不是一个完整的数据库, Hadoop以及HDFS的设计本身约束和局限性地限制了Hive所能胜任的工作。其中最大的限制就是Hive不支持记录级别的更新、插入或者删除操作。同时hive用户可以通过查询生成新表或者将查询结果导人到文件中。因为Hadoop是一个面向批处理的系统,而...原创 2019-08-09 15:36:29 · 226 阅读 · 0 评论 -
Hbase简介--初学者最好看一下这些
Hbase简介HBASE是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统,利用HBASE技术可在廉价PC Server上搭建起大规模结构化存储集群。利用Hadoop HDFS作为其文件存储系统,利用Hadoop MapReduce来处理 HBase中的海量数据,利用Zookeeper作为其分布式协同服务。HBASE主要用来存储非结构化和半结构化的松散数据(列存NoSQL数据库)。在创...原创 2019-08-09 15:18:02 · 216 阅读 · 0 评论 -
大数据平台--Zookeeper原生搭建教程
环境准备:三台虚拟机 master(8)、slave1(9)、slave2(10)centos 7.1、jdk-8u171-linux-x64.tar.gz、zookeeper-3.4.10.tar.gz这个章节非常简单,我们只需要配置一个配置文件就行了0x1配置java环境三个节点创建java目录:mkdir -p /usr/java然后解压到目录tar -zxvf /o...原创 2018-10-25 16:16:18 · 202 阅读 · 0 评论 -
大数据平台--Hbase原生搭建教程
1.环境准备centos 7.1系统需要三台云主机:master(8) 作为 client 客户端 slave1(9) 作为 hive server 服务器端 slave2(10)这是本次搭建需要用到的包2.基础环境搭建首先我们需要将java包解压并配置生效java环境变量(前面章节有)然后我们配置hbase环境变量vi /etc/profileexpor...原创 2019-04-07 14:17:49 · 542 阅读 · 0 评论 -
大数据平台--Hadoop原生搭建教程
环境准备:三台虚拟机 master(8)、slave1(9)、slave2(10)centos 7.1、jdk-8u171-linux-x64.tar.gz、hadoop-2.7.3.tar.gz0x1环境准备首先先在三台虚拟机中创建hadoop文件夹mdkir /usr/hadoop在master中将hadoop解压到master的Hadoop文件夹中tar -z...原创 2018-10-25 17:05:35 · 1179 阅读 · 2 评论 -
大数据平台--Hive原生搭建教程
环境准备centos 7.1系统需要三台云主机:master(8) 作为 client 客户端 slave1(9) 作为 hive server 服务器端 slave2(10) 安装 mysql server注:ip段为8(下同,实际情况根据自己设定来)安装包使用的是官网下载的(没有的同学百度一下直接到官网下载)将hive上传到master ,mysql上传到lib...原创 2018-10-24 12:46:29 · 1269 阅读 · 0 评论 -
大数据原生包搭建脚本
提示:本脚本是运行在centos7上的,节点为master、slave1、slave2。搭建平台主要是基础环境(java环境配置、ntp、主机互通)zookeeper、hadoop、hbase、hivejava+zookeeper:master:#1.安装虚拟机,关闭防火墙、selinux(每个节点都要运行)systemctl stop firewalld setenforce ...原创 2018-12-11 11:15:40 · 221 阅读 · 0 评论 -
ambari大数据平台搭建
一.环境准备centos下载地址:https://www.centos.org/download/Ambari下载地址:http://docs.hortonworks.com/HDPDocuments/Ambari-2.4.1.0/bk_ambari-installation/content/ambari_repositories.htmlHDP和HDP UTILS下载...原创 2019-01-03 14:41:36 · 1331 阅读 · 0 评论