- 博客(7)
- 收藏
- 关注
RSS订阅原创 搭建Sqark
准备一个安装包并使用Xftp上传解压安装包(-C 是指定解压路径)tar -zxvf spark-2.4.5-bin-hadoop2.6.tgz -C /usr/local/soft3.名字太长改它名字mv spark-2.4.5-bin-hadoop2.6/ spark-2.4.53. 配置环境变量1. vim /etc/profile2.添加export SPARK_HOME=/usr/local/soft/spark-2.4.5export PATH=$SPARK_H.
2021-10-22 14:00:18
927
原创 搭建HBase（完全分布式）
一、搭建前环境Hadoopzookeeper二、开始搭建启动Hadoopstart-all.sh启动zookeeper注意：三台虚拟机都需要运行此命令启动zkServer-start.sh准备一个安装包，使用xftp上传解压到/usr/local/soft (解压到哪里看自己爱好)tar -xvf hbase-1.4.6-bin.tar.gz -C /usr/local/soft5. 配置环境变量vim /etc/profile添加：按i编辑expo
2021-10-17 09:50:43
234
原创 HBase初涉猎
一、HBase简介1.HBase是一个高可靠性、高性能、面向列、可伸缩、实时读写的分布式数据库。2.利用Hadoop HDFS作为其文件存储系统，利用Hadoop Map Reduce来处理HBase中的海量数据，利 用zookeeper作为其分布式协同服务。3、主要用来存储非结构化和半结构化的松散数据（列存NoSQL数据库）二、HBase系统架构1、Master为Region server分配region负责Region server的负载均衡发现失效的Region server并
2021-10-16 20:46:05
126
原创 Hive与传统数据库的区别及Hive的存储格式
一、 Hive与传统数据库的比较1.如图查询语言类SQL的查询语言HQL。熟悉Sql开发的开发者可以很方便的使用Hive开发。数据存储位置所有Hive的数据都是存储在HDFS中的。而数据库可以将数据存储在块设备中或本地存储文件系统中。数据格式Hive中没有定义专门的数据格式。而在数据库中，所有数据都会按照一定的组织存储。正因如此，数据库加载数据的过程比较耗时。 数据更新Hive对数据的添加、改写比较弱化，0.14以后版本支持，需要启动配置项。而数据库通常是需要经常进行修改的。
2021-09-27 21:51:24
397
原创 测试Hive之牛刀小试
1.启动HIvehive2.在HIve中创建Test1数据库create database test1;3.切换test1数据库use test1;4.创建students表create table students( id bigint comment '学生id', name string comment '学生姓名', age int comment '学生年龄', gender string comment '学生性别', clazz string
2021-09-25 19:49:29
277
原创 搭建Hive1.2.1
一、Hive搭建1.搭建前所需要的环境及我所使用的版本HadoopSQLJdk JAVA_HOME=/usr/local/soft/jdk1.8.0_171 HADOOP_HOME=/usr/local/soft/hadoop-2.7.6 HIVE_HOME=/usr/local/soft/hive-1.2.12.修改MySQL编码修改MySQL编码为UTF-8 编辑配置文件 vim /etc/my.cnf 加入以下内容 [client]
2021-09-23 21:01:53
397
原创 简述数据仓库Hive
简述数据仓库HiveHive是什么Hive是建立在Hadoop上的数据仓库基础构架。它提功了 一系列工具 可以用来数据提取转化加载，这是一种可以存储、查询和分析存储在Hadoop中的大规模数据的机制。Hive定义了简单的类SQL查询语言，称为HQL，它允许熟悉SQL的用户查询数据。同时，这个语言也允许熟悉MapReduce开发者的开发自定义的mapper 和 reduce 来处理内建的mapper 和 reduce 无法完成的复杂的分析工作。Hive是SQL解析引擎，它将SQL语句转化成M/R Jo
2021-09-21 16:54:16
145
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人