数据仓库工具Hive的安装和配置

11 篇文章 0 订阅 ¥39.90 ¥99.00

【实验目的】

1.掌握数据仓库工具Hive的安装和配置;

【实验要求】

1.完成Hive工具的安装和配置
2.Hive工具能够正常启动运行
3.Hive控制台命令能够正常使用
4.能够正常操作数据库、表、数据

【实验环境】

一台独立PC机或虚拟机
每台主机内存2G以上,磁盘剩余空间50OM以上
已安装CentOS 7.4操作系统
已安装JDK
已完成Hadoop平台的搭建
已完成MySQL数据库平台的搭建
软件版本
选用Hive的2.1.1版本,软件包名apache-hive-2.1.1-bin.tar.gz
依赖软件
Hive工具使用JDBC方式连接MySQL数据库,需要用到MySQL数据库连接工具软件,选用该软件的5.1.42版本,软件包名mysql-connector-java-5.1.42-bin.jar

项目十 数据仓库工具Hive的安装和配置

任务一 Hive工具安装配置

1.创建用于存放Hive相关文件的目录,进入该目录,创建临时文件目录“tmp”,将软件包解压到hive目录下:
在这里插入图片描述

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
⼤数据处理流程 ⼤数据处理流程 1. 数据处理流程 ⽹站流量⽇志数据分析是⼀个纯粹的数据分析项⽬,其整体流程基本上就是依据数据的处理流程进⾏。有以下⼏个⼤的步骤: 1.1 数据采集 数据采集概念,⽬前⾏业会有两种解释:⼀是数据从⽆到有的过程(web服务器打印的⽇志、⾃定义采集的⽇志等)叫做数据采集; 另⼀⽅⾯也有把通过使⽤Flume等⼯具把数据采集到指定位置的这个过程叫做数据采集。 关于具体含义要结合语境具体分析,明⽩语境中具体含义即可。 1.2 数据预处理 通过mapreduce程序对采集到的原始⽇志数据进⾏预处理,⽐如清洗,格式整理,滤除脏数据等,并且梳理成点击流模型数据。 1.3 数据⼊库 将预处理之后的数据导⼊到HIVE仓库中相应的库和表中。 1.4 数据分析 项⽬的核⼼内容,即根据需求开发ETL分析语句,得出各种统计结果。 1.5 数据展现 将分析所得数据进⾏数据可视化,⼀般通过图表进⾏展⽰。 扩展: 1、数据处理主要技术 Sqoop:作为⼀款开源的离线数据传输⼯具,主要⽤于Hadoop(Hive) 与传统数据库(MySql,PostgreSQL)间的数据传递。它可以 将⼀个关系数据库中数据导⼊Hadoop的HDFS中,也可以将HDFS中的数据导⼊关系型数据库中。 Flume:实时数据采集的⼀个开源框架,它是Cloudera提供的⼀个⾼可⽤⽤的、⾼可靠、分布式的海量⽇志采集、聚合和传输的系 统。⽬前已经是Apache的顶级⼦项⽬。使⽤Flume可以收集诸如⽇志、时间等数据并将这些数据集中存储起来供下游使⽤(尤其是数据流 框架,例如Storm)。和Flume类似的另⼀个框架是Scribe(FaceBook开源的⽇志收集系统,它为⽇志的分布式收集、统⼀处理提供⼀个 可扩展的、⾼容错的简单⽅案) Kafka:通常来说Flume采集数据的速度和下游处理的速度通常不同步,因此实时平台架构都会⽤⼀个消息中间件来缓冲,⽽这⽅⾯ 最为流⾏和应⽤最为⼴泛的⽆疑是Kafka。它是由LinkedIn开发的⼀个分布式消息系统,以其可以⽔平扩展和⾼吞吐率⽽被⼴泛使⽤。⽬前 主流的开源分布式处理系统(如Storm和Spark等)都⽀持与Kafka 集成。Kafka是⼀个基于分布式的消息发布-订阅系统,特点是速度快、 可扩展且持久。与其他消息发布-订阅系统类似,Kafka可在主题中保存消息的信息。⽣产者向主题写⼊数据,消费者从主题中读取数据。作 为⼀个分布式的、分区的、低延迟的、冗余的⽇志提交服务。和Kafka类似消息中间件开源产品还包括RabbiMQ、ActiveMQ、ZeroMQ 等。 MapReduce是Google公司的核⼼计算模型,它将运⾏于⼤规模集群上的复杂并⾏计算过程⾼度抽象为两个函数:map和reduce。 MapReduce最伟⼤之处在于其将处理⼤数据的能⼒赋予了普通开发⼈员,以⾄于普通开发⼈员即使不会任何的分布式编程知识,也能将⾃ ⼰的程序运⾏在分布式系统上处理海量数据。 Hive:MapReduce将处理⼤数据的能⼒赋予了普通开发⼈员,⽽Hive进⼀步将处理和分析⼤数据的能⼒赋予了实际的数据使⽤⼈员 (数据开发⼯程师、数据分析师、算法⼯程师、和业务分析⼈员)。Hive是由Facebook开发并贡献给Hadoop开源社区的,是⼀个建⽴在 Hadoop体系结构上的⼀层SQL抽象。Hive提供了⼀些对Hadoop⽂件中数据集进⾏处理、查询、分析的⼯具。它⽀持类似于传统RDBMS 的SQL语⾔的查询语⾔,⼀帮助那些熟悉SQL的⽤户处理和查询Hodoop在的数据,该查询语⾔称为Hive SQL。Hive SQL实际上先被 SQL解析器解析,然后被Hive框架解析成⼀个MapReduce可执⾏计划,并按照该计划⽣产MapReduce任务后交给Hadoop集群处理。 Spark:尽管MapReduce和Hive能完成海量数据的⼤多数批处理⼯作,并且在打数据时代称为企业⼤数据处理的⾸选技术,但是其 数据查询的延迟⼀直被诟病,⽽且也⾮常不适合迭代计算和DAG(有限⽆环图)计算。由于Spark具有可伸缩、基于内存计算能特点,且可以 直接读写Hadoop上任何格式的数据,较好地满⾜了数据即时查询和迭代分析的需求,因此变得越来越流⾏。Spark是UC Berkeley AMP Lab(加州⼤学伯克利分校的 AMP实验室)所开源的类Hadoop MapReduce的通⽤并⾏框架,它拥有Hadoop MapReduce所具有的优 点,但不同MapReduce的是,Job中间输出结果可以保存在内存中,从⽽不需要再读写HDFS ,因此能更好适⽤于数据挖掘和机器学习等 需要迭代的MapReduce算法。Spark也提供类Live的SQL接⼝,即Spark S

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

左小妹

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值