学习_011_Hive在大数据分析和大数据仓库中应用实战&玩转大数据之Hive应用实战

课程说明
内容
课程类型视屏教程
内容类型Hive
课程名称Hive在大数据分析和大数据仓库中应用实战 / 玩转大数据之Hive应用实战
地址https://edu.csdn.net/course/detail/25043 / https://edu.csdn.net/course/detail/8350
分钟900 + 600
费用199 + 39
学习心得

原本要先学习 【Hive在大数据分析和大数据仓库中应用实战】的
但原本60元的课程突然涨到200块,有些犹豫
于是过了一遍目录
主要内容一共六章,其中三张讲的都是部署,是运维的工作,对数据处理任务开发没有多少帮助,略过
一章讲的是Hive的元数据、DML和DDL的内容,没有太多新意,前面已经学过
一章讲的是实战操作,即基于具体项目直播写代码,对我帮助不大
最后一章讲的是数据仓库的内容,还有点意思,但主要讲的还是数仓概念,如是什么,做什么,大概组成等,干货太少
基于价格和内容的考虑,投入产出比太低,所以本课程略过

基于同样的考虑,看下一课【玩转大数据之Hive应用实战】
39元的价格,主要内容有六章,没有配置,上来就将应用
一章概述,一章DDL操作,一章DML操作,都是基本内容
一章hvie的join说明,这个有些特别,因为Hive的数据处理任务join是最耗时的,处理不好测试任务的时间估计都要一天
不过当前有spark,不需要继续使用Hive自带的MapReduce,速度会快很多,别作死不会有太大问题
要点就是减少关联前的数据量,能筛选的先筛选掉,然后再关联,能用中间表尽量用中间表
一章是Hive函数与UDF的使用说明
Hive函数百度即可
UDF函数有java和Python两种,java的麻烦些,可以处理很复杂的问题,Python简单,绝大多数情况下都够用,真到了PythonUDF处理不了的时候,也别写函数了
最后一章是JDBC编程和Hive常用调优
JDBC编程是通过Hive直接连接MYSQL之类的数据库,Hadoop生态圈有太多同步数据的工具,一般情况下用不到
Hive的调优直接百度,有太多资料,如https://www.iteye.com/blog/daizj-2289981

综上所述,以上两个课程不再学习,一是钱的问题,二是内容真的不咋地。虽然知识无价,但钱是有限的

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
### 回答1: HIVE数据仓库大数据环境应用是将数据存储在分布式文件系统,通过HIVE提供的SQL语言进行查询和分析,从而实现数据仓库的功能。HIVE可以处理PB级别的数据,支持数据的压缩和分区,可以与Hadoop生态系统的其他组件进行集成,如Hadoop、HBase等。HIVE还提供了UDF、UDAF、UDTF等扩展功能,可以满足不同的数据处理需求。 ### 回答2: HIVE是一种建立在Hadoop之上的数据仓库架构,它提供了一种用于查询和分析大型数据集的简单且灵活的方式。在大数据环境HIVE应用具有以下几个方面的优势和用途。 首先,HIVE提供了类似于SQL的查询语言,这使得我们可以使用熟悉的SQL语法来查询和分析数据。这对于那些熟悉SQL的数据分析师和开发人员来说,非常具有吸引力和易于上手。 其次,HIVE具有高度的扩展性和可伸缩性。它是建立在Hadoop分布式存储和计算框架之上的,因此可以轻松地处理海量数据。同时,HIVE允许用户定义自己的数据模型和数据分区方式,以便更好地满足不同的业务需求。 第三,HIVE可以与其他大数据工具和框架无缝集成。例如,HIVE可以与Hadoop生态系统的其他工具(如HBase、Spark、Pig等)共同使用,以实现更复杂的数据处理和分析任务。此外,HIVE还可以与传统的关系型数据库进行连接,以实现跨系统的数据共享和集成。 最后,HIVE还具有数据仓库的特性,例如数据抽取、换和加载(ETL)功能、数据聚合和汇总、数据清洗和归档等。这使得HIVE成为处理和管理大数据的全方位解决方案。 总结来说,HIVE大数据环境应用非常广泛。它提供了简单且灵活的查询方式、高扩展性和可伸缩性、与其他工具的集成能力以及数据仓库的特性。这些优势使得HIVE成为大数据处理和分析的重要工具之一。 ### 回答3: HIVE数据仓库是一种在大数据环境应用广泛的数据存储和查询工具。它是基于Hadoop框架构建的,可以处理大量的结构化和半结构化数据。 首先,HIVE数据仓库提供了一个类似于SQL的查询语言,称为HiveQL。通过HiveQL,用户可以使用简单的SQL语句来查询和分析存储在Hadoop集群的数据。这使得非技术人员也能够方便地进行数据分析和探索,而不需要编写复杂的MapReduce程序。 其次,HIVE数据仓库支持数据的ETL(抽取、换和加载)。它可以将数据从不同的源(如关系数据库、日志文件等)提取出来,并进行换和加载到Hadoop集群Hive。这允许用户将所有的数据都存储在一个地方,并进行统一的数据分析。 此外,HIVE数据仓库还支持数据的压缩和分区。通过将数据进行压缩,可以减少存储空间的占用,并提高查询性能。而通过对数据进行分区,可以按照指定的列将数据进行分组存储,提高数据的查询效率。 最后,HIVE数据仓库可以与其他大数据工具集成。例如,它可以与Apache Pig、Apache Spark等工具一起使用,以进一步扩展其功能。 综上所述,HIVE数据仓库大数据环境应用非常广泛。它提供了一个强大的查询语言和ETL功能,使用户能够方便地进行数据分析和探索。此外,它还支持数据的压缩和分区,以及与其他工具的集成,进一步提高了数据仓库的灵活性和性能。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值