Hive-An overview

1)Hive是什么?

    大数据来临,海量的数据存储在分布式文件系统上。我们想像传统关系型数据库一样使用HDFS以及像使用SQL语句一样使用HDFS。Hive应运而生,Hive是适合于数据仓库应用的程序,进行静态数据分析,不需要给出快速响应结果,数据本身不会频繁变化。

2)Hive和关系型数据差别

不支持记录级别的更新、插入、删除、事务、联机事务处理。

3)Hive与Hadoop MapReduce 之间的关系

首先我们以WordCount为例,回顾一下Hadoop MapReduce 处理数据的流程:

对于文件中的每一行来说,Mapper会将其中的每个单词,输出为一个键值对,键是单词,值为1/总频数。

其次,按照键值对进行排序,所有的键相同的放在一起。

接着,将键相同的数据,交给同一个reduce处理。

最终,reduce求和并输出。

上述过程的底层细节,是由一个job到另一个job的重复性工作。

幸运的是,研究人员引入了Hive来处理这些重复性工作,让用户使用数据时像SQL那样简单。

与hive交互有好几种方式,主要的命令行CLI。


所有的命令查询都会进入到驱动模块(Driver),该模块会进行编译、优化、执行。将这些命令封装为XML。传递给Hadoop中的master,master会启用jobtracker与namenode 协调使用DFS。

更直白一点,使用hive,就是代码写的少了,写的简单了。

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
城市应急指挥系统是智慧城市建设的重要组成部分,旨在提高城市对突发事件的预防和处置能力。系统背景源于自然灾害和事故灾难频发,如汶川地震和日本大地震等,这些事件造成了巨大的人员伤亡和财产损失。随着城市化进程的加快,应急信息化建设面临信息资源分散、管理标准不统一等问题,需要通过统筹管理和技术创新来解决。 系统的设计思路是通过先进的技术手段,如物联网、射频识别、卫星定位等,构建一个具有强大信息感知和通信能力的网络和平台。这将促进不同部门和层次之间的信息共享、交流和整合,提高城市资源的利用效率,满足城市对各种信息的获取和使用需求。在“十二五”期间,应急信息化工作将依托这些技术,实现动态监控、风险管理、预警以及统一指挥调度。 应急指挥系统的建设目标是实现快速有效的应对各种突发事件,保障人民生命财产安全,减少社会危害和经济损失。系统将包括预测预警、模拟演练、辅助决策、态势分析等功能,以及应急值守、预案管理、GIS应用等基本应用。此外,还包括支撑平台的建设,如接警中心、视频会议、统一通信等基础设施。 系统的实施将涉及到应急网络建设、应急指挥、视频监控、卫星通信等多个方面。通过高度集成的系统,建立统一的信息接收和处理平台,实现多渠道接入和融合指挥调度。此外,还包括应急指挥中心基础平台建设、固定和移动应急指挥通信系统建设,以及应急队伍建设,确保能够迅速响应并有效处置各类突发事件。 项目的意义在于,它不仅是提升灾害监测预报水平和预警能力的重要科技支撑,也是实现预防和减轻重大灾害和事故损失的关键。通过实施城市应急指挥系统,可以加强社会管理和公共服务,构建和谐社会,为打造平安城市提供坚实的基础。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值