Hive(0):----HIVE产生背景,安装、部署

Hive作为一种大数据处理工具,源于MapReduce编程的不便和对SQL操作的需求。它允许结构化的HDFS文件通过元数据映射成表格,方便DBA使用SQL进行大数据分析。Hive的优势在于其SQL支持、与Hadoop的集成以及元数据信息的共享。安装部署包括下载CDH版本、配置环境变量、设置Hive配置文件,特别是连接MySQL的元数据信息。在实际操作中,可能会遇到MySQL权限问题。
摘要由CSDN通过智能技术生成
  • 架构
  1. 定义

    1): 数据仓库(data warehouse)

    2): 操作sql

    3): 操作大型分布式数据集

  2. 产生背景

    1): MapReduce编程不方便:开发、测试、需求变更
    传统关系型数据库人员的需要
    DBA:我就像使用sql一样的方式来处理分析大数据

    2): 文件存放在HDFS之上的,那么如果你想使用SQL去处理它,需要一个 什么前提?
    结构化、文件映射成表格 ==> Schema 元数据信息(metastore)

  3. 优势

    1):SQL
    2):Hadoop
    3):MetaStore: Pig/Impala/Presto/SparkSQL共享元数据信息

  4. 部署

    1)下载:http://archive-primary.cloudera.com/cdh5/cdh/5/
    在使用CDH版本的时候一定要注意:尾巴对准了
    wget http://archive-primary.cloudera.com/cdh5/cdh/5/hive-1.1.0-cdh5.7.0.tar.gz

    2)解压:tar -zxvf hive-1.1.0-cdh5.7.0.tar.gz -C ~/app/
    

    3)配置环境变量:

    ~/.bash_profile
    export HIVE_HOME=/home/hadoop/app/hive-1.1.0-cdh5.7.0
    export PATH=$HIVE_HOME/bin:$PATH
    

    生效: source ~/.bash_profile

    3)Hive配置
    Hive配置: H I V E H O M E / c o n f h i v e − e n v . s h H A D O O P H O M

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值