hive
数据仓库分析
张国荣家的弟弟
你尽管善良,上天自有衡量
展开
-
第11章 hive常见错误及解决方案
1)SecureCRT 7.3出现乱码或者删除不掉数据,免安装版的SecureCRT 卸载或者用虚拟机直接操作或者换安装版的SecureCRT2)连接不上mysql数据库(1)导错驱动包,应该把mysql-connector-java-5.1.27-bin.jar导入/opt/module/hive/lib的不是这个包。错把mysql-connector-java-5.1.27.tar.gz导入hive/lib包下。(2)修改user表中的主机名称没有都修改为%,而是修改为localhost3)h原创 2020-12-08 20:16:10 · 699 阅读 · 0 评论 -
第10章 Hive实战之YouTube影音(简化版)
文章目录10.1 需求描述10.2 项目10.2.1 数据结构10.2.2 ETL原始数据10.3 准备工作10.3.1 创建表10.3.2 导入ETL后的数据10.3.3 向ORC表插入数据10.4 业务分析10.4.1 统计视频观看数Top1010.4.2 统计视频类别热度Top1010.4.3 统计出视频观看数最高的20个视频的所属类别以及类别包含Top20视频的个数10.4.4 统计视频观看数Top50所关联视频的所属类别排序10.4.5 统计每个类别中的视频热度Top10,以Music为例10.4原创 2020-12-08 20:14:31 · 761 阅读 · 1 评论 -
第9章 hive企业级调优
9.1 Fetch抓取Fetch抓取是指,Hive中对某些情况的查询可以不必使用MapReduce计算。例如:SELECT * FROM employees;在这种情况下,Hive可以简单地读取employee对应的存储目录下的文件,然后输出查询结果到控制台。在hive-default.xml.template文件中hive.fetch.task.conversion默认是more,老版本hive默认是minimal,该属性修改为more以后,在全局查找、字段查找、limit查找等都不走mapreduc原创 2020-12-08 17:41:06 · 426 阅读 · 0 评论 -
第8章 hive压缩和存储
文章目录Hadoop源码编译支持Snappy压缩8.1.1 资源准备8.1.2 jar包安装8.1.3 编译源码查看snappy库文件查看protobuf版本以测试是否安装成功8.2 Hadoop压缩配置8.2.1 MR支持的压缩编码8.2.2 压缩参数配置8.3 开启Map输出阶段压缩8.4 开启Reduce输出阶段压缩8.5 文件存储格式8.5.2 TextFile格式8.5.4 Parquet格式Hadoop源码编译支持Snappy压缩8.1.1 资源准备1.CentOS联网配置CentOS能原创 2020-12-08 17:30:20 · 494 阅读 · 0 评论 -
第七章 hive函数讲解(自定义函数)
文章目录7.1 系统内置函数7.2 自定义函数7.3 自定义UDF函数7.1 系统内置函数1.查看系统自带的函数hive> show functions;2.显示自带的函数的用法hive> desc function upper;3.详细显示自带的函数的用法hive> desc function extended upper;7.2 自定义函数1)Hive 自带了一些函数,比如:max/min等,但是数量有限,自己可以通过自定义UDF来方便的扩展。2)当Hive提供的内原创 2020-12-08 17:14:30 · 412 阅读 · 0 评论 -
第六章 hive的简单查询(where ,groupby,join,order by等)
文章目录6.1基本查询6.1.1创建部门表6.1.2 列别名6.1.3 算术运算符6.1.4 常用函数6.2 where 语句6.2.1 比较运算符(Between/In/ Is Null)6.2.2 Like和RLike6.2.3 逻辑运算符(And/Or/Not)6.3 分组6.3.1 Group By语句6.3.2 Having语句6.4 Join语句6.4.1 等值Join6.4.2 表的别名6.4.3 内连接6.4.4 左外连接6.4.6 满外连接6.4.7 多表连接6.4.8 笛卡尔积6.5 排原创 2020-12-08 15:54:34 · 1808 阅读 · 0 评论 -
hive 启动mr程序的时候一直卡在动
在使用hive 进行sql查询的时候,涉及mr的时候就会卡主不动。jps 发现ResourceManger没有启动启动之后会没事了原创 2020-12-08 10:24:41 · 613 阅读 · 0 评论 -
sqoop:【error】从hdfs导入到mysql 报ERROR tool.ExportTool: Error during export: Export job failed!
文章目录问题部分描述问题全部描述问题解决问题部分描述ERROR mapreduce.ExportJobBase: Export job failed!20/11/24 16:47:36 ERROR tool.ExportTool: Error during export:Export job failed! at org.apache.sqoop.mapreduce.ExportJobBase.runExport(ExportJobBase.java:445) at原创 2020-11-26 19:20:33 · 1448 阅读 · 0 评论 -
sqoop 从hive导入mysql 出现:ERROR tool.BaseSqoopTool: Error parsing arguments for export:(问题解决)
问题描述部分ERROR tool.BaseSqoopTool: Error parsing arguments for export:大概意思是 sqoop工具不能解析这个语句。错误原因:里面的字段可能写错,导致不能sqoop不能识别。解决方法仔细检查自己写的语句 ,空格,单词是否少写或多写,下面给导入语句案例介绍。提示:注意自己对应的字段和数据库连接名字bin/sqoop export \--connect jdbc:mysql://bigdata03:3306/company \-原创 2020-11-26 19:13:37 · 10682 阅读 · 0 评论 -
第5章 DML数据操作(hive笔记)
文章目录数据导入5.1.1 向表中装载数据(Load)查询语句中创建表并加载数据(As Select)数据导出Insert导出Hive Shell 命令导出数据导入5.1.1 向表中装载数据(Load)1.语法hive> load data [local] inpath '/opt/module/datas/student.txt' [overwrite] into table student [partition (partcol1=val1,…)];(1)load data:表示加载数据原创 2020-11-23 17:30:45 · 484 阅读 · 1 评论 -
第4章 DDL数据定义
创建数据库CREATE DATABASE [IF NOT EXISTS] database_name[COMMENT database_comment][LOCATION hdfs_path][WITH DBPROPERTIES (property_name=property_value, ...)];1)创建一个数据库,数据库在HDFS上的默认存储路径是/user/hive/warehouse/*.db。hive (default)> create database db_hive;原创 2020-11-23 17:04:20 · 757 阅读 · 0 评论 -
第3章 Hive数据类型
文章目录前言原子数据复杂数据基本类型转换的转换包含关系案例实操hive类型转换hive中 日期格式转化办法:前言关系数据库里有表(table),分区,hive里也有这些东西,这些东西在hive技术里称为hive的数据模型Hive支持两种数据类型,一类叫原子数据类型,一类叫复杂数据类型。原子数据类型包括数值型、布尔型和字符串类型,具体如下表所示:原子数据复杂数据复杂数据类型包括数组(ARRAY)、映射(MAP)和结构体(STRUCT),具体如下表所示:基本类型转换的转换包含关系案例实操原创 2020-11-23 15:46:52 · 689 阅读 · 0 评论 -
第2章 Hive安装
第2章 Hive安装2.1 Hive安装地址1.Hive官网地址http://hive.apache.org/2.文档查看地址https://cwiki.apache.org/confluence/display/Hive/GettingStarted3.下载地址http://archive.apache.org/dist/hive/4.github地址https://github.com/apache/hive...原创 2020-11-23 15:17:21 · 642 阅读 · 0 评论 -
第1章 Hive基本概念
第1章 Hive基本概念1.1 什么是HiveHive:由Facebook开源用于解决海量结构化日志的数据统计。Hive是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张表,并提供类SQL查询功能。本质是:将HQL转化成MapReduce程序1)Hive处理的数据存储在HDFS2)Hive分析数据底层的默认实现是MapReduce3)执行程序运行在Yarn上1.2 Hive的优缺点1.2.1 优点操作接口采用类SQL语法,提供快速开发的能力(简单、容易上手)。避原创 2020-11-19 10:24:01 · 684 阅读 · 0 评论 -
hive学习导航目录
文章目录第一章 hive的基本概念1. hive定义2. hive的优缺点3. hive架构原理4. hive和传统数据库的区别第二章 hive的安装1. hive的安装地址2. hive的安装部署3. 将本地文件导入hive案例4. mysql安装5. 为什么要安装,因为hive自带的数据库有缺陷6. 安装包准备7. 安装MySQL的服务器8. 安装mysql的客户端9. hive 元数据配置到mysql10. 配置metastore到mysql第三章 hive的数据基本类型1. 基本数据类型原创 2020-11-19 10:20:35 · 376 阅读 · 0 评论 -
hive的学习路线(思维导图)
原创 2020-11-19 10:01:12 · 828 阅读 · 0 评论