Hive
数据仓库
風の住む街~
一腔柔情,一抹忧伤。
展开
-
Hive学习总结之正则表达式详解(上)
Hive中rlike,like,not like,regexp区别与使用详解1.like的使用详解语法规则:格式是A like B,其中A是字符串,B是表达式,表示能否用B去完全匹配A的内容,换句话说能否用B这个表达式去表示A的全部内容,注意这个和rlike是有区别的。返回的结果是True/False.B只能使用简单匹配符号 和%,””表示任意单个字符,字符”%”表示任意数量的字符like的匹配是按字符逐一匹配的,使用B从A的第一个字符开始匹配,所以即使有一个字符不同都不行。操作类型:原创 2020-09-09 20:59:02 · 509 阅读 · 0 评论 -
Hive学习总结之正则表达式详解
1.regexp语法: A REGEXP B操作类型: strings描述: 功能与RLIKE相同select count(*) from emails where email not regexp '\\d{8}'与下面查询的效果是等效的:select count(*) from emails where email not rlike '\\d{8}';2.regexp_extract语法: regexp_extract(string subject, string pattern,原创 2020-06-30 16:15:17 · 2043 阅读 · 0 评论 -
Hive学习总结之客户端工具(了解)
Hive的官网上介绍了三个可以在Windows中通过JDBC连接HiveServer2的图形界面工具,包括:SQuirrel SQL Client、Oracle SQL Developer以及DbVisualizer。SQuirrel SQL Client下载地址http://squirrel-sql.sourceforge.net/Oracle SQL Developer下载地址http://www.oracle.com/technetwork/developer-tools/sql-develo原创 2020-06-29 18:17:12 · 1772 阅读 · 0 评论 -
Hive学习总结之列分割符和行分割符的使用
我们在Hive中在创建表时,一般会根据导入的数据格式来指定字段分隔符和列分隔符。一般导入的文本数据字段分隔符多为逗号分隔符或者制表符(但是实际开发中一般不用着这种容易在文本内容中出现的的符号作为分隔符),如果我们使用了逗号。或者分号这类分割符,一旦文本中存在,那么就会丢失数据。当然也有一些别的分隔符,也可以自定义分隔符。有时候也会使用hive默认的分隔符来存储数据。如上可以看出hive默认的列分割类型为org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe,原创 2020-06-29 17:55:49 · 1596 阅读 · 0 评论 -
Hive学习总结(四)之hive数据库操作(上)
hive数据库操作(上)1、DDL---数据定义语言1.1数据库操作1.2表操作1.2.1管理表与外部表1.2.2分区表2、DML---数据操作语言2.1数据导入2.2数据导出1、DDL—数据定义语言1.1数据库操作创建数据库create database db_hive;避免要创建的数据库已经存在错误,增加if not exists判断。(标准写法)create database if not exists db_hive;创建一个数据库,指定数据库在HDFS上存放的位置,HDFS会原创 2020-06-29 17:31:24 · 673 阅读 · 0 评论 -
Hive学习总结(三)之元数据Metastore
1、元数据元数据(Metadata),又称中介数据、中继数据,为描述数据的数据(data about data),主要是描述数据属性(property)的信息,用来支持如指示存储位置、历史数据、资源查找、文件记录等功能。元数据算是一种电子式目录,为了达到编制目录的目的,必须在描述并收藏数据的内容或特色,进而达成协助数据检索的目的。Hive中的Metastore默认存储在自带的derby数据库中,但是我们推荐使用MySQL存储Metastore;因为存储在derby数据库,hive只能开启一个客户端,使用原创 2020-06-29 16:19:57 · 1544 阅读 · 0 评论 -
Hive学习总结(一)之Hive基础知识
Hive基础知识1.Hive是什么2.Hive架构原理3.Hive的运行机制4.Hive的优缺点1.Hive是什么Hive是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张表,并提供类SQL查询功能。本质上是将HQL转化成MapReduce程序1)Hive处理的数据存储在HDFS2)Hive分析数据底层的实现是MapReduce3)执行程序运行在Yarn上2.Hive架构原理1.用户接口:ClientCLI(hive shell)、JDBC/ODBC(java访问hi原创 2020-06-16 14:56:47 · 334 阅读 · 0 评论 -
Hive学习总结(二)之Centos7安装hive-2.7.3及相关配置
下载原创 2020-06-16 14:32:49 · 868 阅读 · 0 评论 -
hive启动错误Name node is in safe mode.
Exception in thread “main” java.lang.RuntimeException: org.apache.hadoop.hdfs.server.namenode.SafeModeException: Cannot create directory /tmp/hive/matt/d68bb27f-eb87-48e2-973d-6e7a2c8382fc. Name node is in safe mode.原因:刚启动完hadoop时,hadoop会进入安全模式,此时不能对hdf原创 2020-06-09 18:39:09 · 370 阅读 · 0 评论 -
Ubuntu20.04安装Hadoop和Hive
Ubuntu20.04安装Hadoop和Hive一、安装Mysql二、安装Hadoop1.1创建Hadoop用户(如果需要将本机的账户与Hadoop分开,可以新建一个新用户)2.1安装SSH2.2安装JDK14.0.13.1下载Hadoop-3.2.13.2伪分布式配置3.3查看安装是否成功三、安装Hive1.1下载Hive-3.1.21.2解压Hive到/opt目录下2.1配置Hive环境变量2.2创建hive-site.xml3.1将JDBC的jar包拷贝在/opt/hive/lib目录下3.2在/op原创 2020-05-21 17:46:44 · 17053 阅读 · 24 评论