![](https://img-blog.csdnimg.cn/20201014180756925.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
hive
Bright Huang
这个作者很懒,什么都没留下…
展开
-
hive初学 有map格式(各种建表语句)
hive和beeline(hiveserver2)的区别: hive不需要启动服务再访问 beeline需要先启动服务端再访问客户端 beeline在查询效率上比hive高,beeline不支持update和delete hive: 1、连接方式 hive -h hostname -p port 2、加载文件 3、库级操作 同mysql 4、表级操作 默认内部表,会默认在指定的存储空间中建立对应文件夹 只要把文件放入,表就可以读取到数据(需要和表结构匹配) 分区表原创 2020-11-26 19:33:53 · 1172 阅读 · 0 评论 -
hive项目之csv格式文件处理代码
1、常用日期函数 year() month() date() unix_timestamp() from_timestamp() dateformat 2、使用java编写udf及使用的流程 继承UDF 编写返回值Intwritetable 形参类型为Text 1、java继承udf类编写udf函数(evaluate())(一个类一个方法) 2、打fat包(包括所有依赖文件) 3、把jar包放到linux上 –永久udf函数 4、在Linux命令行使用hdfs命令把jar上传到hdfs的路径 5、creat原创 2020-11-26 19:29:03 · 553 阅读 · 0 评论 -
hive数据仓库项目sql语句
mysql -uroot -pok retail < /root/day01/retail_db.sql sqoop import --connect jdbc:mysql://hadoop001:3306/retail –username root --password ok –table orders --incremental append --check-column order_id –target-dir /data1/retail_db/orders --m 3; creat原创 2020-10-12 08:23:29 · 262 阅读 · 0 评论 -
Hive基础(如何建表/分区表/分桶表/视图/侧视图)
Hive基本概念 1.1 Hive简介 1.1.1 什么是Hive Hive是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张数据库表,并提供类SQL查询功能。 1.1.2 为什么使用Hive 1.) 直接使用hadoop所面临的问题 人员学习成本太高 项目周期要求太短 MapReduce实现复杂查询逻辑开发难度太大 2.) 操作接口采用类SQL语法,提供快速开发的能力。 避免了去写MapReduce,减少开发人员的学习成本。 扩展功能很方便。 1.1.3 Hive的特点 1.)可.原创 2020-09-17 08:21:59 · 1102 阅读 · 0 评论 -
hive1.1.0完全分布式环境安装(有安装包 步骤完整 不走弯路)
hive完全分布式环境安装 hadoop高可用集群环境搭建(ntp的时间同步配置+有zookeeper安装包,完整的高可用配置文件步骤) 利用辅助工具MobaXter在Linux centos7上安装mysql 在以上安装Hadoop、zookeeper、mysql之后安装hive1.1.0: hive安装包下载: 链接: https://pan.baidu.com/s/1jilr7caitNSv-QtaJfCrIg 提取码: fvvk 首先解压: tar -zxvf hive-1.1.0-cdh5.1原创 2020-09-14 13:35:03 · 1738 阅读 · 0 评论