![](https://img-blog.csdnimg.cn/20201014180756738.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
大数据--hive
文章平均质量分 67
大数据中hive的原理及其hive的环境搭建及其使用
龙技术
一篇诗,一斗酒,一曲长歌,一剑天涯
展开
-
hive项目--新零售项目1(项目介绍与环境准备)
新零售项目项目背景介绍、业务需求、虚拟机环境准备;零售行业的发展历程地摊、货郎价格老板自己说了算不稳定,流动性大质量没有保障种类少百货商店门店货物多明码标价随进随出质量有所保证超级市场自选商品购物效率环境更好商品的包装等,竞争更激烈,质量也更高连锁门店标准化管理,减少个人经验带来的损失分工管理、提升了效率供应链完备,进货成本更低店面更方便电商没有地域限制成本进一步降低(没有了租房费用)促进实体店的改进改变了零售行业的主体业务,原创 2021-11-14 21:57:05 · 775 阅读 · 0 评论 -
编写启动连接hiveserver2脚本
编写启动连接hiveserver2脚本:进入环境变量目录:cd /bin新建脚本文件:vim hiveserverecho =========== metastore ============nohup /export/server/apache-hive-3.1.2-bin/bin/hive --service metastore &yes | commandecho =========== hiveserver2 ==========nohup /export/serv原创 2021-10-19 11:39:32 · 228 阅读 · 0 评论 -
Hive存储格式及优化
Hive的数据存储格式列式存储、行式存储Hive中表的数据存储格式,不是只支持text文本格式,还支持其他很多格式。建表的时候通过STORED AS 语法指定。如果没有指定默认都是textfile(行存储)。Hive中主流的几种文件格式。textfile 文件格式ORC、Parquet 列式存储格式。都是列式存储格式,底层是以二进制形式存储。数据存储效率极高,查询方便。栗子分别使用3种不同格式存储数据,去HDFS上查看底层文件存储空间的差异。--1、创建原创 2021-10-19 15:24:43 · 327 阅读 · 0 评论 -
Hive
Hive数据仓库存储数据 关系型数据–sqoop,文件数据(日志,Excel,csv)datawarehouse–DW主要使用数据仓库进行相应的业务数据分析不生产数据,不消费数据数仓特征面向主题确认分析场景 ,某个方向某个领域。用户画像–基本信息(姓名,性别,年龄)用户行为(点击行为,浏览时间)集成性将所有相关数据,任何时间,任何类型,任何内容的数据收集在一起非易失性数据存储后不在改动,任何新的修改都会会以新文件的形式重新存储时变性会根据分析业务的原创 2021-10-19 15:19:24 · 78 阅读 · 0 评论 -
Hive--DQL操作
Hive–DQL内置运算符查看函数show functions;desc functions extended +;关系运算符大小比较select 1>1;select 1=1;select 1>=1;空值判断select 'asd' is null;select 'asd' is not null;模糊查询select 'itcast' like 'it____'; _代表匹配一个字符select 'itcast' like 'it%';原创 2021-10-19 15:23:32 · 234 阅读 · 0 评论 -
Hive--DDL操作
Hive–DDL操作hql语句形式DDL库、表、视图 创建修改删除create、alter、dropDML表的具体数据的事务操作数据写入数据的修改数据的删除DQL数据查询from、where、group by、having 、聚合、select、order by,limitDCL权限控制grant用户创建修改重点 创建数据操作和查询数据操作HQL建表基本建表语句create table tb_name( id i原创 2021-10-19 15:20:32 · 443 阅读 · 0 评论