Hive
文章平均质量分 94
关于Hive的博客
John Zhuang
心如止水
展开
-
Hive查询分析计算:技术论坛业务相关指标分析
Hive查询分析计算案例:股票分析一、实验背景:项目来源本次要实践的数据日志来源于国内某技术学习论坛,该论坛由某培训机构主办,汇聚了众多技术学习者,每天都有人发帖、回帖,如图1所示。图1 项目来源网站-技术学习论坛本次实践的目的就在于通过对该技术论坛的apache common日志进行分析,计算该论坛的一些关键指标,供运营者进行决策时参考。PS: 开发该系统的目的是为了获取一些业务相关的指标,这些指标在第三方工具中无法获得的;数据情况该论坛数据有两部分:(1)历史数据约56GB,统计到原创 2021-06-25 22:02:25 · 9662 阅读 · 20 评论 -
Hive查询分析计算:股票分析
Hive查询分析计算案例:股票分析案例需求:本案例是对单支股票一年中每日交易的数据处理,形成K线分析,重点在于前期数据规整处理与导入导出,从数据仓库方案的设计,涉及Hive优化操作,关系型数据库的导入,使用数据可视化方式的直观展示,并对数据进行进一步的分析。解决思路:(1)数据采集与清洗通过爬虫或者金融终端获取股票数据,得到一张excel或者txt的数据,对数据进行初步的清洗整理,最后将数据传输到linux上。(2)数据分析通过语句建立外部表,通过HiveQL语句将数据导入,通过逻辑处原创 2021-03-31 11:41:22 · 42546 阅读 · 1 评论 -
Linux基础环境搭建(CentOS7)- 安装Mysql和Hive
Linux基础环境搭建(CentOS7)- 安装Mysql和Hive1 Mysql下载及安装MySQL是一个关系型数据库管理系统,由瑞典MySQL AB 公司开发,属于 Oracle 旗下产品。MySQL 是最流行的关系型数据库管理系统之一,在 WEB 应用方面,MySQL是最好的 RDBMS (Relational Database Management System,关系数据库管理系统) 应用软件之一。MySQL是一种关系型数据库管理系统,关系数据库将数据保存在不同的表中,而不是将所有数据放在一个原创 2021-03-01 17:41:12 · 43678 阅读 · 6 评论