hive对电商用户订单行为特征分析(二)

最新推荐文章于 2022-04-21 03:44:25 发布
最新推荐文章于 2022-04-21 03:44:25 发布
阅读量2.6k 收藏 10
点赞数
分类专栏： hive 大数据 hadoop 文章标签： hive hadoop 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/cafebar123/article/details/77206889
版权
本文介绍如何利用Hive查询电商用户日志，包括创建数据库和表，查询交易记录，使用别名，嵌套语句，统计行数，去重，按条件筛选，分析购买比例和重复购买等行为。
摘要由CSDN通过智能技术生成

今天用hive查询用户日志表.这是日志表的格式:

user_id,item_id,cat_id,merchant_id,brand_id,month,day,action,age_range,gender,province
328862,323294,833,2882,2661,8,29,0,0,1,内蒙古
328862,844400,1271,2882,2661,8,29,0,1,1,山西
328862,575153,1271,2882,2661,8,29,0,2,1,山西
328862,996875,1271,2882,2661,8,29,0,1,1,内蒙古
328862,1086186,1271,1253,1049,8,29,0,0,2,浙江
328862,623866,
最低0.47元/天 解锁文章
公众号【禅与大数据】，欢迎订阅
关注
  • 0
    点赞
  • 踩
  • 10
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
基于spark的电商用户行为分析项目
weixin_43740680的博客
08-06 5851
1.项目需求（各项指标）： - 新增用户和总用户分析 新用户数据和总用户数据 platform、date、browser - new_install_user计算规则：计算launch事件中，uuid的唯一个数。 - total_user计算规则：同一个维度，前一天的总用户+当天新增用户。 - 活跃用户分析 active_user计算规则：当天所有数据中，uuid的去重个数。 ==========...
基于Spark的电商用户行为实时分析可视化系统（Flask-SocketIO）
bcdk1188的博客
12-21 4561
基于Spark的电商用户行为实时分析可视化系统（Flask-SocketIO） 项目简介 一、业务需求分析 二、系统流程及架构 三、系统技术版本以及相关部署配置 四、系统具体实施 五、系统运行 项目简介 由于做毕设之前学过大数据，但是一直没有做过一整套的实时数据分析系统，有点遗憾。所以毕业设计就自主选了这一套系统，算是对之前知识进行一次整合运行，也挑战一下自己。 该系统主要对用户行为日志（此项目使用的数据源是数据集，可以根据自己需求，在数据采集时监控网站用户数据存放目录或.
淘宝用户行为分析
jaimie_wu的博客
04-21 2274
淘宝用户行为分析
hive 用户行为分析（活跃。启动，留存，回访，新增）的一些经典sql
weixin_30642029的博客
01-25 955
很简单的sql 用户分析语句 ：只要自定义简单的udf函数 获取统计时间createdatms字段的使用的日历类 add方法 和simpledateformat 将long类型的 定义多个重载方法 获取返回值int类型 或者long类型 进行时间判断即可 getdaybegin（天开始），比如2017-08-08这一天的createtime为15288888888888 获取到 152888...
hive 用户订单行为 基础操作
weixin_34206899的博客
07-05 259
今天用hive查询用户日志表.这是日志表的格式: user_id,item_id,cat_id,merchant_id,brand_id,month,day,action,age_range,gender,province 328862,323294,833,2882,2661,8,29,0,0,1,内蒙古 328862,844400,1271,2882,2661,8,29,0,1,1,山西 3...
利用Hive进行复杂用户行为大数据分析及优化案例
02-20
利用Hive进行复杂用户行为大数据分析及优化案例（全套视频+课件+代码+讲义+工具软件），具体内容包括： 01_自动批量加载数据到hive 02_Hive表批量加载数据的脚本实现（一） 03_Hive表批量加载数据的脚本实现（二） 04_HIve中的case when、cast及unix_timestamp的使用 05_复杂日志分析-需求分析 06_复杂日志分析-需求字段讲解及过滤 07_复杂日志分析-字段提取及临时表的创建 08_复杂日志分析-指标结果的分析实现 09_Hive中数据文件的存储格式介绍及对比 10_常见的压缩格式及MapReduce的压缩介绍 11_Hadoop中编译配置Snappy压缩 12_Hadoop及Hive配置支持snappy压缩 13_Hive中的常见调优 14_Hive中的数据倾斜及解决方案-三种join方式 15_Hive中的数据倾斜及解决方案-group by 16_Hive中使用正则加载数据 17_Hive中使用Python脚本进行预处理
spark对电商用户订单行为特征分析(一)
cafebar123的专栏
08-11 4086
最近在整理spark技术的应用,觉得 行为特征归类, 相似产品或相似功能推荐 这块比较热门. 网上发现一个网上大数据实验室,是厦门大学建立的一个网站,发布一些大数据的知识.其中有一个案例,叫 "淘宝双11数据分析与预测课程案例" ,我就用它练手. 实验室网站链接: http://dblab.xmu.edu.cn/blog/spark/ 案例主要要求如下: 对文本文件形式的原始数据集进
Hive实战模拟电商数据
最新发布
01-23
在大数据领域，Hive是一个非常重要的工具，尤其在处理电商数据时，它的优势在于能够对海量数据进行存储、管理和分析。本实战模拟将带你深入理解Hive如何在电商数据分析中发挥作用，通过`retail_shop_data_analysis_...
电商用户行为数据，来源于埋点数据
06-18
来源：电商用户行为埋点数据，包括：1.事件类型:install安装|launch启动|interactive交 互|page_enter_h5页面曝光|page_enter_native页面进入|exit退出等。2.行为类型:click点击|view浏览|slide滑动|input输入
hive ETL之广告行业-用户行为归类sql
jethai的博客
08-28 793
-- case2 -- --========== click_log ==========-- /* 11    ad_101    2014-05-01 06:01:12.334+01 22    ad_102    2014-05-01 07:28:12.342+01 33    ad_103    2014-05-01 07:50:12.33+01 11    ad_104    2014
电商交易数据分析（hive版）
架构师老狼
09-30 2649
05年项目使用spark+hadoop，最近公司分享给小伙伴们，就整理出文档供大家学习交流。整理hdfs+hive+spark stream+spark sql实战系列，有些数据是网上搜索下载的，同时整理时也参考其他博文以及《spark实战》
电商数据分析——基于hive数仓，实现大数据分析
热门推荐
阿中丶20
05-01 1万+
1. 需求 以电商数据为基础，结合hive数仓，实现大数据分析。 数据源可通过日志取得，数据清洗转换导入数据仓库，通过数仓中数据分析得到数据总结，用于企业决策。本项目基于以下表类进行电商数仓分析，分用户信息、用户订单日志、商品信息、商品种类 用户信息 1,jake,男,15390809998,24 2,tom,男,15279975648,22 3,rose,女,14590809887,18 4,mike,男,18978872134,24 5,lili,女,17568949931,21 6,
hive 模拟update 操作
baiyangfu的专栏
07-13 5146
在使用hive构建数据仓库的时候，经常会遇到从mysql或者oracle数据导入到hive中。 一般情况下，每天导一次数据，有些数据需要更新操作，最典型的例子就是订单数据，比如： 订单创建时间 订单导入hive时间 订单更新时间 2015-07-01 12:09:11 2015-07-02 00:30:00 2015-07-02 20:07:12
用户消费行为分析（MapReduce实现，Hive分析）
紫烟的博客
06-19 2625
一、题目要求 数据来自CDNow网站的一份用户购买CD明细，本数据集共有 6 万条 左右数据，数据为 CDNow 网站 1997年1月至1998年6月的用户行为 数据
淘宝双11大数据分析（Hive 分析篇-上）
FBB360JAVA的博客
02-26 5090
前言 阅读此篇文章，需要先阅读前篇： 淘宝双11大数据分析（环境篇） 淘宝双11大数据分析（数据准备篇） 当前环境 使用 jps 查看当前启动的服务：（其中 Master 和 Worker是 Spark 的服务，不本篇无关） [root@centos2020 dataset]# jps 11408 Master 12707 RunJar 7876 NameNode 8183 ResourceM...
Hive----订单总价格查询
qq_45453185的博客
03-08 642
订单总价格查询: 连接查询，查询订的价格：1）创建orders的外部表 hive> create external table orders (oid int, time string, pid int, num int) row format delimited fields terminated by ' ' location '/order'; 2)创建products的外部表：hive>create external table products (pid int,na...
订单，用户，商品关联分析记录
1943博客
10-31 3807
最近有做采购平台 订单，用户，商品关联分析 的任务 目的在于希望能产出  商品推荐商品或者 商品 推荐给用户  的数据 主要采用python的apriori  进行关联分析 样例代码如下   大概如下： from apyori import apriori import pandas as pd def ResultDFToSave(rules): # 根据Qrange3关联分析生...
基于Hive的某电商消费用户行为数据分析源码
05-27
基于Hive的某电商消费用户行为数据分析可以分为以下几个步骤： 1. 数据采集：通过网络爬虫等方式获取电商网站的用户行为数据，并将其存储在HDFS上。 2. 数据清洗：对采集到的原始数据进行清洗，去除无用数据，处理缺失值和异常值等。 3. 数据预处理：对清洗后的数据进行预处理，包括数据转换、数据合并、数据划分等。 4. 数据存储：将预处理后的数据存储在Hive中，以便后续分析使用。 5. 数据分析：通过Hive SQL语句进行数据分析，包括用户行为分析、用户画像分析、商品分析、销售分析等。 下面是一份可能的Hive SQL源码示例，用于实现用户行为分析： ```sql --创建数据表 CREATE TABLE user_behavior( user_id STRING, item_id STRING, category_id STRING, behavior_type INT, date STRING ) ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t' STORED AS TEXTFILE; --加载数据到表中 LOAD DATA INPATH '/data/user_behavior.txt' OVERWRITE INTO TABLE user_behavior; --查询用户行为数据 SELECT behavior_type, count(*) as total FROM user_behavior GROUP BY behavior_type; --查询用户购买商品的排名 SELECT item_id, count(*) as total FROM user_behavior WHERE behavior_type = 4 GROUP BY item_id ORDER BY total DESC LIMIT 10; --查询不同类别商品的销售量 SELECT category_id, count(*) as total FROM user_behavior WHERE behavior_type = 4 GROUP BY category_id; ``` 注意：这只是一个简单的示例，实际的数据分析过程可能包含更多的步骤和更复杂的SQL语句。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值