大数据项目之电商数仓-用户行为数据采集

最新推荐文章于 2024-03-07 13:14:36 发布
最新推荐文章于 2024-03-07 13:14:36 发布
阅读量978 收藏 7
点赞数
文章标签： 大数据 数据仓库
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/fang19970714/article/details/117710025
版权
本文介绍了大数据项目中的电商数仓建设，包括数据仓库简介、实时用户行为数据采集需求、系统架构设计、Flume日志采集配置以及Kafka集群的规划。通过Flume进行日志数据捕获，结合Kafka实现高可用和高吞吐的数据传输，确保数据仓库的数据实时性和完整性。
摘要由CSDN通过智能技术生成

数据仓库简介

数据仓库是为企业所有决策制定过程，提供所有系统数据支持的战略集合，通过数据仓库中的数据的分析，可以帮助企业改进业务流程、控制成本、提高产品质量等。
在这里插入图片描述

项目需求

  • 实时采集买点的用户行为数据
  • 实现数据仓库的分层搭建
  • 每天定时导入业务数据
  • 根据数据仓库中的数据进行报表分析

技术选型角度： 数据采集传输、数据存储、数据计算、数据查询

系统架构图设计

在这里插入图片描述

系统数据流程设计

在这里插入图片描述

集群资源规划设计

服务器一 服务器二 服务器三
HDFS NameNode、DataNode DataNode DataNode
Yarn NodeManager ResourcemManager、NodeManager NodeManager
Zookeeper Zookeeper Zookeeper Zookeeper
Flume(采集日志) Flume Flume
Kafka Kafka Kafka Kafka
Flume(消费Kafka)
Hive HIve
MySQL MySQL
买点数据的基本格式

                

                
                
        

        

    




        

            

                    
                      最低0.47元/天 解锁文章
                        
                    
            

        

    

      

        

            

              
                
                  _TIM_
                
              
            

            

                关注
              
            

        

        

          
    
            
  • 
              
                
                
                
                
                      0
                
              
              
    点赞
    
            
    • 
            
  • 
              
                
                
                
              
              
    踩
    
            
    • 
            
  • 
              
                
                
                
                
                    7
                
              
              
    
                
    
                  
                    收藏
                  
                
    
              
    
              
    
                
    
                  觉得还不错?
                  
                    一键收藏
                  
                 
                
    
              
    
            
    • 
          
  • 
            
    
              
              
            
    
              
              
              
                  3
              
            
            
    评论
    
          
    • 
          
  • 
          
    • 
          
  • 
            
              
            
              
    
            
              
                
            
    
          
    • 
        

      

      










                



	

		

			

				
					
31 大数据项目之电商数仓（用户行为数据采集）

				
			

			

				

					
				

				

					08-19
					
					1241
					
				

			

		

		

			
				
文章目录第1章 数据仓库概念第2章 项目需求2.1 项目需求分析
第1章 数据仓库概念

第2章 项目需求
2.1 项目需求分析




			
		

	



                

              
                



	

		

			

				
					
尚硅谷大数据项目之电商数仓用户行为采集平台1

				
			

			

				

					08-04
				

			

		

		

			
				
【尚硅谷大数据项目之电商数仓用户行为采集平台1】是一个综合性的教程，旨在教授如何构建一个电商领域的数据仓库，特别关注用户行为数据的采集。本项目涵盖了从数据仓库的基本概念到具体实施的各个阶段，包括项目...

			
		

	



                


  
              

                


	

		

			

				
					
电商数仓（用户行为数据采集）

				
			

			

				

					weixin_39458365的博客
				

				

					10-05
					
					410
					
				

			

		

		

			
				
bin/bash case $1 in "start"){ for i in hadoop102 hadoop103 hadoop104 do echo ---------- zookeeper $i 启动 ------------ ssh $i "/opt/module/zookeeper-3.5.7/bin/zkServer.sh start" done };元数据层面：每个小文件都有一份元数据，其中包括文件路径，文件名，所有者，所属组，权限，创建时间等，这些信息都保存在Namenode内存中。

			
		

	





	

		

			

				
					
离线电商数仓知识笔记沉淀-流程及用户行为采集平台

					
最新发布

				
			

			

				

					kkddd35的博客
				

				

					03-07
					
					976
					
				

			

		

		

			
				
数据仓库：将数据的统计结果为企业的经营决策提供数据支撑，不是数据流转的终点，需要将统计结果将可视化平台呈现给客户。：warehouse还有大商店之意，所以存数据不是数据仓库的本质目的，是为了把数据加工处理后对外提供服务。数据仓库：核心作用是统计分析数据，列式存储，存储海量数据（数据越多统计越准确）数据库：核心作用是查找业务数据，行式存储，索引（快速定位），不能存储海量数据。数仓项目：mysql、hdfs、spark、Flink、MR、hive。数仓项目：以数据计算为主、同时可以储存数据。

			
		

	



		

			
		



	

		

			

				
					
大数据项目之电商数仓（2用户行为数据仓库）.docx

				
			

			

				

					11-18
				

			

		

		

			
				
大数据项目之电商数仓（2用户行为数据仓库）.docx

			
		

	





	

		

			

				
					
大数据项目之电商数仓（用户行为数据采集）

				
			

			

				

					魔法革1996
				

				

					03-28
					
					4642
					
				

			

		

		

			
				
第1章 数据仓库概念



第2章 项目需求

2.1 项目需求分析



2.2 项目框架

2.2.1 技术选型



2.2.2 系统架构图设计



2.2.3 系统数据流程设计



2.2.4 框架版本选型


			产品
			
			
			版本
			
		
			Hadoop
			
			
			2.7.2
			
		
			Flume
			
			
			1.7.0
	...

			
		

	





	

		

			

				
					
电商数据抓取是什么意思？有什么作用？

				
			

			

				

					szdamai的博客
				

				

					08-30
					
					1295
					
				

			

		

		

			
				
很多刚入电商行业的新人不知道电商数据抓取是什么意思？有什么作用？今天我们就来简单说说。

			
		

	





	

		

			

				
					
大数据项目之电商数仓（2业务数据采集平台）V4.1.docx

				
			

			

				

					10-25
				

			

		

		

			
				
大数据项目之电商数仓（业务数据采集平台）V4.1  本资源主要介绍了电商数仓的业务数据采集平台，涵盖了电商业务流程、电商常识、电商系统表结构等方面的知识点。  电商业务流程  电商业务流程可以分为以下几个阶段：...

			
		

	





	

		

			

				
					
尚硅谷大数据项目之电商数仓业务数据采集平台1

				
			

			

				

					08-04
				

			

		

		

			
				
在本项目"尚硅谷大数据项目之电商数仓业务数据采集平台1"中，主要探讨了电商领域的业务流程、关键概念以及涉及的相关数据表结构。以下是详细的解析：  1. **电商业务流程**  电商业务流程涵盖从用户浏览商品、下单...

			
		

	





	

		

			

				
					
电商数据仓库项目总结

				
			

			

				

					qq_42575907的博客
				

				

					06-16
					
					4301
					
				

			

		

		

			
				
数据采集：Flume,Kafka,Datax数据存储：Mysql,HDFS数据计算：Hive,Saprk任务调度：DolphinScheduler数据可视化：Superset高可用：Zookeeper别克商城分PC、WAP、微信小程序埋点PC、WAP为自动埋点   微信小程序为手动埋点浏览（页面加载的时候）点击（点击页面某个点位）停留（近入下一个页面或者离开当前页面时在当前页面的停留时间）曝光 （开屏、轮播等显示日志） 用来算 CTR(Click-Through-Rate)  点击通过率留资、订单关联 （在

			
		

	





	

		

			

				
					
电商数据采集的10个经典方法

				
			

			

				

					2301_79478575的博客
				

				

					10-25
					
					3150
					
				

			

		

		

			
				
这个时候如果您对数据采集速度要求不太高，比如您一天只是采集几万条数据而已，那么这个工具是非常适合的。通过域名劫持技术，很多人heike去劫持银行网站、支付宝网站、充值交易的网站等，比如他们先做一个和银行一模一样的网站，功能和长相和银行的一模一样，这个网站我们称呼钓鱼网站，用户打开银行网址时候，其实已经被劫持走了，真正访问的是他们提供的钓鱼网站，但是因为网址是一样的，网站长相也是一样的，用户压根不会识别出来，等您输入银行账号密码后，您的银行卡的钱估计就自动被转走了，因为已经知道您的账号密码了。

			
		

	





	

		

			

				
					
从用户行为到数据：数据采集全景解析【主流电商平台API接口数据采集方式】

				
			

			

				

					电商数据Girl的博客
				

				

					02-02
					
					1407
					
				

			

		

		

			
				
例如用户勍爷，是注册用户，他用的什么设备登录，IP地址是什么，在什么地理位置，用的什么网络？再如，首页中的搜索框，”搜索“事件，用户输入了什么关键词，搜索类型，是否触发联想词，输入词为空的搜索，分析需求多种多样，需要记录的数据内容就会变的更多。剩下留有3个扩展位，每个扩展字段下的内容还可以再扩展，留有足够的扩展空间，在这些扩展位中，可以写入业务的私有参数，也有可能是局部的业务、用户的公有参数，但它不是全局性的（公司级）如何扩展、把哪类扩展内容固定在具体的扩展字段上，需要与多方达成协定，便于后续的解析工作。

			
		

	





	

		

			

				
					
电商用户行为分析（一）

				
			

			

				

					qq_53500716的博客
				

				

					05-09
					
					1876
					
				

			

		

		

			
				
电商用户行为分析（更新中）
数据集使用了阿里巴巴提供的一个淘宝用户行为数据集–UserBehavior是，用于隐式反馈推荐问题的研究。该数据集包含了2017年11月25日至2017年12月3日之间，有行为的约一百万随机用户的所有行为（行为包括点击、购买、加购、喜欢）。由用户ID、商品ID、商品类目ID、行为类型和时间戳组成。

我将记录自己对这个数据集的简单分析，通过使用pandas和mysql对数据做处理，使用pyplot来进行可视化。（由于该数据集过于庞大，设备的性能有限，本次实验中仅使用前100000

			
		

	





	

		

			

				
					
大数据项目实战之数据仓库：用户行为采集平台——第3章 用户行为日志

				
			

			

				

					yiluohan0307的专栏
				

				

					03-07
					
					2789
					
				

			

		

		

			
				
大数据项目实战之数据仓库：用户行为采集平台——第3章 用户行为日志

			
		

	





	

		

			

				
					
【电商数仓】数仓搭建之明细数据（data warehouse detail -- DWD）层（用户行为数据之曝光、错误日志表、数据加载脚本，业务数据之评价、订单事实表）

				
			

			

				

					weixin_43923463的博客
				

				

					10-04
					
					654
					
				

			

		

		

			
				
业务数据方面DWD层的搭建主要注意点在于维度建模。

业务数据中事实表分为三类

- 事务型事实表：表格的数据每天只新增，不修改，当天的数据当天处理，彼此独立，互不影响。

  导入数据的思路：增量导入，所有这种表格都是按照日期分区，与ods层一致，所以直接将ods层的数据直接拿过来就可以。但是这种表格首日导入与每日导入不一样，第一天导入的时候包括所有的历史数据，在导入历史数据的时候需要按照事务完成的日期去动态分区。

- 周期型快照事实表：每日全量更新，记录的是某一个时刻关注的某一个业务是什么状态，不会在

			
		

	





	

		

			

				
					
Spark综合项目：企业电商分析平台

				
			

			

				

					Zeroowt的博客
				

				

					06-14
					
					1389
					
				

			

		

		

			
				
1. 背景说明
2. 系统架构
3.业务分析
4.需求编码
5.技术总结



			
		

	





	

		

			

				
					
大数据之spark大型电商平台分析平台(一)--项目前言

				
			

			

				

					zisuu的博客
				

				

					05-26
					
					1283
					
				

			

		

		

			
				
电商分析平台

该项目是我根据尚硅谷大数据电商分析平台视频做的笔记,总共分成了大概十个需求,每个需求我都用一篇文章来解析
文章目录
项目整体概述
课程简介

本课程是一套完整的企业级电商大数据分析系统，在当下最为热门的Spark生态体系基础上构建企业级数据分析平台，本系统包括离线分析系统与实时分析系统，技术栈涵盖Spark Core，Spark SQL，Spark Streaming与Spark性能调优，并在课程中穿插Spark内核原理与面试要点，能够让学员在实战中全面掌握Spark生态体系的核心技术框架.

			
		

	





	

		

			

				
					

				
			

			

				

					
				

			

		

		

			
				

			
		

	



              




          




        



    





    



      

      

        
      

      





	

		
评论 3

	

	
	




  

    

      添加红包
      
    

    

      

        
        

          
          
        

        
请填写红包祝福语或标题

      

      

        
        

          
          个
        

        
红包个数最小为10个

      

      

        
        

          
          元
        

        
红包金额最低5元

      

      

        
        

          当前余额3.43元
          前往充值 >
        

      

      

        

          需支付：10.00元
        

        
        
      

    

  





  

    
    
  

  

    
    
  








  

    

      

        

          

            
            
成就一亿技术人!

          

          

        

        

          

          

            领取后你会自动成为博主和红包主的粉丝
            规则
          

        

      

      

        

          

            
              
            
            

              
hope_wisdom
 发出的红包
            

          

        

        

          

          

          

        

      

    

    

  



      
      

      
实付元

      
使用余额支付

      

        

          

            
            点击重新获取
          

        

        
扫码支付

      

      

        
          
            
          
          
        
      

      

        
        钱包余额
          0
          

            
            

              

                
抵扣说明：

                
 1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
 2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

              

            

          

      

      余额充值