电商热门商品统计

已于 2022-04-11 17:07:37 修改
阅读量3.1k 收藏 11
点赞数
分类专栏： # 大数据项目 文章标签： 数据库 大数据 spark hadoop 数据仓库
于 2021-02-01 20:07:21 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_36816848/article/details/123570492
版权

本项目分别电商数据统计模块及业务采集及数仓搭建模块，利用hive统计每个区域热门商品进行统计；依据业务数据实现离线业务数仓搭建。

 

项目说明：大数据电商数仓分析项目_GoAI的博客-CSDN博客_电商大数据项目需求分析   

项目代码链接：后续补充。

一、电商热门商品统计项目

(一)项目介绍

针对常规电商网站进行大数据分析，通过完整大数据处理流程最终对每个区域热门商品进行统计，支持用户决策。

项目流程及框架：Python-->Flume-->HDFS-->Mapreduce/Spark ETL-->HDFS-->Hive-->Sqoop-->Mysql

(二)需求分析

  1. 如何定义热门商品？
    • 简单模型：通过用户对商品的点击量来衡量商品热度。
    • 复杂模型：通过用户点击 ＋ 购买以及收藏等综合数据对商品进行评价,商品热门程度得分模型 ＝ 点击次数 * 2 + 购买次数 * 5 + 收藏次数 * 3, 其中2，5，3为得分权重。(后续更新)
  2. 如何获取区域？
    • 通过用户点击日志，获取访问IP，进而获取区域信息。
    • 通过数据库中的订单关联用户表，获取用户的地域信息
  3. 深度思考：如何去除爬虫水军(商家为了提高自己的排名，用爬虫来频繁访问自己的店铺)？
    • 一段时间分析用户IP的访问次数
    • 关键字

(三)技术方案

  1. 数据采集(ETL)
    • 电商日志一般存储在日志服务器，通过 Flume 拉取到 HDFS 上，本文通过编写python程序模拟日志数据。
    • 业务数据通过 Sqoop 从关系型数据库mysql中读取数据,然后导入到HDFS。

    因为要访问数据库，所以会对数据库造成很大的压力，而且在真实的生产环境中，一般没有权限直接访问数据库。可以把数据导出成csv文件，放到日志服务器上，再通过Flume采集到HDFS上。假如有权限访问数据库，数据库也需要设置成读写分离的模式，来缓解压力。

  2. 数据清洗
    • 使用 MapReduce 进行数据清洗。
    • 使用 Spark Core 进行数据清洗。
  3. 各区域热门商品计算
    • 使用 Hive 进行数据的分析和处理。
    • 使用 Spark SQL 进行数据的分析和处理。

4.热门商品及PV实时计算(后续更新)

    • 使用 Flink进行数据的分析和处理。

(四)实验数据及说明

  1. product(商品)表：
    列名描述数据类型空/非空约束约束条件
    product_id商品号varchar(18)Not null
    product_name商品名称varchar(20)Not null
    marque商品型号varchar(10)Not null
    barcode仓库条码varcharNot null
    price商品价格doubleNot null
    brand_id商品品牌varchar(8)Not null
    market_price市场价格doubleNot null
    stock库存intNot null
    status状态intNot null

    补充说明: status: 下架-1，上架0，预售1

  2. area_info(地区信息)表
    列名描述数据类型空/非空约束约束条件
    area_id地区编号varchar(18)Not null
    area_name地区名称varchar(20)Not null
  3. user_click_log(用户点击信息)表
    列名描述数据类型空/非空约束约束条件
    user_id用户IDvarchar(18)Not null
    user_ip用户IPvarchar(20)Not null
    url用户点击 URLvarchar(200)
    click_time用户点击时间varchar(40)
    action_type动作名称varchar(40)
    area_id地区IDvarchar(40)

    补充说明: action_type: 1 收藏，2 加购物车，3 购买 area_id:已经通过IP地址，解析出了区域信息

  4. area_hot_product(区域热门商品)表
    列名描述数据类型空/非空约束约束条件
    area_id地区IDvarchar(18)Not null
    area_name地区名称varchar(20)Not null
    product_id商品IDvarchar(200)
    product_name商品名称varchar(40)
    pv访问量BIGINT

(五)技术实现

使用Flume采集用户点击日志

  1. Flume配置文件(flume-areahot.conf)
    • 启动 Flume agent，在 Flume 的根目录下执行命令：bin/flume-ng agent -n a4 -f flume-areahot.conf -c conf -Dflume.root.logger=INFO,console
    • 再执行python dslog.py向 /log0208 目录里放入用户日志文件(实现方法：此处
    • Flume 会将 /log0208 目录下的文件采集到 hdfs://master:9000/flume/ 当天日期 目录下。

2.python编写dslog.py模拟日志放入/log0208文件夹下，自定义添加不符合字段数据，要经过mr或spark进行数据清洗。

#coding=utf-8
import random
import time
iplist=[26,23,47,56,108,10,33,48,66,77,101,45,61,52,88,89,108,191,65,177,98,21,34,61,19,11,112,114]

url = "http://mystore.jsp/?productid={query}"
x=[1,2,3,4]

def use_id():
    return random.randint(1,20)
def get_ip():
    return '.'.join(str(x) for x in random.sample(iplist,4))

def urllist():
def sample_references():
    if random.uniform(0,1)>0.8:
        return ""

    query_str=random.sample(x,1)
    return url.format(query=query_str[0])

def get_time():
    return time.strftime('%Y%m%d%H%M%S',time.localtime())

#  action: 1 收藏，2 加购物车，3 购买  area_id代表不同区域
def action():
    return random.randint(1,4)

def area_id():
    return random.randint(1,21)


def get_log(count):
    while count>0:
        log='{},{},{},{},{},{}\n'.format(use_id(),get_ip(),urllist(),get_time(),action(),area_id())
        # with open('/usr/local/src/tmp/1.log','a+')as file:
        with open('/log0208/click.log','a+')as file:
            file.write(log)
        # print(log)
        # time.sleep(1)
        count=count-1
if __name__ == '__main__':
    get_log(10000)

#bin/flume-ng agent -n a4 -f myagent/a4.conf -c conf -Dflume.root.logger=INFO,console
#定义agent名， source、channel、sink的名称
a4.sources = r1
a4.channels = c1
a4.sinks = k1

#具体定义source
a4.sources.r1.type = spooldir
a4.sources.r1.spoolDir = /log0208

#具体定义channel
a4.channels.c1.type = memory
a4.channels.c1.capacity = 10000
a4.channels.c1.transactionCapacity = 100 

#定义拦截器，为消息添加时间戳
a4.sources.r1.interceptors = i1
a4.sources.r1.interceptors.i1.type = org.apache.flume.interceptor.TimestampInterceptor$Builder

#具体定义sink
a4.sinks.k1.type = hdfs
a4.sinks.k1.hdfs.path = hdfs://master:9000/flume/%Y%m%d
a4.sinks.k1.hdfs.filePrefix = events-
a4.sinks.k1.hdfs.fileType = DataStream

#不按照条数生成文件
a4.sinks.k1.hdfs.rollCount = 0 
#HDFS上的文件达到128M时生成一个文件
a4.sinks.k1.hdfs.rollSize = 134217728
#HDFS上的文件达到60秒生成一个文件
a4.sinks.k1.hdfs.rollInterval = 60

#组装source、channel、sink
a4.sources.r1.channels = c1
a4.sinks.k1.channel = c1

3.数据清洗

  • 需要将用户点击日志里面对于商品的点击识别出来
  • 过滤不满足6个字段的数据
  • 过滤URL为空的数据，即：过滤出包含http开头的日志记录

 实现方式一：使用 MapReduce 程序进行数据的清洗

1. CleanDataMain.java及CleanDataMapper.java代码实现：

import java.io.IOException;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.DoubleWritable;
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.NullWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;

public class CleanDataMain {

	public static void main(String[] args) throws Exception {
		//1、创建Job
		Job job = Job.getInstance(new Configuration());
		job.setJarByClass(CleanDataMain.class);
		
		//2、指定任务的Mapper和输出的类型
		job.setMapperClass(CleanDataMapper.class);
		job.setMapOutputKeyClass(Text.class);
		job.setMapOutputValueClass(NullWritable.class);
		
		job.setOutputKeyClass(Text.class);
		job.setOutputValueClass(NullWritable.class);
		
		//4、任务的输入和输出
		FileInputFormat.setInputPaths(job, new Path(args[0]));
		FileOutputFormat.setOutputPath(job, new Path(args[1]));
		
		//5、执行
		job.waitForCompletion(true);
	}

}

import java.io.IOException;

import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.NullWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Mapper;

/*
过滤不满足6个字段的数据
过滤URL为空的数据，即：过滤出包含http开头的日志记录
 */
public class CleanDataMapper extends Mapper<LongWritable, Text, Text, NullWritable> {

	@Override
	protected void map(LongWritable key1, Text value1, Context context)
			throws IOException, InterruptedException {
		String log = value1.toString();
		
		//分词
		String[] words = log.split(",");
		
		if(words.length == 6 && words[2].startsWith("http")){
			context.write(value1, NullWritable.get());
		}
	}

}

2.利用maven clean、maven install打成 jar 包，提交到 yarn 上运行：运行脚本run.sh，输入数据为Flume采集到的路径

HADOOP_CMD="/usr/local/src/hadoop-2.6.5/bin/hadoop"

OUTPUT_PATH="/output/210219"

$HADOOP_CMD fs -rmr -skipTrash $OUTPUT_PATH

hadoop jar /ds/MyMapReduceProject-0.0.1-SNAPSHOT.jar mapreduce.clean/CleanDataMain /flume/20210219/events-.1613712374044 /output/210219

3.过滤后结果查看：

[root@master ds]# hadoop fs -cat /output/210219/part-r-00000
1,201.105.101.102,http://mystore.jsp/?productid=1,2017020020,1,1
1,201.105.101.102,http://mystore.jsp/?productid=1,2017020029,2,1
1,201.105.101.102,http://mystore.jsp/?productid=4,2017020021,3,1
2,201.105.101.103,http://mystore.jsp/?productid=2,2017020022,1,1
3,201.105.101.105,http://mystore.jsp/?productid=3,2017020023,1,2
4,201.105.101.107,http://mystore.jsp/?productid=1,2017020025,1,1

  实现方式二：使用 Spark 程序进行数据的清洗

1.cleanData代码实现：

import org.apache.log4j.Logger
import org.apache.log4j.Level
import org.apache.spark.SparkConf
import org.apache.spark.SparkContext

object CleanData {
  def main(args: Array[String]): Unit = {
    // 为了避免执行过程中打印过多的日志
    Logger.getLogger("org.apache.spark").setLevel(Level.ERROR)
    Logger.getLogger("org.eclipse.jetty.server").setLevel(Level.OFF)
    
    val conf = new SparkConf().setAppName("CleanData")
    val sc = new SparkContext(conf)
    
    // 读取数据
    val fileRDD = sc.textFile(args(0))
    
    // 清洗数据
    val cleanDataRDD = fileRDD.map(_.split(",")).filter(_(2).startsWith("http")).filter(_.length == 6)
    
    // 将清洗后的结果保存到HDFS
    cleanDataRDD.saveAsTextFile(args(1))
    
    // 停止SparkContext
    sc.stop()
    
    println("Finished")
  }
}

2.同上打成 jar 包，提交到 spark 上运行:

bin/spark-submit /
--class clean.CleanData   /
--master spark://master:7077 /
/ds/people-0.0.1-SNAPSHOT.jar  /
hdfs://master:9000/flume/210219/events-.1613712374044   /
hdfs://master:9000/testOutput/

  1. 各区域热门商品热度统计：基于 Hive 和 Spark SQL

         方式一：使用 Hive 进行统计

# 创建地区表：
create external table area
(area_id string,area_name string)
row format delimited fields terminated by ','
location '/input/hotproject/area';
# 创建商品表
create external table product
(product_id string,product_name string,
marque string,barcode string, price double,
brand_id string,market_price double,stock int,status int)
row format delimited fields terminated by ','
location '/input/hotproject/product';
# 创建一个临时表，用于保存用户点击的初始日志
create external table clicklogTemp
(user_id string,user_ip string,url string,click_time string,action_type string,area_id string)
row format delimited fields terminated by ','
location '/input/hotproject/cleandata';
# 创建用户点击日志表(注意：需要从上面的临时表中解析出product_id)
create external table clicklog
(user_id string,user_ip string,product_id string,click_time string,action_type string,area_id string)
row format delimited fields terminated by ','
location '/input/hotproject/clicklog';
#导入数据，业务一般用sqoop从mysql数据库导入到HDFS
load data  inpath "/input/data/areainfo.txt" into table area;
load data  inpath "/input/data/productinfo.txt" into table product;
#日志通过flume采集到HDFS
load data  inpath "/output/210220/part-r-00000" into table clicklogTemp;
insert into table clicklog
select user_id,user_ip,substring(url,instr(url,"=")+1),
click_time,action_type,area_id from clicklogTemp;
## 查询各地区商品热度
select a.area_id,b.area_name,a.product_id,c.product_name,count(a.product_id) pv  
from clicklog a join area b on a.area_id = b.area_id join product c on a.product_id = c.product_id  
group by a.area_id,b.area_name,a.product_id,c.product_name;

注意：在上面的例子中，我们建立一张临时表，然后从临时表中解析出productid 也可以直接使用hive的函数：parse_url进行解析，如下： parse_url(a.url,'QUERY','productid')

# 这样就可以不用创建临时表来保存中间状态的结果，修改后的Hive SQL如下：
select a.area_id,b.area_name,parse_url(a.url,'QUERY','productid'),
c.product_name,count(parse_url(a.url,'QUERY','productid'))  
from clicklog a join area b on a.area_id = b.area_id 
join product c on parse_url(a.url,'QUERY','productid') = c.product_id  
group by a.area_id,b.area_name,parse_url(a.url,'QUERY','productid'),c.product_name;

注：导入数据把握原则：能不导入数据，就不要导入数据(外部表)，输出结果由于日志不同结果不同。

方式二：使用 Spark SQL 进行统计

1.Hotproduct.scala代码实现

package com.hot

import org.apache.log4j.Logger
import org.apache.log4j.Level
import org.apache.spark.sql.SparkSession

//地区表
case class AreaInfo(area_id:String,area_name:String)

//商品表 用不到的数据，不要导入
case class ProductInfo(product_id:String,product_name:String,marque:String,barcode:String,price:Double,brand_id:String,market_price:Double,stock:Int,status:Int)

//经过清洗后的，用户点击日志信息
case class LogInfo(user_id:String,user_ip:String,product_id:String,click_time:String,action_type:String,area_id:String)

object HotProduct {
  def main(args:Array[String]):Unit={
    // 避免打印过多的日志
    Logger.getLogger("org.apache.spark").setLevel(Level.ERROR)

    val spark=SparkSession.builder().master("local").appName("").getOrCreate()
//    val spark=SparkSession.builder().appName("").getOrCreate()
    import spark.sqlContext.implicits._

    //获取地区数据
    val areaDF = spark.sparkContext.textFile("hdfs://master:9000/input/data/areainfo1.txt")
      .map(_.split(",")).map(x=> AreaInfo(x(0),x(1))).toDF()
    areaDF.createTempView("area")

    //获取商品数据
    val productDF = spark.sparkContext.textFile("hdfs://master:9000/input/data/productinfo.txt")
      .map(_.split(",")).map(x=>  ProductInfo(x(0),x(1),x(2),x(3),x(4).toDouble,x(5),x(6).toDouble,x(7).toInt,x(8).toInt))
      .toDF()
    productDF.createTempView("product")

    //获取点击日志
    val clickLogDF = spark.sparkContext.textFile("hdfs://master:9000/output/210220/part-r-00000")
      .map(_.split(",")).map(x =>  LogInfo(x(0),x(1),x(2).substring(x(2).indexOf("=")+1),x(3),x(4),x(5)))
      .toDF()
    clickLogDF.createTempView("clicklog")

    //执行SQL
    // 通过SparkSQL分析各区域商品的热度,结果输出到屏幕
    val sql = "select a.area_id,a.area_name,p.product_id,product_name,count(c.product_id) from area a,product p,clicklog c where a.area_id=c.area_id and p.product_id=c.product_id group by a.area_id,a.area_name,p.product_id,p.product_name"

    spark.sql(sql).show()

//    var sql1 = " select concat(a.area_id,',',a.area_name,',',p.product_id,',',p.product_name,',',count(c.product_id)) "
//    sql1 = sql1 + " from area a,product p,clicklog c "
//    sql1 = sql1 + " where a.area_id=c.area_id and p.product_id=c.product_id "
//    sql1 = sql1 + " group by a.area_id,a.area_name,p.product_id,product_name "
//    spark.sql(sql1).repartition(1).write.text(args(3))

    spark.stop()

  }
}

2.Maven打包提交到spark集群上运行：

spark-submit --class com.hot.HotProduct --master spark://master:7077 hotspark-1.0-SNAPSHOT.jar 
#hdfs://master:9000/input/hotproject/area/areainfo.txt \ #hdfs://master:9000/input/hotproject/product/productinfo.txt \ #hdfs://master:9000/output/210219/part-r-00000 hdfs://master:9000/output/analysis

3.将hive分析结果插入另一个表，通过sqoop导入mysql关系数据库，最终实现电商可视化可视化页面展示。

+-------+---------+----------+------------+-----------------+
|area_id|area_name|product_id|product_name|count(product_id)|
+-------+---------+----------+------------+-----------------+
|      7|    hubei|         3| nike shoes2|                1|
|     15|  guizhou|         3| nike shoes2|                2|
|     11|  tianjin|         3| nike shoes2|                1|
|      3| shanghai|         3| nike shoes2|                1|
|      8| zhejiang|         3| nike shoes2|                2|
|      5| shenzhen|         3| nike shoes2|                2|
|     17|   fujian|         3| nike shoes2|                1|
|     19|    anhui|         3| nike shoes2|                3|
|      9|     jili|         3| nike shoes2|                1|
|      1|  beijing|         3| nike shoes2|                1|
|     20|    henan|         3| nike shoes2|                4|
|      4| hangzhou|         3| nike shoes2|                1|
|     13|    hebei|         3| nike shoes2|                3|
|     15|  guizhou|         1|  nike shoes|                1|
|      3| shanghai|         1|  nike shoes|                1|
|      8| zhejiang|         1|  nike shoes|                1|
|     18|neimenggu|         1|  nike shoes|                2|
|     17|   fujian|         1|  nike shoes|                2|
|     19|    anhui|         1|  nike shoes|                2|
|      9|     jili|         1|  nike shoes|                2|
+-------+---------+----------+------------+-----------------+

二、电商数仓采集

业务数据数仓模拟搭建：

通过sqoop将mysql数据库中业务数据导入到HDFS，再导入hive数仓，sqoop原理是利用mapreduce中的map。

import    把数据从关系型数据库 导到 数据，仓库，自定义InputFormat，

export    把数据从数据仓库 导到 关系型数据库，自定义OutputFormat，

用sqoop从mysql中将八张表的数据导入数仓的ods原始数据层全量无条件，增量按照创建时间，增量+变化按照创建时间或操作时间。

下图为表结构，依据各表关系进行数据建模。

​

三、离线数据仓库搭建

1.origin_data原始数据

sku_info商品表(每日导全量)

user_info用户表(每日导全量)

base_category1商品一级分类表(每日导全量)

base_category2商品二级分类表(每日导全量)

base_category3商品三级分类表(每日导全量)

order_detail订单详情表(每日导增量)

payment_info支付流水表(每日导增量)

order_info订单表(每日导增量+变化)

2.ods层

(八张表，表名，字段跟mysql完全相同)

从origin_data把数据导入到ods层，表名在原表名前加ods_

3.dwd层

对ODS层数据进行判空过滤。对商品分类表进行维度退化(降维)。其他数据跟ods层一模一样

订单表 dwd_order_info

订单详情表 dwd_order_detail

用户表 dwd_user_info

支付流水表 dwd_payment_info

商品表 dwd_sku_info

其他表字段不变，唯独商品表，通过关联3张分类表，增加了

category2_id` string COMMENT '2id',

`category1_id` string COMMENT '3id',

`category3_name` string COMMENT '3',

`category2_name` string COMMENT '2',

`category1_name` string COMMENT '1',

4.dws层

从订单表 dwd_order_info 中获取 下单次数 和 下单总金额
从支付流水表 dwd_payment_info 中获取 支付次数 和 支付总金额
最终按照user_id聚合，获得订单支付明细。
GoAI
关注
  • 0
    点赞
  • 踩
  • 11
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
基于用户行为日志分析热门实时商品统计，统计近1小时内的热门商品，每5分钟更新一次，热门度用浏览次数（“pv”）衡量
oO_DoraHe的博客
04-13 975
//生产者 object KafkaProducerTask { //执行方法 def main(args: Array[String]): Unit = { writeToKafka(“hotitem”) } def writeToKafka(topic: String): Unit = { val pro = new Properties() pro.setProperty(“bootstra...
第97讲:使用Spark Streaming+Spark SQL来在线动态计算电商中不同类别中最热门的商品排名，
qq_21234493的博客
05-15 1336
package com.dt.streaming import org.apache.spark.SparkConf import org.apache.spark.sql.Row import org.apache.spark.sql.hive.HiveContext import org.apache.spark.sql.types.{IntegerType, StringType, Str
第97课：Spark Streaming在线动态计算特定时间窗口下热门商品排名
逆水行舟的博客
05-27 2902
使用Spark Streaming + Spark SQL实现在线动态计算出特定时间窗口下的不同种类商品中的热门商品排名
互联网中热门产品计算的方案
Hello_Ray的博客
05-18 1014
摘要 在我们日常生活中，热门推荐是一个很重要的推荐，也是一个推荐系统的起步。不需要详细记录用户的信息，就可以为用户推荐热门的产品。本文从日志打印、到日志分析、最终形成推荐候选集的方面进行阐述，本文的设计热门产品计算的计算瓶颈取决于Java中的Map能存放多少条数据。 如下图是计算每个产品的流程图。 1 在用户端需要添加日志记录，比如以用户点击为热度指标，那么在用户点击某个产品后，则进行记录，并将日志记录在某个文件内。 2 在用户行为信息形成日志后，需要对其对日志聚合分析，形成如下的Map结构性的数据 "i
spark：商品热门品类TOP10统计（案例）
qq_55906442的博客
07-31 2289
品类是指产品的分类，大型电商网站品类分多级，一般为三级分类，此次项目中品类只有一级。不同的公司对热门的定义不一样。此次按照每个品类的点击---->下单---->支付的量来统计热门品类。先按照点击数排名，数量决定排名；点击数相同，比较下单数；下单数相同，比较支付数。...
实验3-统计某电商网站买家收藏商品数量1
08-08
在这个实验中，我们被要求利用MapReduce编程模型来统计一个电商网站中各个买家收藏商品的数量。数据集被称为`buyer_favorite1`，包含了买家ID、商品ID以及收藏日期三个字段，这些字段之间用制表符（`\t`）进行分隔。...
电商平台商品属性多规格选择实现
09-21
电商平台商品属性多规格选择的实现涉及商品模块设计、属性分类、SKU管理以及打包品概念等多个核心环节。在大型电商环境中，商品属性的精细化管理和灵活配置是提升用户体验和优化运营策略的关键。 首先，商品属性...
Bootstrap响应式电商销售统计管理系统
07-13
Bootstrap响应式电商销售统计管理系统是一种基于前端框架Bootstrap构建的，专为电商平台设计的销售数据分析工具。这个系统无需后端支持，完全依赖于前端技术来实现数据的展示和交互，为管理者提供实时、直观的销售...
流量统计，商品统计，cnzz统计，wpsshop电商系统，竞价系统，mvc架构
01-24
在IT行业中，流量统计、商品统计、CNZZ统计、WPSShop电商系统、竞价系统以及MVC架构都是关键概念，它们分别涉及网站运营、数据分析、电子商务解决方案和软件开发模式。 首先，流量统计是衡量网站访问量的重要指标，...
html5电商销售网站统计后台模板html5电商销售网站统计后台模板.zip
10-26
HTML5电商销售网站统计后台模板是一款专为电子商务平台设计的管理界面模板，它结合了现代Web技术，如HTML5、CSS3以及JavaScript，为后台数据分析和监控提供了直观、高效的用户体验。这款模板通常包括一系列预设计的...
利用ARIMA预测亚马逊商品排名
weixin_48262500的博客
10-24 1202
基于ARIMA预测未来数据（基于统计的时间序列算法）
99.Spark大型电商项目-各区域热门商品统计-模块介绍
someby的博客
04-01 1016
目录 各区域热门商品统计 作业提交 大数据方向的职业发展规划 用户行为分析意义 本篇文章记录各区域热门商品统计-模块介绍。 各区域热门商品统计 需求：根据用户指定的日期范围，统计各个区域下的最热门的top3商品 区域信息在哪里，各个城市的信息，城市是不怎么变化的，没有必要存储在hive里？MySQL，Hive和MySQL异构数据源使用，技术点 hive用户行为数据，和mysql城...
各区域热门商品统计
chbxw
07-17 2802
一、需求：根据用户指定的日期范围，统计各个区域下的最热门的top3商品 1、区域信息在哪里，各个城市的信息，城市是不怎么变化的，没有必要存储在hive里？MySQL，Hive和MySQL异构数据源使用，技术点 2、hive用户行为数据，和mysql城市信息，join，关联之后是RDD？RDD转换DataFrame，注册临时表，技术点 3、各个区域下各个商品的点击量，保留每个区域的城市列表数据...
产品经理必知的 20 个数据指标
数字成都
12-06 1018
产品经理必知的 20 个数据指标 广告指标 不同时期产品的宣传必要要选择合适的投放媒体和渠道，这就需要我们了解基本的广告相关数据指标。 CPM cost per impression，按千次展示付费，指通过某一媒体投放广告，听到或看到此广告的人达到一千人平均所要花费的广告费用。 CPM=（广告费用/到达人数）×1000，比如投入广告费用 200 元，有 10000 人浏览过此广告，则 CPM=（ ...
Eclipse实现数码商城购物推荐系统的设计与实现
最新发布
weixin_44764544的博客
03-30 1140
随着互联网技术的不断发展和到现在的基本普及给我们带来了大量的信息，同时也满足了在这个信息的时代，我们对信息的大量需求。但是当网络迅速发展的同时，带来结果就是网上信息量的飞速增长，最终使得我们在对大量信息索取时，不能从里面得到对我们真正有用的信息，所以对信息的利用率也就降低了，这个也就是我们所说的信息超载。解决这一问题的一个很有效的方法就是使用推荐系统，推荐系统是能利用我们的信息需求、兴趣爱好等，然后将我们比较感兴趣的信息、商品、或者是其他服务等推荐给我们的个性化推荐系统。
Java实现数据统计的常用算法
热门推荐
mwp5212的博客
04-06 1万+
求和、平均值、众数、中位数、中列数、四分位数、极差、四分位数、截断均值、方差、绝对平均差（AAD）、中位数绝对偏差、标准差 的数学方法package *
Java实现数据统计的常用算法，算法竞赛入门经典java版
m0_63174529的博客
11-11 1437
import java.util.Arrays; import java.util.HashMap; import java.util.Iterator; import java.util.Map; /** 数据统计工具类 @author 胡湛霏 @since 2016-09-27 */ public class DataStatisticsUtils { /** 求和 @param arr @return */ public static double getSum(do
电商推荐算法-前言
Q632655672的博客
08-14 1025
摘自：https://zhuanlan.zhihu.com/p/27905091 产品经理需要了解的推荐算法之——热度推荐原理和实施# 今日头条的走红带动了“个性化推荐”的概念，自此之后，内容型的产品，个性化算法就逐渐从卖点变为标配。伴随着“机器学习”，“大数据”之类的热词和概念，产品的档次瞬间提高了很多。而各种推荐算法绝不仅仅是研发自己的任务，作为产品经理，必须深入到算法内部，参与算法的设计，以及结合内容对算法不断“调教”，才能让产品的推荐算法不断完善，最终与自己的内容双剑合璧。 本文以新闻产品为例，结合
排行榜热度公式计算
Suwye_Liu
10-08 1万+
魔方秀热度 = (总赞数*0.7+总评论数*0.3)*1000/(发布时间距离当前时间的小时差+2)^1.2   注：2^3 = 8;
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

GoAI

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值