基于Spark Streaming 计算模拟商品信息关注度

一.实验内容

实验环境

Hadoop2.7.5

Spark2.4.0

eclipse

实验内容

使用Spark Streaming构建实时数据计算系统，通过使用java socket编程模拟用户浏览商品信息时产生的数据，使用Spark Streaming应用实现基本功能，使用updateStateByKey进行结果累加计算，将结果保存在HDFS上，在Spark平台上运行。

二.实验步骤

2.1创建Java Project

在项目下创建lib文件夹，将spark2.4.0的jar包导入

在src下创建包和java类

2.2模拟器生成模拟数据SimulatorSocket.java

package org.apache.spark;

import java.io.IOException;
import java.io.OutputStream;
import java.io.PrintWriter;
import java.net.ServerSocket;
import java.net.Socket;
import java.text.SimpleDateFormat;
import java.util.Date;
import java.util.Random;
public class SimulatorSocket {
    public static void main(String[] args) throws Exception {
        //创建一个线程来启动模拟器
        new Thread(new SimulatorSocketLog()).start();
    }
}
class SimulatorSocketLog implements Runnable{
    //假设一共有10000个商品
    private int GOODSID = 10000;
    //随机发送消息的条数
    private int MSG_NUM = 200;
    //假设用户浏览该商品的次数
    private int BROWSE_NUM = 5;
    //假设用户浏览商品停留的时间
    private int STAY_TIME = 10;
    //用来体现用户是否收藏，收藏为1，不收藏为0，差评为-1
    int[] COLLECTION = new int[]{-1,0,1};
    //用来模拟用户购买商品的件数，0比较多是为了增加没有买的概率，毕竟不买的还是很多的，很多用户都只是看看
    private int[] BUY_NUM = new int[]{0,1,0,2,0,0,0,1,0};
    public void run() {
        // TODO Auto-generated method stub
        Random r = new Random();

        try {
            /**
             *创建一个服务器端，监听9999端口，客户端就是Streaming，socketTextStream 其实就是相当于一个客户端
             */
            ServerSocket sScoket