大数据之实时项目--第1天 （ 项目搭建）

最新推荐文章于 2024-04-29 01:06:14 发布
最新推荐文章于 2024-04-29 01:06:14 发布
阅读量290 收藏
点赞数
分类专栏： BigData项目【初学】 文章标签： 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_39868387/article/details/104288113
版权

1、打开IDEA工具创建maven工程

搭建图，如下：
在这里插入图片描述
在这里插入图片描述
搭建ok，如图所示：
在这里插入图片描述

项目工程依赖关系，流程图如图表示：
在这里插入图片描述

2、对创建好的工程jar包引入

首先，以上是父工程创建完毕后，我们需要在父工程的pom.xml文件做依赖关系，添加依赖jar文件：

<properties>
    <spark.version>2.1.1</spark.version>
    <scala.version>2.11.8</scala.version>
    <log4j.version>1.2.17</log4j.version>
    <slf4j.version>1.7.22</slf4j.version>

    <fastjson.version>1.2.47</fastjson.version>
    <httpclient.version>4.5.5</httpclient.version>
    <httpmime.version>4.3.6</httpmime.version>

    <project.build.sourceEncoding>UTF-8</project.build.sourceEncoding>
    <project.reporting.outputEncoding>UTF-8</project.reporting.outputEncoding>
    <java.version>1.8</java.version>
</properties>

<dependencies>
    <!--此处放日志包，所有项目都要引用-->
    <!-- 所有子项目的日志框架 -->
    <dependency>
        <groupId>org.slf4j</groupId>
        <artifactId>jcl-over-slf4j</artifactId>
        <version>${slf4j.version}</version>
    </dependency>
    <dependency>
        <groupId>org.slf4j</groupId>
        <artifactId>slf4j-api</artifactId>
        <version>${slf4j.version}</version>
    </dependency>
    <dependency>
        <groupId>org.slf4j</groupId>
        <artifactId>slf4j-log4j12</artifactId>
        <version>${slf4j.version}</version>
    </dependency>
    <!-- 具体的日志实现 -->
    <dependency>
        <groupId>log4j</groupId>
        <artifactId>log4j</artifactId>
        <version>${log4j.version}</version>
    </dependency>
</dependencies>

<dependencyManagement>
    <dependencies>
        <!-- https://mvnrepository.com/artifact/org.apache.httpcomponents/httpclient -->
        <dependency>
            <groupId>org.apache.httpcomponents</groupId>
            <artifactId>httpclient</artifactId>
            <version>${httpclient.version}</version>
        </dependency>
        <dependency>
            <groupId>org.apache.httpcomponents</groupId>
            <artifactId>httpmime</artifactId>
            <version>${httpmime.version}</version>
        </dependency>

        <dependency>
            <groupId>com.alibaba</groupId>
            <artifactId>fastjson</artifactId>
            <version>${fastjson.version}</version>
        </dependency>


        <dependency>
            <groupId>org.apache.spark</groupId>
            <artifactId>spark-core_2.11</artifactId>
            <version>${spark.version}</version>
        </dependency>

        <dependency>
            <groupId>org.apache.spark</groupId>
            <artifactId>spark-hive_2.11</artifactId>
            <version>${spark.version}</version>
        </dependency>

        <dependency>
            <groupId>org.apache.spark</groupId>
            <artifactId>spark-sql_2.11</artifactId>
            <version>${spark.version}</version>
        </dependency>

        <dependency>
            <groupId>org.apache.spark</groupId>
            <artifactId>spark-streaming_2.11</artifactId>
            <version>${spark.version}</version>
        </dependency>

        <dependency>
            <groupId>org.apache.spark</groupId>
            <artifactId>spark-streaming-kafka-0-10_2.11</artifactId>
            <version>${spark.version}</version>
        </dependency>
    </dependencies>
</dependencyManagement>

当项目的依赖导进来后，我们需要创建父工程的module，工程创建如图所示：
在这里插入图片描述
在这里插入图片描述
创建common子工程
在这里插入图片描述
common子工程创建ok，如图所示：
在这里插入图片描述
接着，我们需要对子工程common的pom.xml文件做依赖关系，添加依赖jar文件：

 <dependencies>
    <dependency>
        <groupId>com.alibaba</groupId>
        <artifactId>fastjson</artifactId>
    </dependency>

    <dependency>
        <groupId>org.apache.httpcomponents</groupId>
        <artifactId>httpclient</artifactId>
    </dependency>
    <dependency>
        <groupId>org.apache.httpcomponents</groupId>
        <artifactId>httpmime</artifactId>
    </dependency>

</dependencies>

当子模块common项目的依赖导进来后，我们还需在创建父工程里创建另一个子模块mock，工程创建与创建common项目一样，忽略！
子模块mock的pom.xml添加依赖文件：

<dependencies>
    <dependency>
        <groupId>com.study.gmall1205</groupId>
        <artifactId>gmall1205-common</artifactId>
        <version>1.0-SNAPSHOT</version>
    </dependency>
</dependencies>

3、子模块mock代码编写

并在子模块mock，创建工具包与类，主要有，如图所示：

在这里插入图片描述

RandomDate.java

代码编写（工具类）：

package com.study.gmall1205.mock.util;

import java.util.Date;
import java.util.Random;

public class RandomDate {
    Long logDateTime =0L;//
    int maxTimeStep=0 ;

    public RandomDate (Date startDate , Date  endDate, int num) {

        Long avgStepTime = (endDate.getTime()- startDate.getTime())/num;
        this.maxTimeStep=avgStepTime.intValue()*2;
        this.logDateTime=startDate.getTime();

    }


    public  Date  getRandomDate() {
        int  timeStep = new Random().nextInt(maxTimeStep);
        logDateTime = logDateTime+timeStep;
        return new Date( logDateTime);
    }

}

RandomNum.java

代码编写（工具类）：

package com.study.gmall1205.mock.util;

import java.util.Random;

public class RandomNum {
    public static final  int getRandInt(int fromNum,int toNum){
        return   fromNum+ new Random().nextInt(toNum-fromNum+1);
    }

}

RanOpt.java

代码编写（工具类）：

package com.study.gmall1205.mock.util;

public class RanOpt<T> {
    T value ;
    int weight;

    public RanOpt ( T value, int weight ){
        this.value=value ;
        this.weight=weight;
    }

    public T getValue() {
        return value;
    }

    public int getWeight() {
        return weight;
    }

}

RandomOptionGroup.java

代码编写（工具类）：

package com.study.gmall1205.mock.util;

import java.util.ArrayList;
import java.util.List;
import java.util.Random;

public class RandomOptionGroup<T> {
    int totalWeight=0;

    List<RanOpt> optList=new ArrayList();

    public   RandomOptionGroup(RanOpt<T>... opts) {
        for (RanOpt opt : opts) {
            totalWeight+=opt.getWeight();
            for (int i = 0; i <opt.getWeight() ; i++) {
                optList.add(opt);
            }

        }
    }

    public RanOpt<T> getRandomOpt() {
        int i = new Random().nextInt(totalWeight);
        return optList.get(i);
    }


    public static void main(String[] args) {
        RanOpt[] opts= {new RanOpt("zhang3",20),new RanOpt("li4",30),new RanOpt("wang5",50)};
        RandomOptionGroup randomOptionGroup = new RandomOptionGroup(opts);
        for (int i = 0; i <10 ; i++) {
            System.out.println(randomOptionGroup.getRandomOpt().getValue());
        }

    }
    
}

LogUploader.java

代码编写（日志发送工具）：
发送到采集系统的web端口

package com.study.gmall1205.mock.util;

import java.io.OutputStream;
import java.net.HttpURLConnection;
import java.net.URL;

public class LogUploader {

    public static void sendLogStream(String log){
        try{
            //不同的日志类型对应不同的URL

            URL url  =new URL("http://logserver/log");

            HttpURLConnection conn = (HttpURLConnection) url.openConnection();
            //设置请求方式为post
            conn.setRequestMethod("POST");

            //时间头用来供server进行时钟校对的
            conn.setRequestProperty("clientTime",System.currentTimeMillis() + "");
            //允许上传数据
            conn.setDoOutput(true);
            //设置请求的头信息,设置内容类型为JSON
            conn.setRequestProperty("Content-Type", "application/x-www-form-urlencoded");

            System.out.println("upload" + log);

            //输出流
            OutputStream out = conn.getOutputStream();
            out.write(("log="+log).getBytes());
            out.flush();
            out.close();
            int code = conn.getResponseCode();
            System.out.println(code);
        }
        catch (Exception e){
            e.printStackTrace();
        }
    }

}

另外：
在com.study.gmall1205.mock包下创建一个类：JsonMocker ，
在这里插入图片描述

功能：组合startup和even两种日志，利用工具类进行发送

JsonMocker.java

代码编写：

package study.gmall20200213.mock;

import com.alibaba.fastjson.JSON;
import com.alibaba.fastjson.JSONObject;
import study.gmall20200213.mock.util.RanOpt;
import study.gmall20200213.mock.util.RandomDate;
import study.gmall20200213.mock.util.RandomNum;
import study.gmall20200213.mock.util.RandomOptionGroup;

import java.text.ParseException;
import java.text.SimpleDateFormat;
import java.util.Date;
import java.util.Random;

public class JsonMocker {
    int startupNum = 100000;
    int eventNum = 200000;

    RandomDate logDateUtil = null;


    RanOpt[] osOpts = {new RanOpt("ios", 3), new RanOpt("andriod", 7)};
    RandomOptionGroup<String> osOptionGroup = new RandomOptionGroup(osOpts);
    Date startTime = null;
    Date endTime = null;

    RanOpt[] areaOpts = {new RanOpt("beijing", 10),
            new RanOpt("shanghai", 10), new RanOpt("guangdong", 20), new RanOpt("hebei", 5),
            new RanOpt("heilongjiang", 5), new RanOpt("shandong", 5), new RanOpt("tianjin", 5),
            new RanOpt("shan3xi", 5), new RanOpt("shan1xi", 5), new RanOpt("sichuan", 5)
    };
    RandomOptionGroup<String> areaOptionGroup = new RandomOptionGroup(areaOpts);

    String appId = "gmall1205";

    RanOpt[] vsOpts = {new RanOpt("1.2.0", 50), new RanOpt("1.1.2", 15),
            new RanOpt("1.1.3", 30),
            new RanOpt("1.1.1", 5)
    };

    RandomOptionGroup<String> vsOptionGroup = new RandomOptionGroup(vsOpts);

    RanOpt[] eventOpts = {new RanOpt("addFavor", 10), new RanOpt("addComment", 30),
            new RanOpt("addCart", 20), new RanOpt("clickItem", 40)
    };

    RandomOptionGroup<String> eventOptionGroup = new RandomOptionGroup(eventOpts);

    RanOpt[] channelOpts = {new RanOpt("xiaomi", 10), new RanOpt("huawei", 20),
            new RanOpt("wandoujia", 30), new RanOpt("360", 20), new RanOpt("tencent", 20)
            , new RanOpt("baidu", 10), new RanOpt("website", 10)
    };

    RandomOptionGroup<String> channelOptionGroup = new RandomOptionGroup(channelOpts);

    RanOpt[] quitOpts = {new RanOpt(true, 20), new RanOpt(false, 80)};

    RandomOptionGroup<Boolean> isQuitGroup = new RandomOptionGroup(quitOpts);

    public JsonMocker() {

    }

    public JsonMocker(String startTimeString, String endTimeString, int startupNum, int eventNum) {
        try {
            startTime = new SimpleDateFormat("yyyy-MM-dd").parse(startTimeString);
            endTime = new SimpleDateFormat("yyyy-MM-dd").parse(endTimeString);
        } catch (ParseException e) {
            e.printStackTrace();
        }
        logDateUtil = new RandomDate(startTime, endTime, startupNum + eventNum);
    }

    String initEventLog(String startLogJson) {
            /*`type` string   COMMENT '日志类型',
             `mid` string COMMENT '设备唯一 表示',
            `uid` string COMMENT '用户标识',
            `os` string COMMENT '操作系统',
            `appid` string COMMENT '应用id',
            `area` string COMMENT '地区' ,
            `evid` string COMMENT '事件id',
            `pgid` string COMMENT '当前页',
            `npgid` string COMMENT '跳转页',
            `itemid` string COMMENT '商品编号',
            `ts` bigint COMMENT '时间',*/

        JSONObject startLog = JSON.parseObject(startLogJson);
        String mid = startLog.getString("mid");
        String uid = startLog.getString("uid");
        String os = startLog.getString("os");
        String appid = this.appId;
        String area = startLog.getString("area");
        String evid = eventOptionGroup.getRandomOpt().getValue();
        int pgid = new Random().nextInt(50) + 1;
        int npgid = new Random().nextInt(50) + 1;
        int itemid = new Random().nextInt(50);
        //  long ts= logDateUtil.getRandomDate().getTime();

        JSONObject jsonObject = new JSONObject();
        jsonObject.put("type", "event");
        jsonObject.put("mid", mid);
        jsonObject.put("uid", uid);
        jsonObject.put("os", os);
        jsonObject.put("appid", appid);
        jsonObject.put("area", area);
        jsonObject.put("evid", evid);
        jsonObject.put("pgid", pgid);
        jsonObject.put("npgid", npgid);
        jsonObject.put("itemid", itemid);
        return jsonObject.toJSONString();
    }


    String initStartupLog() {
            /*`type` string   COMMENT '日志类型',
             `mid` string COMMENT '设备唯一标识',
      `uid` string COMMENT '用户标识',
      `os` string COMMENT '操作系统', ,
      `appId` string COMMENT '应用id', ,
     `vs` string COMMENT '版本号',
     `ts` bigint COMMENT '启动时间', ,
     `area` string COMMENT '城市' */


        String mid = "mid_" + RandomNum.getRandInt(1, 500);
        String uid = "" + RandomNum.getRandInt(1, 500);
        String os = osOptionGroup.getRandomOpt().getValue();
        String appid = this.appId;
        String area = areaOptionGroup.getRandomOpt().getValue();
        String vs = vsOptionGroup.getRandomOpt().getValue();
        //long ts= logDateUtil.getRandomDate().getTime();
        String ch = os.equals("ios") ? "appstore" : channelOptionGroup.getRandomOpt().getValue();


        JSONObject jsonObject = new JSONObject();
        jsonObject.put("type", "startup");
        jsonObject.put("mid", mid);
        jsonObject.put("uid", uid);
        jsonObject.put("os", os);
        jsonObject.put("appid", appid);
        jsonObject.put("area", area);
        jsonObject.put("ch", ch);
        jsonObject.put("vs", vs);
        return jsonObject.toJSONString();
    }

    public static void genLog() {
        JsonMocker jsonMocker = new JsonMocker();
        jsonMocker.startupNum = 1000000;
        for (int i = 0; i < jsonMocker.startupNum; i++) {
            String startupLog = jsonMocker.initStartupLog();
            jsonMocker.sendLog(startupLog);
            while (!jsonMocker.isQuitGroup.getRandomOpt().getValue()) {
                String eventLog = jsonMocker.initEventLog(startupLog);
                jsonMocker.sendLog(eventLog);
            }
            try {
                Thread.sleep(20);
            } catch (InterruptedException e) {
                e.printStackTrace();
            }
        }


    }

    private void sendLog(String eventLog) {
     LogUploader.sendLogStream(eventLog);
    }
     public static void main(String[] args) {
        genLog();
    }
}

4、Springboot开发，工程搭建

步骤:

点击父工程创建一个子模块（Springboot）
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
Springoot搭建ok，如图所示
在这里插入图片描述
主程序类可以跑：
在这里插入图片描述

江湖侠客
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
项目实时(风控)-大数据板块设计
12-21
大数据板块设计(阶段2) 用户登陆风险评估 检查出⾮⽤户登录，或者账号被盗窃等潜在⻛险挖掘。 通过对用户登录行为进行分析，提高了预测的准确性；可以应用于互联网金融风控技术中，也可应用于普通网站的用户恶意登录识别技术中 异地登录认定有⻛险（不在⽤户经常登陆地） 登录的位移速度超过正常值，认定有⻛险 更换设备，认定有⻛险 登录时段-习惯，出现了异常，存在⻛险 每天的累计登录次数超过上限，认定有⻛险 密码输⼊错误或者输⼊差异性较⼤，认定⻛险 如果⽤户的输⼊特征（输⼊每个控件所需时⻓ ms）发⽣变化 参考:https://zhuanli.tianyancha.com/796c88e9c3d67d3a9
大数据应用案例-如何搭建大数据平台技术架构？
03-01
数据收集层，我们创立了国内机场官方Wi-Fi第一品牌“Airport-Free-WiFi”，网络遍布全国25个枢纽机场和39个枢纽高铁站，每年为6.4亿人次出行提供无线网络连接服务；我们拥有全国最大的驾校Wi-Fi网络，到17
大数据之实时项目--第4天 （ Nginx）
weixin_39868387的博客
02-15 233
上篇：大数据之实时项目–第3天 （ 日志服务器搭建） 1、Nginx是什么 定义： Nginx (“engine x”) 是一个高性能的HTTP和反向代理服务器,特点是占有内存少，并发能力强，事实上nginx的并发能力确实在同类型的网页服务器中表现较好，中国大陆使用nginx网站用户有：百度、京东、新浪、网易、腾讯、淘宝等。 2、nginx与tomcat之间的关系： 除了tomcat以外，ap...
大数据实时项目
shuangyueliao的专栏
10-17 693
项目说明 日志收集模块 运行gmall0311-logger项目下的Gmall0311LoggerApplication，启动web服务收集上传过来的日志并存进kafka中 运行gmall0311-mock项目下的JsonMocker，模拟app应用上传日志到web端 查看kafka，可以看到数据已保存到kafka 实时预警 根据日志数据中的系统报错异常，或者用户行为异常检测，产生预警日志并图形化展示 需求：同一设备，5分钟内三次及以上用不同账号登录并领取优惠劵，并且在登录到领劵过程中没有浏览商品。达
大数据项目之实时项目（待更）
FreedomZzzzz的博客
01-06 803
一.项目目的 二.项目流程 三.项目操作 事先准备好环境 1.start-al.sh 2. ./zkmanager start 3. ./start-kafka 4.启动Redis服务（我的Redis在hdp-2上） bin路径下 ./redis-server ../redis.conf 1.将gmall-logger-0.0.1-SNAPSHOT....
1.实时项目
qq_50166024的博客
12-12 384
1、项目简介 1.1 项目背景 监控某APP官网的用户行为日志，然后使用对应的服务器接受数据，在对数据进行Spark分析，统计出哪些是爬虫数据，哪些是好的数据，然后进行行为数据监控即可。 1.2 系统功能模块 数据采集模块、流程管理模块、策略管理模块、规则管理模块、实时监控模块、可视化模块 1.3 逻辑架构 1.4 物理架构（重点掌握） 1.5 功能描述 对系统性能的数据监控、实时统计各链路流量连接数、实时计算指标等 注：链路就是服务器的意思 1.6 技术选型 Hadoop2.7.6 、S
拓思爱诺大数据第一天-Hadoop集群搭建
06-24
川大IT企业实训-拓思爱诺大数据学习资料，第一天Hadoop集群搭建
大数据安全保障措施-.docx
12-24
（一）数据产生／采集环节的安全技术措施 大数据安全保障措施-全文共3页，当前为第1页。 大数据安全保障措施-全文共3页，当前为第1页。 从数据安全角度考虑，在数据产生／采集环节需要实现的技术能力主要是元数据...
初始大数据之项目搭建
Herry_Xia的博客
09-21 327
什么是大数据 海量数据及其处理 指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。 项目搭建 ...
spark实时项目
01-03
内容包括 1、用户访问sesssion的实时分析和根据不同条件进行过滤 2、根据用户的点击次数，下单次数，支付次数进行二次排序 3、将结果实现存入数据库，并用echart进行展示
大数据实战项目教程等
10-08
大数据实战项目教程等
大数据框架的部署
01-13
zookeeper,kafka,storm,flume,spark的部署安装。安装之前要确认安装好了oracle jdk，如果系统自带OpenJDK，需要先卸载，可以参考cdh的安装文档 kafka和storm依赖zookeeper，所以要先安装好zookeeper并启动之后才能启动storm和kafka。 另：文档提供的配置文件只提供说明，具体可以从随付的相应的配置文件中拷贝。
大数据实时流统计实战
01-21
大数据实时流统计实战
大数据真实数仓项目完整版
12-21
大数据阶段真实项目，数据仓库完整项目，包括项目分析，如何实现。
Flink大数据实时标签实时ETL -- 项目介绍1
AyubLIbra的博客
03-26 5290
Flink实时标签，实时ETL
实时推荐项目
weixin_45629153的博客
03-02 208
flink基于用户实时推荐
大数据项目环境搭建说明
SpaderA的博客
06-25 378
项目环境搭建说明 一 相关工具软件介绍 系统： CentOS7 机器： master slave1 slave2 软件： java 1.8.0_211 zookeeper-3.4.10 Sqoop-1.4.7 hadoop-2.7.3 hbase-1.2.4 mysql-5.1.47 hive-2.1.1 插件： ntp vim perl-Module-Install.noarch net-too...
大数据项目
qq_70016908的博客
06-15 127
1，离线数据处理：项目内容为通过对网站访问日志的采集和清洗，结合数据库中的结构化用户数据，统计并展示网站的PV、UV情况，以对网站的运行情况进行监控。通过此项目，回顾并串联前面讲述的离线数据处理相关技术，如：FIune、Sqoop、Hive、Spark等，了解和掌握PB级数据离线处理的一般过程和架构。 2，流式数据处理：项目内容为通过对数据库交易数据修改的实时同步，监控网站实时交易情况，以提高网站交易情况监控的时效性，降低网站运行的风险。 通过此项目，回顾并串联前面讲述的实时数据处理相关技术，如：k.
实时即未来，大数据项目车联网之项目基石与前瞻【一】_车联网 大数据 项目(1)
最新发布
2401_84164527的博客
04-29 914
车辆按大小来分汽车后服务市场。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值