第二章 数据采集模块之SpringBoot埋点数据采集（源码 & 资料见文末）

最新推荐文章于 2024-03-01 13:55:39 发布
最新推荐文章于 2024-03-01 13:55:39 发布
阅读量2.7k 收藏 10
点赞数
分类专栏： # 实时数仓建设实战 文章标签： spring boot java spring
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_27924553/article/details/122415184
版权
1、模拟生成数据

（1）在hadoop102上创建目录

[atguigu@hadoop102 module]$ mkdir data_make
cd data_make/

（2）上传数据生成脚本

rz
gmall2020-mock-log-2020-12-18.jar
application.yml

在这里插入图片描述

（3）启动脚本

java -jar gmall2020-mock-log-2020-12-18.jar
  • 运行结果

在这里插入图片描述

2、模拟数据分发

（1）SpringBoot概述（写数据接口）

  • Controller：拦截用户请求，调用service，响应请求
  • Service：调用DAO，加工数据
  • DAO（Mapper）：获取数据
  • 持久化层：存储数据

（2）快速搭建SpringBoot

①下载Lombok插件（file–>settings–>Plugins）

在这里插入图片描述

②创建空的父工程

在这里插入图片描述

③创建module，使用SpringBoot模板（File–>new–>module–>Spring Initializr）

国内地址:https://start.aliyun.com

在这里插入图片描述

（3）module配置

在这里插入图片描述

（4）配置相关依赖

  • 开发工具：Lombok
  • Web：Spring Web
  • 消息：Springffor Apache Kafka
    在这里插入图片描述
3、本地测试

（1）创建Controller目录，编写代码

package com.lhw.gmalllogger.controller;


import org.springframework.web.bind.annotation.RequestMapping;
import org.springframework.web.bind.annotation.RequestParam;
import org.springframework.web.bind.annotation.RestController;

@RestController
public class LoggerController {


    @RequestMapping("applog")
    public String getLoogger(@RequestParam("param") String jsonStr){
        //打印数据
        System.out.println(jsonStr);

        return "success";
    }
}

（2）开启服务端

  • 运行IDEA，开启服务端

在这里插入图片描述

（3）修改数据文件

  • 将mock.url修改为本地ip（CMD后ipconfig可见）
vim application.yml 

#修改如下
mock.url: "http://x.x.x.x:8080/applog"

（4）启动数据生成jar包

java -jar gmall2020-mock-log-2020-12-18.jar
  • IDEA运行结果

在这里插入图片描述

4、SpringBoot整合kafka&本地落盘

（1）修改配置文件application.yml

server:
  port: 8081
logging:
  config: classpath:logback.xml
spring:
  kafka:
    bootstrap-servers: 192.168.6.102:9092,192.168.6.103:9092,192.168.6.104:9092

    # 配置生产者
    producer:
      # 消息重发的次数
      retries: 3
      # 一个批次可以使用的内存大小
      batch-size: 16384
      # 设置生产者内存缓冲区的大小
      buffer-memory: 33554432
      # 键的序列化方式
      key-serializer: org.apache.kafka.common.serialization.StringSerializer
      # 值的序列化方式
      value-serializer: org.apache.kafka.common.serialization.StringSerializer
      # acks: all

    # 配置消费者
    consumer:
      # 自动提交的时间间隔,在SpringBoot2.x版本是值的类型为Duration,需要付恶化特定的格式,如1S,1M,1H,1D
      auto-commit-interval: 1S
      # 指定了消费者在读取一个没有偏移量的分区或者偏移量无效的情况下该做如何处理
      auto-offset-reset: earliest
      # 是否自动提交偏移量，默认值是ture,为了避免出现重复数据,可以把它设置为false,然后手动提交偏移量
      enable-auto-commit: false
      # 键的反序列化方式
      key-serializer: org.apache.kafka.common.serialization.StringDeSerializer
      # 值的反序列化方式
      value-serializer: org.apache.kafka.common.serialization.StringDeSerializer

    listener:
      # 手工ack,调用ack后立刻提交offset
      ack-mode: manual_immediate
      # 容器运行的线程数
      concurrency: 4

（2）新增logback.xml日志文件

<?xml version="1.0" encoding="UTF-8"?>

<configuration>
    <!--追加到控制台-->
    <property name="LOG_HOME" value="e:/logs" />
    <appender name="console" class="ch.qos.logback.core.ConsoleAppender">
        <encoder>
            <pattern>%msg%n</pattern>
        </encoder>
    </appender>
    <!--滚动追加到文件-->
    <appender name="rollingFile" class="ch.qos.logback.core.rolling.RollingFileAppender">
        <file>${LOG_HOME}/app.log</file>
        <rollingPolicy class="ch.qos.logback.core.rolling.TimeBasedRollingPolicy">
            <fileNamePattern>${LOG_HOME}/app.%d{yyyy-MM-dd}.log</fileNamePattern>
        </rollingPolicy>
        <encoder>
            <pattern>%msg%n</pattern>
        </encoder>
    </appender>
    <!-- 选择追加器方式：将某一个包下日志单独打印日志 -->
    <logger name="com.lhw.gmalllogger.controller.LoggerController"
            level="INFO" additivity="false">
        <appender-ref ref="rollingFile" />
        <appender-ref ref="console" />
    </logger>
    <!--日志级别-->
    <root level="error" additivity="false">
        <appender-ref ref="console" />
    </root>
</configuration>

（3）修改controller目录下的脚本

package com.lhw.gmalllogger.controller;


import lombok.extern.log4j.Log4j;
import lombok.extern.slf4j.Slf4j;
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.kafka.core.KafkaTemplate;
import org.springframework.web.bind.annotation.GetMapping;
import org.springframework.web.bind.annotation.RequestMapping;
import org.springframework.web.bind.annotation.RequestParam;
import org.springframework.web.bind.annotation.RestController;

@Slf4j
@RestController
public class LoggerController {


    // 1、声明topic
    private static final String TOPIC_NAME="ods";


    // 2、注入kafka
    @Autowired
    private KafkaTemplate<String,Object> kafkaTemplate;

    // 3、数据传输到本地
    @RequestMapping("applog")
    public String getLoogger(@RequestParam("param") String jsonStr){
        // 3.1、打印数据
        System.out.println(jsonStr);

        // 3.2、将数据落到本地磁盘
        log.info(jsonStr);

        // 3.3、将数据写入kafka
        kafkaTemplate.send(TOPIC_NAME,jsonStr);

        return "success";
    }
}

（4）运行测试

  • 开启kafka

在这里插入图片描述

  • 创建topic
bin/kafka-topics.sh --zookeeper hadoop102:2181/kafka --create --replication-factor 3 --partitions 6 --topic ods
  • 运行IDEA，启动服务端

在这里插入图片描述

  • 运行数据生成jar包
java -jar gmall2020-mock-log-2020-12-18.jar

在这里插入图片描述

（5）结果查看

  • IDEA打印结果查看

在这里插入图片描述

  • kafka消费消息查看
 bin/kafka-console-consumer.sh \--bootstrap-server hadoop102:9092 --topic ods

在这里插入图片描述

  • 本地磁盘文件查看

在这里插入图片描述

（6）打包单机部署

  • 修改日志落磁盘目录
<property name="LOG_HOME" value="/opt/data/logs" />
  • 打包

在这里插入图片描述

  • 上传jar包
rz gmall-logger-0.0.1-SNAPSHOT.jar
  • 启动服务端的jar包
java -jar gmall-logger.jar
  • 修改application.yml
mock.url: "http://hadoop102:8081/applog"
  • 启动数据生成jar包
java -jar gmall2020-mock-log-2020-12-18.jar
  • 运行结果

在这里插入图片描述

5、打包集群部署，并用 Nginx 进行反向代理

（1）将日志采集jar包同步到hadoop103 &hadoop104

xsync gmall-logger.jar

（2）修改数据生成脚本的配置文件

#http模式下，发送的地址
mock.url: "http://hadoop102:80/applog"

（2）启动nginx

sbin/nginx

（3）启动消费者

 bin/kafka-console-consumer.sh \--bootstrap-server hadoop102:9092 --topic ods

（4）启动服务端jar包

java -jar gmall-logger.jar

在这里插入图片描述

（5）启动数据生成jar包

java -jar gmall2020-mock-log-2020-12-18.jar

在这里插入图片描述

（6）数据落盘

分别查看hadoop102&hadoop103&hadoop104的logs文件

在这里插入图片描述

（7）数据传输到kafka

查看kafka的日志文件

在这里插入图片描述

6、代码运行整理
  • 代码路径：/opt/module/data/springboot_source
    在这里插入图片描述
  • 代码运行顺序
#1、开启nginx的反向代理
sbin/nginx

#2、开启kafka的消费者
bin/kafka-console-consumer.sh --bootstrap-server hadoop102:9092 --topic ods_base_log

#3、启动gmall-logger项目
java -jar gmall-logger.jar 

#4、启动gmall-mock-logger日志生成数据项目
java -jar gmall2020-mock-log-2020-12-18.jar
  • 运行界面

请添加图片描述

  • 注意事项：代码在本地调试时请关闭nginx的端口，否则会报web端口被占用，无法调试
7、代码下载
链接：https://pan.baidu.com/s/1ZTT-NWcJM1MJUAOA7gpC1g 
提取码：olu5
随缘清风殇
关注
  • 0
    点赞
  • 踩
  • 10
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 4
    评论
专栏目录
web 前端数据采集埋点 .zip
01-04
和大数据、数据采集、数据集相关的源码、工具等
analytics 网页埋点数据采集.zip
01-04
数据采集处理展示相关的源码、工具等
给你的SpringBoot做埋点监控--JVM应用度量框架Micrometer
最新发布
程序员高级码农的博客
03-01 963
Counter的作用是记录XXX的总量或者计数值，适用于一些增长类型的统计，例如下单、支付次数、Http请求总量记录等等，通过Tag可以区分不同的场景，对于下单，可以使用不同的Tag标记不同的业务来源或者是按日期划分，对于Http请求总量记录，可以使用Tag区分不同的URL。Gauge通常用于变动的测量值，测量值用ToDoubleFunction参数的返回值设置，如当前的内存使用情况，同时也可以测量上下移动的”计数”，比如队列中的消息数量。下面花一点时间从零开始搭建一个这样的系统，使用CentOS7。
fanuc机床数据采集FOCAS2中文说明文档(含源码示例)
11-11
fanucFOCAS2通信库中文说明文档(含源码示例)
高速数据采集模块设计资料_工业数据采集模块
01-12
包含原理图、pcb、源码
sa-sdk-java:神策数据官方 Java 埋点 SDK，是一款轻量级用于 Java 端的数据采集埋点 SDK
05-17
sa-sdk-java 神策简介 神策数据 （Sensors Data），隶属于神策网络科技（北京）有限公司，是一家专业的大数据分析服务公司，大数据分析行业开拓者，为客户提供深度用户行为分析平台、以及专业的咨询服务和行业解决方案，致力于帮助客户实现数据驱动。神策数据立足大数据及用户行为分析的技术与实践前沿，业务现已覆盖以互联网、金融、零售快消、高科技、制造等为代表的十多个主要行业、并可支持企业多个职能部门。公司总部在北京，并在上海、深圳、合肥、武汉等地拥有本地化的服务团队，覆盖东区及南区市场；公司拥有专业的服务团队，为客户提供一对一的客户服务。公司在大数据领域积累的核心关键技术，包括在海量数据采集、存储、清洗、分析挖掘、可视化、智能应用、安全与隐私保护等领域。 SDK 简介 SensorsAnalytics SDK 是国内第一家开源商用版用户行为采集 SDK，目前支持代码埋点、全埋点、Ap
使用SpringBoot/Aspect实现日志埋点
倔强禅师的博客
06-01 2282
在开发过程中，可能会遇到需要记录用户操作记录的情况，这时候可以使用Spring的AOP实现日志埋点，记录用户的操作行为 实现步骤： 1.日志记录注解(使用时直接添加到需要记录的方法上) package com.immo.jkzs.annotation; import com.immo.jkzs.enums.OperationType; import java.lang.annotation.ElementType; import java.lang.annotation.Retention; impor
快给你的 Spring Boot 做个埋点监控吧
z_ssyy的博客
05-31 485
Counter的作用是记录XXX的总量或者计数值，适用于一些增长类型的统计，例如下单、支付次数、Http请求总量记录等等，通过Tag可以区分不同的场景，对于下单，可以使用不同的Tag标记不同的业务来源或者是按日期划分，对于Http请求总量记录，可以使用Tag区分不同的URL。Gauge通常用于变动的测量值，测量值用ToDoubleFunction参数的返回值设置，如当前的内存使用情况，同时也可以测量上下移动的”计数”，比如队列中的消息数量。下面花一点时间从零开始搭建一个这样的系统，使用CentOS7。
SpringBoot AOP 实现埋点日志记录（完整源码）
猿码天地
04-18 7554
SpringBoot AOP 实现埋点日志记录（完整源码）一、Spring Boot AOP二、AOP的常用术语三、源码实现埋点日志记录3.1 项目结构图3.2 代码实现 随着互联网技术的深入发展，各个系统的日活用户、访问量、点击量成指数上升，为保证系统的安全性、易用性，每个系统都需要对用户的访问做埋点记录、跟踪，从而获取用户常用的操作习惯，同时也方便系统管理人员对系统做日常记录、跟踪。 一、Sp...
Springboot日志埋点、问题追踪
树叶的一生，只是为了归根么？
02-24 537
实现平时项目中出现报错的时候，打印报错那次方法调用的详情。
数据采集模块设计资料
01-12
本套资料包括模块的原理图、PCB、程序源码等资料
js埋点采集数据.zip
01-04
数据采集处理展示相关的源码、工具等
SpringBoot接收参数的三种方式，SpringBoot访问静态资源。
weixin_60414376的博客
09-10 996
接收：1、在路由处写好要参数2、参数列表用注解，如果路径上写的参数名称与函数接收的名称不一致可以使用value参数来与路径上的保持一致。
什么是埋点，有案例
weixin_42759398的博客
04-11 3346
在Java后端开发中，可以使用一些成熟的埋点框架进行埋点，例如阿里巴巴的canal和pinpoint等。埋点（Track）是指在应用程序、网站或平台中添加代码，以记录特定用户行为和事件的做法。在 Spring Boot 中，可以使用自动配置机制，在应用程序中成功注册任意数量的过滤器。默认情况下，注册的过滤器没有指定顺序，这可以通过为过滤器添加。通常，在产品设计之初就应该考虑到需要哪些埋点，并在代码中嵌入相应的埋点代码。这就是一个简单的基于过滤器实现的页面访问次数的埋点示例。注解的值，定义过滤器的执行顺序。
电脑常识基于SpringBoot使用K stream实现数据埋点\统计\实时更新
11-08 232
电脑常识基于SpringBoot使用K stream实现数据埋点\统计\实时更新 今年刚上手一个项目,需求点是文章页面的点赞,收藏,评论和阅读的实时点击统计,并根据这个统计集成给后台,作为后台实现文章日更,时更和用户推送的一个数据埋点. 首先用到的技术是 Kafka流式计算 Kafka除了作为高性能的MQ以外,其实还有一个流式计算的功能,这个功能可以把代码运行中的数据状态以消息的形式发送给统计模块进行分流,聚合和统计输出,自动化完成数据的捕抓和收集; ...
自建埋点数据可视化系统-从前端到后台
石竹的专栏
03-06 3149
前期做了埋点后可进行丰富的可视化实现，用来监控日常的运营情况，常见的图表有下面这些。 1、APP平均访问量对比 所有应用平均访问量对比（周期：累计、近三月，近一月，近一周，当天）———柱状图 说明：因为每个应用对应的用户数是不同的，统计绝对的PV值做对比没有多大的意义，所以定义平均访问量=总访问量/用户人数 1、PV： A、某应用PV趋势 （按周、按天）———折线图 B、某应用中各页面访问量对比（...
labview数据采集源码
10-26
Labview是一款由美国国家仪器（National Instruments）开发的图形化编程软件，用于数据采集、数据处理和控制系统设计。Labview提供了丰富的功能模块和工具箱，使得数据采集源码的编写十分便捷。 在Labview中，数据采集源码通常包括以下几个主要模块： 1. 数据采集设备选择：Labview支持多种数据采集设备，包括各类传感器、数据采集卡等。在源码中，可以通过选择合适的设备来进行数据采集。 2. 数据采集参数设置：在源码中，可以设置数据采集的采样率、采集通道数等参数。这些参数会影响到采集的精度和速度。 3. 数据采集过程：在源码中，可以编写采集过程的循环程序。通过循环程序，可以实时采集数据，并将其存储在内存或磁盘中。 4. 数据处理和显示：在源码中，可以编写数据处理和显示的程序。通过数据处理，可以对采集的数据进行滤波、降噪、数据分析等操作。通过数据显示，可以将处理后的数据以图表、曲线等形式展示出来。 5. 数据保存和导出：在源码中，可以编写数据保存和导出的程序。通过数据保存，可以将采集的数据保存在特定的文件中。通过数据导出，可以将数据以常用的格式（如Excel、txt等）导出到其他应用程序中进行进一步处理和分析。 总的来说，Labview的数据采集源码编写是建立在图形化编程基础上的，通过简单的拖拽和连线，就可以完成各种数据采集任务。它不仅能够实现数据的准确采集，还可以灵活地进行数据处理和可视化展示。这使得Labview成为了工程师和科研人员在数据采集方面的重要工具。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 4
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

随缘清风殇

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值