示例：python模拟日志生成+Flume+Kafka+Spark Streaming

最新推荐文章于 2025-04-22 00:16:26 发布

drl_blogs

最新推荐文章于 2025-04-22 00:16:26 发布

阅读量1k

点赞数

分类专栏： # Flume # Spark # Kafka # python

本文链接：https://blog.csdn.net/drl_blogs/article/details/94452305

版权

本文介绍了如何使用Python生成模拟日志数据，并结合Flume将数据传输到Kafka，再利用Spark Streaming进行实时处理。详细步骤包括编写generate_log.py脚本，设置Flume配置文件，运行Flume、Kafka消费者和Python脚本，最后验证Kafka消费者是否成功接收信息。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

生成模拟数据

编写 generate_log.py

#coding=UTF-8

import random
import time

url_paths=[
    "class/112.html",
    "class/128.html",
    "class/145.html",
    "class/130.html",
    "class/146.html",
    "class/131.html",
    "learn/821",
    "course/list"
]

ip_slices=[132,156,124,10,29,167,143,187,30,46,55,63,72,87,98,168]

http_referers=[
    "https://www.baidu.com/s?wd={query}",
    "https://www.sogou.com/web?query={query}",
    "https://cn.bing.com/search?q={query}",
    "https://www.so.com/s?q={query}"
]

search_keyword=[
    "spark sql实战",
    "hadoop 基础",
    "storm实战",
    "spark streaming实战"