log4j+flume+kafka模拟Spark Streaming流式处理数据

log4j+flume+kafka模拟Spark Streaming流式处理数据

1. java 编程模拟日志产生

/**
 * 模拟Logger 产生日志
 */
public class LoggerGenerator {

    private static Logger logger = Logger.getLogger(LoggerGenerator.class.getName());
    
    public static void main(String[] args) throws Exception{
        int index = 0;
        while(true) {
            Thread.sleep(1000);
            logger.info("value : " + index++);
        }
    }
}

2. log4j.properties文件配置

log4j.rootLogger=INFO,stdout,flume
log4j.appender.stdout = org.apache.log4j.ConsoleAppender
log4j.appender.stdout.target = System.out
log4j.appender.stdout.layout=org.apache.log4j.PatternLayout
log4j.appender.stdout.layout.ConversionPattern=%d{yyyy-MM-dd HH:mm:ss,SSS} [%t] [%c] [%p] - %m%n

3. 接下来使用log4j将日志输出到flume中,使用Log4J Appender

1)在log4j.properies文件中添加

log4j.appender.flume = org.apache.flume.clients.log4jappender.Log4jAppender
log4j.appender.flume.Hostname = 192.168.126.31
log4j.appender.flume.Port = 41414
log4j.appender.flume.UnsafeMode = true

2)需要添加jar包

Appends Log4j events to a flume agent’s avro source. A client using this appender must have the flume-ng-sdk in the classpath (eg, flume-ng-sdk-1.6.0.jar).

需要:flume-ng-sdk.jar

    <dependency>
        <groupId>org.apache.flume.flume-ng-clients</groupId>
        <artifactId>flume-ng-log4jappender</artifactId>
        <version>1.6.0</version>
    </dependency>

flume接收数据agent,resource需要avro

 <dependencies>
        <dependency>
            <groupId>junit</groupId>
            <artifactId>junit</artifactId>
            <version>4.11</version>
            <scope>test</scope>
        </dependency>

        <dependency>
            <groupId>org.apache.spark</groupId>
            <artifactId>spark-streaming_2.11</artifactId>
            <version>${spark_version}</version>
        </dependency>

        <!-- sparkstreaming kafka-->
        <dependency>
            <groupId>org.apache.spark</groupId>
            <artifactId>spark-streaming-kafka-0-8_2.11</artifactId>
            <version>${spark_version}</version>
        </dependency>

        <dependency>
            <groupId>org.apache.flume.flume-ng-clients</groupId>
            <artifactId>flume-ng-log4jappender</artifactId>
            <version>1.6.0</version>
        </dependency>

    </dependencies>

4. log4j_flume.properties 文件配置

log4j_agent.sources = avro_source
log4j_agent.channels = memory_channel
log4j_agent.sinks = kafka_sink

log4j_agent.sources.avro_source.type = avro
log4j_agent.sources.avro_source.bind = 0.0.0.0
log4j_agent.sources.avro_source.port = 41414

log4j_agent.channels.memory_channel.type = memory
log4j_agent.channels.memory_channel.capacity = 10000
log4j_agent.channels.memory_channel.transactionCapacity = 10000

log4j_agent.sinks.kafka_sink.type = org.apache.flume.sink.kafka.KafkaSink
log4j_agent.sinks.kafka_sink.topic = test20
log4j_agent.sinks.kafka_sink.brokerList = 192.168.126.31:9092
log4j_agent.sinks.kafka_sink.requiredAcks = 1
log4j_agent.sinks.kafka_sink.batchSize = 20

log4j_agent.sources.avro_source.channels = memory_channel
log4j_agent.sinks.kafka_sink.channel = memory_channel

5. 启动测试

启动flume

flume-ng agent --name log4j_agent --conf ${FLUME_HOME}/conf --conf-file ${FLUME_HOME}/conf/log4j_flume.properties -Dflume.root.logger=INFO,console

运行产生日志的程序

先启动zookeeper

zkServer.sh start

启动kafka:

kafka-server-start.sh -daemon ${KAFKA_HOME}/config/server.properties

启动kafka消费者,看能否接收到数据

kafka-console-consumer.sh --zookeeper master:2181,slave1:2181,slave2:2181 --topic test20

6. 开发spark Streaming程序接收kafka 消息

object KafkaConsumerMsg {

    def main(args: Array[String]): Unit = {
        val conf = new SparkConf().setMaster("local[2]").setAppName("KafkaConsumerMsg")
        val ssc = new StreamingContext(conf, streaming.Seconds(5))
        val topicParams = Map("test20" -> 1)
        val dstream = KafkaUtils.createStream(ssc, "192.168.121.31:2181,192.168.121.32:2181,192.168.121.33:2181", "testgroup_id", topicParams)
        dstream.map(_._2).count().print()
        ssc.start()
        ssc.awaitTermination()
    }
}

7. 源码

https://github.com/zhmcode/SsfklProject

Python爬虫是一种用于抓取网页数据的程序,它可以通过发送HTTP请求并解析HTML内容来提取所需的数据。通过使用Python库如BeautifulSoup和Scrapy,我们可以编写爬虫来自动化数据收集和提取。 Flume是一个分布式的、可靠的、可扩展的日志收集、聚合和传输系统。它可以从多个源采集实时数据,并将其传输到其他处理系统中,如Hadoop和SparkKafka是一个高吞吐量的分布式数据流平台,它允许以实时方式收集、处理和存储数据流。它被广泛用于大数据和流处理应用中,包括实时推荐、日志处理和事件驱动的架构。 Spark Streaming是Apache Spark的一个子项目,它允许在实时流数据中进行高效的流处理Spark Streaming可以与Kafka数据源集成,以实时的方式处理来自不同源的数据,并进行转换、分析和存储。 MySQL是一种关系型数据库管理系统,它被广泛用于存储和管理结构化数据。在上述技术栈中,MySQL可以被用作存储爬虫抓取的数据Kafka传输的数据Spark Streaming处理数据。 ECharts是一种用于数据可视化的JavaScript图表库,它可以将数据转化为图表和图形,使数据更易于理解和分析。 综上所述,以上提到的技术可以结合使用来构建一个完整的实时数据处理和可视化系统。Python爬虫用于抓取实时数据Flume用于收集和传输数据Kafka用于数据处理Spark Streaming用于实时分析,MySQL用于数据存储,最后使用ECharts将数据可视化。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值