搭建Lambda架构日志分析流水线

最新推荐文章于 2023-07-28 17:34:39 发布
最新推荐文章于 2023-07-28 17:34:39 发布
阅读量2.7k 收藏 3
点赞数 1
分类专栏： 笔记 文章标签： spark flume kafka
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_57821489/article/details/123996979
版权

搭建日志分析流水线

1 准备工作
（1）启动HDFS
a)启动所有的Zookeeper，在3个节点分别使用以下命令：

zkServer.sh start

b)启动HDFS，在master节点使用以下命令：

start-dfs.sh

c)启动Yarn，在master节点使用以下命令：

start-yarn.sh

d)检查进程是否全部启动，在3个节点分别使用以下命令：

jps

（2）启动和配置Kafka
a)启动kafka，在3个节点分别使用以下命令：

kafka-server-start.sh -daemon /usr/local/kafka/config/server.properties &

b)检查kafka是否启动成功，在3个节点分别使用以下命令：

jps

在这里插入图片描述c)创建lambda主题，在master执行以下命令：

kafka-topics.sh --create --zookeeper master:2181,slave1:2181,slave2:2181 --replication-factor 3 --partitions 3 --topic lambda

在这里插入图片描述d)查看主题是否创建成功，使用以下命令：

kafka-topics.sh --list --zookeeper master:2181,slave1:2181,slave2:2181

e)启动控制台消费者，查看lambda主题接收到的数据，在master使用以下命令：

kafka-console-consumer.sh --bootstrap-server master:9092,slave1:9092,slave2:9092 --topic lambda

在这里插入图片描述（3）生成网站访问日志：
a)启动Nginx，在master使用以下命令：

sudo systemctl start nginx

b)访问网页，使用以下网址：

http://master/shop.html

在这里插入图片描述
c)检查是否生成日志，在master使用以下命令：

sudo tail -F /var/log/nginx/access.log

在这里插入图片描述
（4）创建lambda目录存储项目文件，在master使用以下命令：

mkdir /home/hadoop/lambda

在这里插入图片描述（5）配置Spark依赖的第三方jar文件
a)上传mysql-connector-java-5.1.47.jar、spark-streaming-kafka-0-8_2.11-2.4.6.jar和spark-streaming-kafka-0-8-assembly_2.11-2.4.6.jar文件到/usr/local/spark/jars
如图：
在这里插入图片描述
（6）在MySQL创建lambda用户和lambda数据库，步骤如下：
a)查看MySQL管理员账号和密码，使用以下命令：

sudo cat /etc/mysql/debian.cnf

在这里插入图片描述
b)使用管理员账号和密码登录MySQL
在这里插入图片描述c)创建lambda用户，使用以下命令：

CREATE USER 'lambda'@'%' IDENTIFIED BY '123456';

在这里插入图片描述d)给lambda用户授权，使用以下命令：

GRANT ALL PRIVILEGES ON lambda.* TO 'lambda'@'%';
FLUSH PRIVILEGES;

在这里插入图片描述e)创建lambda数据库，使用以下命令：

CREATE DATABASE lambda;

在这里插入图片描述
f)退出MySQL，使用以下命令：

exit

在这里插入图片描述

2 使用Flume采集数据

本案例的Flume需要配置两个输出端：一个是输出到HDFS，用于离线分析；另一个是输出到Kafka，用于实时分析。
（1）创建nginx-memory-kafka-hdfs.properties文件，在master使用以下命令：

touch /home/hadoop/lambda/nginx-memory-kafka-hdfs.properties

在这里插入图片描述
（2）编辑该文件，填写以下内容：

# agent 起个名字叫做 a1
# 设置 a1 的 sources 叫做 r1
a1.sources = r1

# 设置 a1 的 sinks 叫做 k1
a1.sinks = k1 k2

# 设置 a1 的 channels 叫做 c1
a1.channels  = c1 c2

# 设置 r1 的类型是 exec，用于采集命令产生的数据
a1.sources.r1.type = exec

# 设置 r1 采集 tail -F 命令产生的数据
a1.sources.r1.command = sudo tail -F /var/log/nginx/access.log

# 设置 c1 的类型是 memory
a1.channels.c1.type = memory

# 设置 c1 的缓冲区容量
a1.channels.c1.capacity = 1000
a1.channels.c1.transactionCapacity = 500

# 设置 c2 的类型是 memory
a1.channels.c2.type = memory

# 设置 c2 的缓冲区容量
a1.channels.c2.capacity = 1000
a1.channels.c2.transactionCapacity = 500


# 设置 k1 的类型是 hdfs
a1.sinks.k1.type = hdfs

# 设置 k1 输出路径，按照时间在 hdfs 上创建相应的目录
a1.sinks.k1.hdfs.path = /lambda/log/%Y-%m-%d/%H
a1.sinks.k1.hdfs.filePrefix = events-

# 设置 k1 输出的数据保存为文本
a1.sinks.k1.hdfs.fileType = DataStream
a1.sinks.k1.hdfs.writeFormat = Text

# 把时间戳放入数据的头中
a1.sinks.k1.hdfs.useLocalTimeStamp = true

a1.sinks.k1.hdfs.rollInterval = 1800
a1.sinks.k1.hdfs.rollSize = 102400
a1.sinks.k1.hdfs.rollCount = 0

# 设置 k2 的类型是 kafka
a1.sinks.k2.type = org.apache.flume.sink.kafka.KafkaSink

# 设置 kafka 的地址
a1.sinks.k2.kafka.bootstrap.servers = master:9092,slave1:9092,slave2:9092

# 设置 kafka 的主题
a1.sinks.k2.kafka.topic = lambda

# 设置 r1 连接 c1
a1.sources.r1.channels = c1 c2

# 设置 k1 连接 c1
a1.sinks.k1.channel = c1


# 设置 k2 连接 c2
a1.sinks.k2.channel = c2

在这里插入图片描述
（3）启动Flume，在master使用以下命令：

flume-ng agent -n a1 -c conf -f /home/hadoop/lambda/nginx-memory-kafka-hdfs.properties

（4）检查hdfs和kafak是否都接收到了数据

在这里插入图片描述在这里插入图片描述
在这里插入图片描述

在这里插入图片描述

3 使用Spark SQL进行离线分析

离线分析的需求很简单，统计出每小时内商品浏览次数的排名，并保存到数据库中。
具体实现步骤如下所示：
（1）在MySQL创建shop_count_rank_hour表，步骤如下：
a)使用lambda登录MySQL
在这里插入图片描述b)使用lambda数据库，使用以下命令：

USE lambda;

c)创建shop_count_rank_day_hour表，使用以下命令：

CREATE TABLE shop_count_rank_day_hour (
shop varchar(10) NOT NULL,
count int,
rank int,
day char(10) NOT NULL,
hour char(2) NOT NULL,
PRIMARY KEY(day, hour, shop)
);

d)退出MySQL

exit

在这里插入图片描述（2）在/home/hadoop/lambda目录创建LambdaBatch.py文件，使用命令：

 cd /home/hadoop/lambda
touch LambdaBatch.py
vim LambdaBatch.py

（3）填入以下代码：

import sys
# 导入 SparkSession
from pyspark.sql import SparkSession
# 导入 schema 
from pyspark.sql.types import StructType, StructField, LongType, StringType

# 读取 day 和 hour 参数
day = sys.argv[1]
hour = sys.argv[2]

# 创建 SparkSession
spark = SparkSession.builder.appName("Lambda SQL").getOrCreate()

# 配置 Hadoop 的 HA 信息，用于从 Hadoop 读取数据
spark.sparkContext._jsc.hadoopConfiguration().set("dfs.nameservices", "ns")
spark.sparkContext._jsc.hadoopConfiguration().set('dfs.ha.namenodes.ns', 'nn1,nn2')
spark.sparkContext._jsc.hadoopConfiguration().set('dfs.namenode.rpc-address.ns.nn2', 'hdfs://master:9000')
spark.sparkContext._jsc.hadoopConfiguration().set('dfs.namenode.rpc-address.ns.nn1', 'hdfs://master:9000')
spark.sparkContext._jsc.hadoopConfiguration().set("dfs.client.failover.proxy.provider.ns", "org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider")

# 读取日志数据
rdd = spark.sparkContext.textFile("hdfs://ns/lambda/log/" + day + "/" + hour)

# ETL 清洗，获得日志中的 path
path = rdd.map(lambda x : [x.split(" ")[6], day, hour])

# 转换为 DataFrame
schema = StructType([StructField("path", StringType(), True), StructField("day", StringType(), True), StructField("hour", StringType(), True)])
df = spark.createDataFrame(path, schema)

# 注册为临时表
df.registerTempTable("log")

# 注册获取商品名称的 udf, 名字是 getShop, 返回值是 LongType 类型
spark.udf.register('getShop', lambda x : x.split("&")[0].split("=")[1], StringType())

# 使用 udf 获取商品名称
dws = spark.sql("""
    SELECT getShop(path) shop
        , day
        , hour 
    FROM log
""")

# 注册为临时表
dws.registerTempTable("dws")

# 获取
ads = spark.sql("""
    SELECT shop
   	    , COUNT(*) count
   	    , day
  	    , hour
  	    , DENSE_RANK() OVER(ORDER BY COUNT(*) DESC) rank
    FROM dws
    GROUP BY shop, day, hour
""")

# 保存分析结果到数据库
ads.write.mode("append").format("jdbc").options(
    url='jdbc:mysql://master:3306',
    user='lambda',
    password='123456',
    dbtable="lambda.shop_count_rank_day_hour",
    batchsize="1000",
).save()

在这里插入图片描述
（4）创建lambdaBatch.sh脚本，使用以下命令：

touch lambdaBatch.sh

chmod +x lambdaBatch.sh

在这里插入图片描述（5）在lambdaBatch.sh脚本填入以下内容：

#!/bin/bash
  
day=${1:-$(date -d "-1 hour" +%Y-%m-%d)}
hour=${2:-$(date -d "-1 hour" +%H)}

/usr/local/spark/bin/spark-submit --master yarn --deploy-mode cluster /home/hadoop/lambda/LambdaBatch.py $1 $2

在这里插入图片描述（6）把lambdaBatch.sh脚本加入定时任务，使用以下命令：
crontab -e

*/1 * * * * /home/hadoop/lambda/lambdaBatch.sh

在这里插入图片描述

项目结束：结束后最好进入lambdaBatch.sh脚本把定时任务关掉，把添加的下面这行代码删除即可

*/1 * * * * /home/hadoop/lambda/lambdaBatch.sh
@Heartworm
关注
  • 1
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 1
    评论
专栏目录
大数据系统的Lambda架构
02-24
NathanMarz的大作BigData:Principlesandbestpracticesofscalablereal-timedatasystems介绍了LabmdaArchitecture的概念，用于在大数据架构中，如何让real-time与batchjob更好地结合起来，以达成对大数据的实时处理。...
spark大数据分析实战案列1学习 （lamda架构日志分析流水线）
weixin_38624543的博客
02-26 1528
日志实例格式当数据量较小(10MB,100MB,10GB)可以通过Shell Python单机解决Linux Shell命令 :  cat access.log.10 |awk '{a[$1]++} END {for(b in a) print b"\t"a[b]}'| sort -k2 -r |head -n 10   日志分析指标：    1：PV    2...
一篇搞懂大数据Lambda架构及实践
EdwardWang_的博客
05-11 2189
lambda为了解决什么？lambda是什么？lambda的优缺点又是什么？快来这里了解一下
Lamda架构-分析日志流水线
youchuikai的博客
03-28 1227
Lamda架构 前言：日志分析中既有离线大规模需求，也有实时性需求，因此需要采用Lamda架构(目的是为大数据分析应用程序提供一个低响应延迟的组合数据环境)构建日志分析流水线。
Lamda架构日志分析流水线（一）
LMR的博客
06-05 8172
本文中我们首先介绍Lamda架构，然后基于Lamda架构设计我们的饿日志数据分析流水线架构。 1.Lamda架构 日志分析中既有离线大规模分析的需求，又有实时性的需求，这就可以通过采用Lamda架构构建日志分析流水线。 1.1Lamda架构简介 Lambda架构的目的是为大数据分析应用程序提供一个低响应延迟的组合数据传输环境。 Lambda 系统架...
大数据Lambda架构详解
null的专栏
03-11 1万+
Lambda架构是Nathan Marz提出的一个实时大数据处理框架。Nathan Marz是著名的实时大数据处理框架Storm的作者，Lambda架构就是其根据多年分布式大数据系统的经验总结提炼而成。 Nathan Marz 在Big Data:Principles and best practices of scalable real-time data systems一书中提到了很多实时大数据系统的关键特性，包括容错性，健壮性，低延迟，可扩展，通用性，方便查询等，Lambda就是其根据这些特性设计的一
用于实时大数据处理的Lambda架构
02-24
Lambda架构是由Storm的作者NathanMarz提出的一个实时大数据处理框架。Marz在Twitter工作期间开发了著名的实时大数据处理框架Storm，Lambda架构是其根据多年进行分布式大数据系统的经验总结提炼而成。Lambda架构的...
ApacheSpark的Lambda架构示例应用
02-24
目前已经有很多客户实施了基于Hadoop的M/R管道，并成功运行到现在：Oozie的工作流每日运行处理150TB以上的数据并生成分析报告　Bash的工作流每日运行处理8TB以上的数据并生成分析报告2016年商业现实发生了变化，越快...
Lambda架构:Python+Flume+Kafka+Hbase+SparkStreaming架构搭建
lbship的博客
01-06 894
一、模拟网站实时产生数据 1.利用python模拟产生日志 这里的日志选用慕课网日志，原始的日志文件是这样的： 需要进行处理，这里选用python脚本处理和模拟生成日志，代码如下： import time def timeformate(s): s=s.split('/') years=s[2].split(':')[0] days=s[0] mon...
大数据Lambda架构
用心做事
05-10 1万+
1 Lambda架构介绍 Lambda架构划分为三层，分别是批处理层，服务层，和加速层。最终实现的效果，可以使用下面的表达式来说明。 query = function(alldata) 1.1 批处理层 批处理层主用由Hadoop来实现，负责数据的存储和产生任意的视图数据。计算视图数据是一个联系操作，因此，当新数据到达时，使用MapReduce迭代地将数据聚集到视图中。 从整个数据集中计算
MyBatisPlus从入门到精通-2
y_k_j_c的博客
07-28 244
接着上一讲的Mp的分页功能下面我们讲解条件查询功能和其他功能。
Lambda Architecture-大数据处理系统经典架构解析
ybdesire的专栏
04-12 5099
LA是通用的大数据处理系统架构
使用Lambda优化日志案例
Leon_Jinhai_Sun的博客
03-08 454
体验Lambda的更优写法 使用Lambda必然需要一个函数式接口： package com.learn.demo02.Lambda; @FunctionalInterface public interface MessageBuilder { //定义一个拼接消息的抽象方法,返回被拼接的消息 public abstract String builderMessage();...
错误记录：lambda 中使用中遇到的坑爹错误
kllo__的博客
05-06 567
FtpManager * p = new FtpManager(this); p->SetHost("127.0.0.1", 21); p->SetUserName("anonymous"); p->SetPwd(""); p->SetPort(21); ui->tableWidget->setRowCount(1); ui->tableWidget->setColumnCount(3); Q...
Lamda架构日志分析流水线（二）
LMR的博客
06-15 5192
构建日志分析数据流水线 1.使用Flume进行日志采集 Flume 是 Cloudera 开发的日志收集系统， 具有分布式、高可用等特点， 为大数据日志采集、汇总聚合和转储传输提供了支持。 为了保证 Flume 的扩展性和灵活性， 在日志系统中定制各类数据发送方及数据接收方。 同时 Flume 提供对数据进行简单处理， 并写各种数据到接受方的能力。Flume 的核心是把数据从...
lambda内容讲解--通俗易懂
wangfenglei123456的博客
12-01 724
lambda表达式的由来，如何变化的。让大家更容易理解
【架构】Lambda架构
Sunny的专栏
09-28 1014
一、出现的背景 1.1 从传统数据库到NoSQL，再到Hadoop 很多人学习大数据都听说过以下发展进程，MySQL/Oracle/SQLServer → Hadoop/Hive/Spark。但还有一个时期，是大家容易忽略的——NoSQL。我们不能忽略掉它。 其实，NoSQL的发展和推广要比Hadoop更早，在没有Hadoop的大数据过渡期，随着数据量急剧膨胀，大家纷纷从传统的关系型数据库转变到NoSQL数据库，各种各样的NoSQL数据库应用而生。有了NoSQL数据库，可以轻易将机器的数量扩展到.
大数据架构之-- Lambda架构
热门推荐
一锅粥
12-14 2万+
一、什么是Lambda架构 Lambda架构由Storm 的作者 [Nathan Marz] 提出， 根据维基百科的定义，Lambda 架构的设计是为了在处理大规模数据时，同时发挥流处理和批处理的优势。通过批处理提供全面、准确的数据，通过流处理提供低延迟的数据，从而达到平衡延迟、吞吐量和容错性的目的。为了满足下游的即席查询，批处理和流处理的结果会进行合并。 二、Lambda架构组成 Lambda 架构包含三层，Batch Layer、Speed Layer 和 Serving Layer。架.
javalambda表达式流水线应用
最新发布
10-11
Java Lambda表达式可以用于流水线应用，即将多个操作连接在一起形成一个流水线，每个操作都是流水线中的一个阶段。下面是一个简单的例子： ``` List<Integer> numbers = Arrays.asList(1, 2, 3, 4, 5); int sum = ...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

@Heartworm

你的鼓励就是我的动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值