利用 OCI Service Connector Hub 实现应用日志采集

最新推荐文章于 2024-05-29 09:48:29 发布
最新推荐文章于 2024-05-29 09:48:29 发布
阅读量533 收藏
点赞数
分类专栏： oci cloud OCI Service Connector 文章标签： 云原生
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/ramobzheng/article/details/121141017
版权

摘要：

本文主要描述了如何利用OCI Service Connector Hub服务，实现应用部署在OCI上的应用系统的日志采集和数据处理、数据存储到对象存储或ADW中，从而实现应用日志采集和数据分析功能。

1 日志数据采集与分析

从数据采集角度来说，日志采集是重要的数据获取方式。所谓日志采集，就是收集应用系统或用户行为数据的操作。我们可以在前端进行埋点，在后端进行脚本收集、统计，来分析应用的运行情况，访问情况，以及使用瓶颈等。

日志就是日记的意思，它记录了用户访问应用系统的全过程：哪些人在什么时间，通过什么渠道（比如搜索引擎、网址输入）来过，都执行了哪些操作；系统是否产生了错误；甚至包括用户的 IP、HTTP 请求的时间，用户代理等。这些日志数据可以被写在一个日志文件中，也可以分成不同的日志文件，比如访问日志、错误日志等。

日志采集可以分两种形式。

  1. 通过 Web 服务器采集，例如 httpd、Nginx、Tomcat 都自带日志记录功能，这些服务一般都以日志文件的方式，将数据写入到具体访问日志、错误日志等文件中。采集软件通过对这些日志文件的访问读取，从而完成日志文件数据的采集工作。
  2. 自定义采集用户行为，即通常说的进行应用日志埋点。例如用 JavaScript 代码监听用户的行为、AJAX 异步请求后台记录日志等，将数据记录下来。有通过文件记录的，也有通过与后天的通讯，将数据发生到后台的日志服务进行存储记录的。

本文描述的是如何将应用程序写的日志文件数据，通过数据集成方式，将应用产生的各类应用日志文件统一采集到后台的数据存储和分析平台，完成对日志数据的分析。

2 OCI日志数据采集方案和实现

日志数据的采集方式多种多样，很多互联网企业都有利用不同的海量数据采集工具，多用于系统日志采集，如 Elastic的Logstash，Filebeat、Hadoop 的 Chukwa、Cloudera 的 Flume、Facebook 的 Scribe 等，这些工具均采用分布式架构，能够满足每秒数百 MB 的日志数据采集和传输需求。

在Oracle Cloud 云环境中，Oracle 提供了多种方式，一整套日志数据的采集方案和产品服务，方便云上用户能够利用这些服务，通过配置的方式就直接可以完成全流程的数据采集和数据存储分析的需求。

OCI 云上数据日志采集方案：
在这里插入图片描述

方案一： 通过配置使用Cloud Agent和Service Connector hub，将数据直接采集存储到对象存储中，对象存储进行海量数据存储，使用ADW进行数据分析。
方案二： 通过配置使用Cloud Agent和Service Connector hub，使用Service Connector hub调用Oracle Function Service，直接对数据进行解析处理后，将数据写入到ADW中，使用ADW进行数据分析。

2.1 OCI Cloud VM Agent介绍

Oracle Cloud Agent 是一个轻量级进程，用于管理在计算实例上运行的插件。插件收集性能指标、安装操作系统更新并执行其他实例管理任务。要在实例上使用插件，必须在实例上安装 Oracle Cloud Agent 软件，必须启用插件，并且插件必须正在运行。
在这里插入图片描述

2.2 OCI Service Connector Hub 服务介绍

OCI Service Connector Hub 服务连接器中心是一个云消息总线平台，它提供了一个单一透明访问服务，用于描述，执行和监视Oracle Cloud Infrastructure中服务之间的数据移动。

OCI Service Connector Hub服务连接器在Oracle Cloud Infrastructure中协调服务之间的数据移动。 使用服务连接器采集或移动数据。服务连接器指定源服务，该源服务包含要采集或移动的数据，要在该数据上运行的处理任务，以及在任务完成后用于存储数据的目标对象。

通过Service Connector可以完成下面的一些功能，本文描述的日志采集和分析方案，也是使用了其中的采集日志到对象存储的方案。
在这里插入图片描述

3 使用Service Connector Hub开启日志采集

在使用Service Connector Hub开启日志采集之前，应用软件已经部署在了不同的OCI VM上不同目录下，应用记录了web访问日志。本次需要采集Nginx的访问日志数据。

3.1 申请对象存储Bucket和开通ADW

提前准备好对象存储，本次对象存储名称为dataflow-logs.
提前申请开通ADW服务，并设置好ADW能够访问对象存储dataflow-logs。能够使用对象存储作为外部存储对象，完成数据加载和访问。这里不在对这个过程进行描述，详细信息请参考：

3.2 开启日志采集Agent

1、 在OCI中定义动态组
OCI 中，根据动态组进行日志对象访问和权限进行管理，便于业务进行管理不同的采集对象。可以将不同的VM实例或Compartment实例作为动态组的授权管理范围。
在这里插入图片描述

2、定义访问Policy
1）允许组访问serviceconnectors服务；
Allow group cp_bigdata_team to manage serviceconnectors in compartment bigdata_compartment
2）允许动态组访问log-content服务；
allow dynamic-group nginx_app to use log-content in compartment bigdata_compartment
3）允许日志次采集用户访问对象存储 dataflow-logs。
allow any-user to manage objects in compartment id ocid1.compartment.oc1…aaaaxxxxxxxxxpuq where all {request.principal.type=‘serviceconnector’, target.bucket.name=‘dataflow-logs’, request.principal.compartment.id='ocid1.compartment.oc1…aaaaxxxxxxxxxpuq’}

2、开启Oracle Cloud agent 日志监控
对指定的应用部署环境，需要进行日志采集环境的OCI VM开启Oracle Cloud agent 定制日志监控，如下图。
在这里插入图片描述

4、创建日志组
在OCI管理页面中，创建日志组，通过组定义逻辑上对日志进行分开管理，便于对不同的日志类型进行分组管理。此次，我们定义为nginx访问日志组。
在这里插入图片描述

5、创建日志
创建需要采集的日志，定义日志名称，通过日志关联到日志组。
在这里插入图片描述

6、创建日志 Agent 配置
根据日志，配置agent访问对象路径等信息。关联动态组，锁定访问对象，并配置访问路径。此次配置需要采集VM中的Nginx日志目录和文件。
1）创建对象名称
在这里插入图片描述

2）配置访问对象和路径
![在这里插入图片描述](https://img-blog.csdnimg.cn/1df2124121684341aa615940e6b972f8.png?x-oss-process=image/watermark,type_ZHJvaWRzYW5zZmFsbGJhY2s,shadow_50,text_Q1NETiBAcmFtb2J6aGVuZw==,size_20,color_FFFFFF,t_70,g_se,x_16)

3）配置文件读取解析方式。本次选择APACHE2进行日志数据读取并解析。

在这里插入图片描述

3.3 开通并配置Service Connector

完成之前的日志，日志组和Agent 配置后，选择Service Connector，创建一个Service Connector服务。
1）点击创建Service Connector
在这里插入图片描述

2）根据提示，选择对应的输入为logging服务，输出为对象存储，并指定相应的名称。
在这里插入图片描述

3）配置日志组和日志对象
在这里插入图片描述

4）定义日志采集周期和批次数据大小，日志采集会使用该周期持续不断地进行日志数据的采集。
在这里插入图片描述

3.4 启动日志采集并检查日志数据

启动Connector service服务，开始开启日志采集。
在这里插入图片描述

通过日志Search，选择需要检索的日志对象：cp_bigdata_compartent/ngnix_access_log_group/ngnix_access_log. 查询采集到的日志。
在这里插入图片描述

查看日志数据列表
在这里插入图片描述

在对象存储中查询采集到的日志文件。Service connector进行日志处理时，执行情况如下：

  1. 在对象存储中，会产生一个以connector的 OID为目录的文件夹，采集到的日志数据以文件的方式存储在这个文件夹下。
  2. 会根据采集数据情况，生产很多的数据文件，数据文件的产生可以根据大小和时间进行选择。数据大小以MB为单位，时间选择介于 60000 和 420000（毫秒）之间。
  3. 使用connector，将数据存储到对象存储的时候，数据文件名称的格式是： 20210924T065441Z_20210924T065441Z.0.log.gz
  4. 文件内容为json格式。
    在这里插入图片描述

使用apach2解析日志并存储成Json文件格式，单条数据示例如下：
在这里插入图片描述

4 使用ADW查询分析日志数据

使用ADW web SQL developer，进行数据库操作，配置ADW访问到对象存储。具体参考https://oracledbwr.com/loading-your-data-into-autonomous-data-warehouse/

  1. 创建ADW对对象存储访问的密钥
    在这里插入图片描述

  2. 创建外部Json格式表，数据对象存储在对象存储中。
    在这里插入图片描述

  3. 根据日志数据内容，使用SQL 分析日志数据。

SELECT JSON_VALUE(json_document,'$.id') as id,
JSON_VALUE(json_document,'$.time') as login_time,
JSON_VALUE(json_document,'$.data.host') as Client_ip,
JSON_VALUE(json_document,'$.data.path') as Access_path,
JSON_VALUE(json_document,'$.data.method') as Access_method,
JSON_VALUE(json_document,'$.data.code') as Response_code
JSON_VALUE(json_document,'$.data.agent') as Access_agent
FROM ACCESS_LOG_EXT_JSON 
where JSON_VALUE(json_document,'$.time') between '2021-09-26T22:55:35.000Z' and '2021-09-26T22:56:35.000Z' ;
  1. 首先获取访问频率最高的10个IP地址
SELECT COUNT(*),JSON_VALUE(json_document,'$.data.host') as 	client_ip,
FROM ACCESS_LOG_EXT_JSON GROUP BY client_ip ORDER BY COUNT(*) 
DESC LIMIT 10;

获得数据后画成表格如下：在这里插入图片描述

  1. 获取访问频率最高的前10个User-Agent
select COUNT(*),JSON_VALUE(json_document,'$.data.agent') as 
Access_agent FROM ACCESS_LOG_EXT_JSON GROUP BY access_agent 
ORDER BY COUNT(*) DESC LIMIT 10;
	
	1465|Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
	770|Mozilla/5.0 (Ubuntu; X11; Linux x86_64; rv:8.0) Gecko/20100101 Firefox/8.0
	503|Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/50.0.2661.102 Safari/537.36; 360Spider
	479|Mozilla/5.0 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html)
	302|Mozilla/5.0 (X11; Linux x86_64; rv:45.0) Gecko/20100101 Firefox/45.0
	290|Mozilla/5.0 (X11; Linux x86_64; rv:52.0) Gecko/20100101 Firefox/52.0
	286|Mozilla/5.0 (Linux; U; Android 5.0.2; zh-CN; Redmi Note 3 Build/LRX22G) AppleWebKit/537.36 (KHTML, like Gecko) Version/4.0 OPR/11.2.3.102637 Mobile Safari/537.36
	279|Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/52.0.2743.116 Safari/537.36
	257|Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots)
  1. HTTP请求的返回码也是一个值得关注的信息：
SELECT JSON_VALUE(json_document,'$.data.code') as response_code, 
COUNT(*) FROM ACCESS_LOG_EXT_JSON GROUP BY 
response_code ORDER BY COUNT(*) DESC;

	结果如下：
	200|6676
	301|3271
	400|2487
	502|1270
	404|1147
	304|435
	206|15
	499|10
	403|8
	504|6
ramobzheng
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
虚拟机中Oracle创建表,使用Oracle云环境中的虚拟机（VM）创建20c 数据库实例 —【Oracle Cloud Infrastructure】系列...
weixin_29423089的博客
04-03 411
本文分享了在Oracle Cloud Infrastructure(简称“OCI”)中，使用虚拟机(VM)创建 Oracle 20c 数据库实例的步骤。使用Oracle数据库创建VM第一步是在Oracle Cloud Infrastructure控制台主菜单的“ Oracle数据库”部分中选择选项“裸机，虚拟机和数据库云服务器”(也称为DB系统)：进入Oracle数据库的“数据库系统”页面后，我们...
oracle的oci和thin区别
醉翁的专栏
06-10 359
原来写数据库连接时都是手写的，格式都是jdbc:oracle:thin:@server ip: service, 今天用myeclipse时发现它提供了两个选项，一个是thin Driver,一个是oci Driver, 于是百度了一下这两者的区别。具体如下（以下内容转自：http://spiritfrog.iteye.com/blog/215825） 今天有意了解一下区别，先看看t
日志采集的几种方式
热门推荐
HelloWorld搬运工
05-06 1万+
个人博客请访问http://www.x0100.top 由于nginx功能强大，性能突出，越来越多的web应用采用nginx作为http和反向代理的web服务器。而nginx的访问日志不管是做用户行为分析还是安全分析都是非常重要的数据源之一。如何有效便捷的采集nginx的日志进行有效的分析成为大家关注的问题。本文通过几个实例来介绍如何通过filebeat、logstash、rsysl...
在OCI中为计算实例添加第二块网卡
In-Memory Computing Technology
11-13 670
一个虚机可以添加两块VNIC，而且这两个VNIC可以来自不同的VCN。 建立两个VCN，分别为10.0.0.0/16(VCN1)和192.168.0.0/16(VCN2) 建立虚机vm1，关联VCN1 此时vm1有一块VNIC, private IP为10.0.0.2 为vm1添加第二块VNIC，关联VCN2 此时可以看到第二块网卡，但没有IP $ ip link show 1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue state
应用日志采集是什么意思？批量采集应用日志软件用哪个？怎么操作？
行云管家
08-26 711
很多刚入行的IT运维小伙伴不是很清楚应用日志采集是什么意思？批量采集应用日志软件用哪个？怎么操作？这里我们小编就给大家简单回答一下这三个问题。
应用系统日志采集解决方案
weixin_30868855的博客
03-09 212
概述 基于Flume + MongoDB，对现有的多个应用系统进行日志采集。 特点 采集范围每一次用户请求的请求信息。 数据量大 尽量减少现有系统的改动 数据流图 说明： 首先考虑的结构体系，是直接在应用系统中，将日志数据写到Flume；但是现有的应用系统都是非Maven的，需要在每一个应用系统中添加20+个jar包。...
通过日志监控并收集 Java 应用程序性能数据
shashangdemeng的专栏
11-28 651
针对 JVM 的 CPU 使用及内存占用的性能分析，已经有各种剖析 (Profiling) 工具可供使用。但是如果想要得具体的调用栈，这些工具往往会给应用程序服务器增加大量额外压力。Perf4j 则是通过对自定义监控范围进行日志记录，再经统计分析生成所需性能数据，Perf4j 提供了对常用日志工具的扩展以方便与产品集成，它产生的数据可用于生成可视化的性能图表。在实际部署的生产环境能够以较低的风险及
elk搭建及应用服务日志采集
wenpan的博客
05-09 1150
一、日志采集流程简介 1、elasticsearch stack 介绍 elasticsearch stack 主要是是由 elasticsearch + beats + logstash + kibana 四个组件组成。 组件名称 作用 elasticsearch 负责核心存储和检索引擎（比如beats或logstash采集的日志就可以存储在es中）。 beats 有很多种类的beat，比如filebeat主要用于采集日志文件，metricbeat主要用于采集服务性能指标（比如操作系统
file_get_contents采集https报错_Kubernetes 日志采集：如何在 Kubernetes 中做日志收集与管理...
weixin_39631632的博客
11-28 128
作者：正范链接：https://kaiwu.lagou.com/course/courseInfo.htm?sid=&courseId=447&lagoufrom=noapp&wxinfo=2#/detail/pc?id=4517说到日志，你应该不陌生。日志中不仅记录了代码运行的实时轨迹，往往还包含着一些关键的数据、错误信息，等等。日志方便我们进行分析统计及监控告...
利用OCI封装类实现Oracle与国产数据库间的应用程序移植
10-16
利用国产数据库（达梦和神通）与Oracle数据库访问接口OCI的兼容性，设计了OCI访问接口封装类，以VC++为平台实现了应用程序由Oracle向国产数据库的移植。对移植后的查询性能进行了比较，结果表明，国产数据库的数据...
利用OCI封装类实现Oracle与国产数据库间的应用程序移植.pdf
10-09
利用OCI封装类实现Oracle与国产数据库间的应用程序移植.pdf
Rust 中 oci-runtime 的实验实现
06-28
游记Rust 中 oci-runtime 的实验实现概述youki 是 Rust 中runtime-spec 的一个实现，指的是runc 。该项目目前处于试验阶段。我认为 Rust 是实现 oci-runtime 的最佳语言之一，所以我很高兴尝试使用它。建造有两种...
youki:Rust中oci-runtime的实验实现
03-28
优贵Rust中oci-runtime的实验实现概述youki是Rust中的实现，指的是 。 此项目目前处于实验阶段。 我认为Rust是实现oci-runtime的最佳语言之一，因此我很乐意尝试使用它。试玩我们准备了作为开发环境。 以下说明假定...
C++实现的OCI操作Oracle数据库类
09-12
C++实现的OCI操作Oracle数据库类，基于ocilib-4.3.3-windows.zip实现，OCI的资源可以直接到官网下载。 C++实现的OCI操作Oracle数据库类，基于ocilib-4.3.3-windows.zip实现，OCI的资源可以直接到官网下载。
日志如何采集？
ducc20180301的博客
05-24 3818
引言 日志是人类关于日常生活的一个记录，也是机器运作时对于事件发生的报告。关于网络设备、系统及服务程序等，在运作时都会产生一个叫log的事件记录；每一行日志都记载着日期、时间、使用者及动作等相关操作的描述。当遇到安全攻击事件时，日志能协助进行安全事件还原，能尽快找到事件发生的时间、原因等，通过大量不同安全设备的联动，日志可以关联分析监测真正有威胁的攻击行为，还原出真实的攻击情况。日志可以反应出很多的安全攻击行为，比如登录错误，异常访问等。日志还能告诉你很多关于网络中所发生事件的信息，包括性能信息、故障检测和
【云原生】kubernetes中Configmap原理解析与应用实战
景天科技苑
05-29 2536
Configmap是k8s中的资源对象，用于保存非机密性的配置的，数据可以用key/value键值对的形式保存，也可通过文件的形式保存。
【云原生 | 59】Docker中通过docker-compose部署ELK
小鹏linux的博客
05-29 1235
各个组件的作用如下： Filebeat：采集文件等日志数据； LogStash：过滤日志数据； Elastic Search：存储、索引日志； Kibana：用户界面；
【云原生】kubernetes中的认证、权限设置--RBAC授权原理分析与应用实战
景天科技苑
05-27 3827
k8s对我们整个系统的认证，授权，访问控制做了精密的设置；对于k8s集群来说， apiserver是整个集群访问控制的唯一入口，我们在k8s集群之上部署应用程序的时候， 也可以通过宿主机的NodePort暴露的端口访问里面的程序， 用户访问kubernetes集群需要经历如下认证过程：认证->授权->准入控制（adminationcontroller）
【云原生 | 60】Docker中通过docker-compose部署kafka集群
最新发布
小鹏linux的博客
05-29 460
​进入eagle即可查看kafka状态http://127.0.0.1:8048/ 用户名密码是admin/123456
spring boot oci
09-13
使用Spring Boot OCI可以充分利用OCI的弹性和可扩展性，以及Spring Boot框架的开发便利性，实现高效的应用程序开发和部署。 : Oracle Cloud Infrastructure上的Spring Boot存储库 : 外部数据源配置示例 : pom.xml中...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值