Mongodb文档数据库和ELK日志分析系统

已于 2023-08-06 22:31:12 修改
阅读量308 收藏
点赞数 1
文章标签： mongodb elk 数据库
于 2023-07-31 01:18:03 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/luohw222/article/details/132014303
版权

文章目录

一 部署3节点mongodb复制集。

1.介绍

在MongoDB中，集合（Collection）的概念是用来存储文档的。集合类似于关系数据库中的表，但是在MongoDB中并没有严格的模式定义，允许存储灵活的数据结构。所以，可以说在MongoDB中叫集合（Collection）。每个集合包含一个或多个文档，文档是键值对的形式存储的

mongodb与mysql对应关系

mongo mysql
库 ----->库
集合----->表
文档----->数据行

2.安装

2.1 yum安装

MongoDB启动失败


问题1：Mongo启动失败
systemctl start mongod
Job for mongod.service failed because the control process exited with error code.
See "systemctl status mongod.service" and "journalctl -xe" for details
使用  tail  -f mongod.log  查看日志
{"t":{"$date":"2023-07-31T020:33:36.110+08:00"},"s":"E",  "c":"WT",       "id":22435,   "ctx":"initandlisten","msg":"WiredTiger error message","attr":{"error":13,"message":"[1690738416:110859][21844:0x7fe9b55c7000], wiredtiger_open: [WT_VERB_DEFAULT][ERROR]: __posix_open_file, 805: /var/lib/mongo/WiredTiger.turtle: handle-open: open: Permission denied"}}
{"t":{"$date":"2023-07-31T20:33:36.111+08:00"},"s":"W",  "c":"STORAGE",  "id":22347,   "ctx":"initandlisten","msg":"Failed to start up WiredTiger under any compatibility version. This may be due to an unsupported upgrade or downgrade."}
{"t":{"$date":"2023-07-31T20:33:36.111+08:00"},"s":"F",  "c":"STORAGE",  "id":28595,   "ctx":"initandlisten","msg":"Terminating.","attr":{"reason":"13: Permission denied"}}
chown -R  mongod:mongod  /var/lib/mongo/  由于用root用户使用  mongod -f /etc/mongod.conf 二进制启动，导致目录里生成了root权限的文件，重新授权mongod即可

2.2 二进制安装

wget https://fastdl.mongodb.org/linux/mongodb-linux-x86_64-rhel80-5.0.19.tgz
tar -xf mongodb-linux-x86_64-rhel80-5.0.19.tgz
mongo命令添加到环境变量：export PATH=/usr/local/mongodb/bin:$PATH

echo never > /sys/kernel/mm/transparent hugepage/enabled

这个命令是用于禁用透明大页（Transparent Huge Pages）功能。透明大页是一种用于内存管理的技术，可以提高大型数据集和内存密集型应用程序的性能。

使用这个命令将"never"写入"/sys/kernel/mm/transparent_hugepage/enabled"文件中，意味着禁用透明大页功能。这样做可能会对性能产生一些影响，特别是对于使用大量内存的应用程序来说，因为透明大页可以提供更高效的内存管理。

但是，禁用透明大页可能并不适用于所有环境和应用程序。在实际使用前，建议对特定的应用程序进行测试，以确定是否要禁用透明大页功能。

请注意，在执行此类系统命令之前，请确保你了解其含义和可能的影响，并在必要时以管理员权限运行该命令

[root@openvpn-server ~]# mongosh #mongo的高级版

3. mongodb 管理

3.1常见命令

> db   #查看当前数据库
test
> show tables;  #查看表（集合）    也可以用 show collections
users

db.test.insert({name:"haha",age:22}) #当插入一个文档的时候，一个集合（表）就会自动创建。

> db.users.find()  #查看表中的内容   
{ "_id" : ObjectId("64be92fcae52cd979e1087fb"), "id" : 0, "name" : "wang0", "age" : 20 }

myrepl:PRIMARY> db.test.drop()  #删除test表（集合）
true

python访问
pip3 install pymongo

删除当前数据库

> db.dropDatabase()
{ "ok" : 1 }

db.t1.stats() 查看表t1状态信息

删除uid=9998的集合记录
test> db.student.remove({uid: 9998})
{ acknowledged: true, deletedCount: 1 }

#修改文档,如果没有加multi: true.默认只修改第一个符合条件的文档

test> db.student.update({uid:1},{$set:{age: 20}},{multi: true})
DeprecationWarning: Collection.update() is deprecated. Use updateOne, updateMany, or bulkWrite.
{
  acknowledged: true,
  insertedId: null,
  matchedCount: 2,
  modifiedCount: 2,
  upsertedCount: 0
}
test>

3.2 用户权限管理

验证库

在 MongoDB 中，身份验证库是用来存储用户凭据和权限信息的特殊数据库。当用户尝试进行身份验证时，MongoDB 将在身份验证库中查找用户的凭据，并验证其身份是否有效。

use admin  #使用那个验证库
db.createUser ( {user: "luo",pwd: "123456" ,roles:  [{ role:"root",db: "admin"}] })

#创建名为luo的用户，拥有root权限，对admin库

开启用户认证。在mongo配置文件添加配置

vi  mongo.conf
security:
 authorization: enabled

连接

mongo --host   192.168.1.188 -u luo -p 123456 --authenticationDatabase admin

–authenticationDatabase 指定验证库

4. 复制集

复制集环境规划

使用三个节点部署复制集，ip分别是192.168.1.124，192.168.1.128，192.168.1.129

准备配置文件

修改配置文件，并拷贝到其他节点

cat  /mongodb/conf/mongo.conf 
systemLog:
  destination: file
  path: "/mongodb/log/mongodb.log"
  logAppend: true

storage:
  dbPath: "/mongodb/data/"
  journal:
    enabled: true
 
processManagement:
  fork: true

net:
  port: 27017
  bindIp: 0.0.0.0
replication:
  replSetName: myrepl  #指定复制集名称,所有复制集成员此名称要一致

配置复制集

mongo #登录mongo

#指定复制集的所有成员信息
config = { _id: 'myrepl', members: [
 {_id: 0, host: '192.168.1.124:27017'},
 {_id: 1, host: '192.168.1.128:27017'} ,
 {_id: 2, host: '192.168.1.129:27017'}]
 }

#初始化并启动复制集
> rs.initiate(config)
{ "ok" : 1 }
myrepl:SECONDARY>

批量添加1万条记录，在主节点执行

for(i=0;i<10000;i++){db.student.insert({uid:i, name: "wang"+i , "age":18,"date": new Date()})}

注：在mongodb复制集当中，默认从库不允许读。在从库打开读配置

myrepl:SECONDARY> rs.secondaryOk()              #secondary代表从库
myrepl:PRIMARY> db.student.count()     #统计student中集合的数量
10000

停止主，一个从节点变为从，查看日志，

root@redis07:~# tail  -f /mongodb/log/mongodb.log

添加节点
myrepl:PRIMARY> rs.add(“192.168.1.250:27017”)
{
“ok” : 1, #1表示成功

myrepl:PRIMARY> rs.isMaster()   #查看节点状态
{
	"topologyVersion" : {
		"processId" : ObjectId("64c102590ce0e1864b77734c"),
		"counter" : NumberLong(13)
	},
	"hosts" : [
		"192.168.1.124:27017",
		"192.168.1.128:27017",
		"192.168.1.129:27017",
		"192.168.1.250:27017"
	],
	"setName" : "myrepl",
	"setVersion" : 3,
	"ismaster" : true,
	"secondary" : false,
	"primary" : "192.168.1.124:27017",
	"me" : "192.168.1.124:27017",
	"electionId" : ObjectId("7fffffff0000000000000003"),
	"lastWrite" : {
		"opTime" : {
			"ts" : Timestamp(1690379364, 1),
			"t" : NumberLong(3)
		},
		"lastWriteDate" : ISODate("2023-07-26T13:49:24Z"),
		"majorityOpTime" : {
			"ts" : Timestamp(1690379364, 1),
			"t" : NumberLong(3)
		},
		"majorityWriteDate" : ISODate("2023-07-26T13:49:24Z")
	},
	"maxBsonObjectSize" : 16777216,
	"maxMessageSizeBytes" : 48000000,
	"maxWriteBatchSize" : 100000,
	"localTime" : ISODate("2023-07-26T13:49:32.732Z"),
	"logicalSessionTimeoutMinutes" : 30,
	"connectionId" : 46,
	"minWireVersion" : 0,
	"maxWireVersion" : 13,
	"readOnly" : false,
	"ok" : 1,
	"$clusterTime" : {
		"clusterTime" : Timestamp(1690379364, 1),
		"signature" : {
			"hash" : BinData(0,"AAAAAAAAAAAAAAAAAAAAAAAAAAA="),
			"keyId" : NumberLong(0)
		}
	},
	"operationTime" : Timestamp(1690379364, 1)
}

删除节点
rs.remove("192.168.1.250:27017")

添加为仲裁节点，添加一直卡住，初始化时添加
rs.addArb("192.168.1.250:27017")

“arbiterOnly”: true 指定为仲裁节点

config = { _id: 'myrepl', members: [
 {_id: 0, host: '192.168.1.124:27017'},
 {_id: 1, host: '192.168.1.128:27017'} ,
 {_id: 2, host: '192.168.1.129:27017', "arbiterOnly": true}]
 }

二、使用filebeat收集tomcat日志到ES并利用kibana展示。

环境：dpkg 安装好es集群、kibana和filebeat
efk版本：8.9.0
系统： ubuntu20.04

IP软件
192.168.1.136elasticsearch
192.168.1.137elasticsearch
192.168.1.138elasticsearch
192.168.1.140kibana
192.168.1.141filebeat+tomcat

在这里插入图片描述

安装配置tomcat

#apt -y install tomcat9 tomcat9-admin

修改 Tomcat 的访问日志为Json格式，在tomcat配置文件中修改

vim /etc/tomcat9/server.xml

prefix="tomcat_access_log" suffix=".txt"
pattern="{&quot;clientip&quot;:&quot;%h&quot;,&quot;ClientUser&quot;:&quot;%l&quot;,&quot;authenticated&quot;:&quot;%u&quot;,&quot;AccessTime&quot;:&quot;%t&quot;,&quot;method&quot;:&quot;%r&quot;,&quot;status&quot;:&quot;%s&quot;,&quot;SendBytes&quot;:&quot;%b&quot;,&quot;Query?string&quot;:&quot;%q&quot;,&quot;partner&quot;:&quot;%{Referer}i&quot;,&quot;AgentVersion&quot;:&quot;%{User-Agent}i&quot;}"/>

配置filebeat

 cat filebeat.yml 
filebeat.inputs:
- type: log
  enabled: true
  paths:
    - /var/log/tomcat9/tomcat_access_log.*.txt
  json.keys_under_root: true #默认False会将json数据存储至message，改为true则会独立message外存储
  json.overwrite_keys: false  #设为true,覆盖默认的message字段，使用自定义json格式中的key
  tags: ["tomcat-access"]

- type: log
  enabled: true
  paths:
    - /var/log/tomcat9/catalina.*
  tags: ["tomcat-error"]
  multiline.type: pattern           #此为默认值,可省略
  multiline.pattern: '^[0-3][0-9]-'  #正则表达式匹配以两位,或为'^\d{2}'
  multiline.negate: true
  multiline.match: after
  multiline.maxlines: 10000  #默认只合并500行,指定最大合并1万行
  
output.elasticsearch:
  hosts: ["192.168.1.137:9200"]        #指定ELK集群服务器地址和端口
  indices:
    - index: "tomcat-access-%{[agent.version]}-%{+yyy.MM.dd}" 
      when.contains:
        tags: "tomcat-access"
    - index: "tomcat-error-%{[agent.version]}-%{+yyy.MM.dd}"
      when.contains:
        tags: "tomcat-error"
  
setup.ilm.enabled: false 
setup.template.name: "tomcat" 
setup.template.pattern: "tomcat-*"

kibana添加索引

通过插件查看新增索引
在这里插入图片描述http://192.168.1.140:5601/

访问kibana为tomcat-access 和tomcat-error创建数据视图
http://192.168.1.140:5601/
在这里插入图片描述

在Discover页面查看日志
在这里插入图片描述

收集 Tomat 的多行错误日志

添加

  multiline.type: pattern           #此为默认值,可省略
  multiline.pattern: '^[0-3][0-9]-'  #正则表达式匹配以两位,或为'^\d{2}'
  multiline.negate: true
  multiline.match: after
  multiline.maxlines: 10000  #默认只合并500行,指定最大合并1万行

 cat filebeat.yml 
filebeat.inputs:
- type: log
  enabled: true
  paths:
    - /var/log/tomcat9/tomcat_access_log.*.txt
  json.keys_under_root: true #默认False会将json数据存储至message，改为true则会独立message外存储
  json.overwrite_keys: false  #设为true,覆盖默认的message字段，使用自定义json格式中的key
  tags: ["tomcat-access"]

- type: log
  enabled: true
  paths:
    - /var/log/tomcat9/catalina.*
  tags: ["tomcat-error"]
  multiline.type: pattern           #此为默认值,可省略
  multiline.pattern: '^[0-3][0-9]-'  #正则表达式匹配以两位,或者为'^\d{2}'
  multiline.negate: true
  multiline.match: after
  multiline.maxlines: 10000  #默认只合并500行,指定最大合并1万行
  
output.elasticsearch:
  hosts: ["192.168.1.137:9200"]        #指定ELK集群服务器地址和端口
  indices:
    - index: "tomcat-access-%{[agent.version]}-%{+yyy.MM.dd}" 
      when.contains:
        tags: "tomcat-access"
    - index: "tomcat-error-%{[agent.version]}-%{+yyy.MM.dd}"
      when.contains:
        tags: "tomcat-error"
  
setup.ilm.enabled: false 
setup.template.name: "tomcat" 
setup.template.pattern: "tomcat-*"

需要点击按钮才能完整显示
在这里插入图片描述

powerful222
关注
  • 1
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
【Monogdb】MongoDB的日志系统
夜深人静后的码农
12-01 2万+
记得前几天有个小伙伴要查看mongodb的日志，从而排查问题，可能总找不到日志放在何处，今天就系统说一下mongodb的日志系统。mongodb中主要有四种日志。分别是系统日志、Journal日志、oplog主从日志、慢查询日志等。这些 日志记录着Mongodb数据库不同方便的踪迹。下面分别介绍这四种日志： 1.系统日志 系统日志在Mongdb数据中很中重要，它记录mongodb启动和停止的操
基于MongoDB的日志系统Mongodb-Log.zip
07-19
mongodb-log 是一个基于MongoDB的Python日志系统。 MongoDB 的 Capped Collection是一个天生的日志系统，MongoDB自己的oplog就是用它来存储的，Capped Collection的特点是可以指定Collection的大小，当记录总大小超过设定大小后，老的数据会被自动抹掉用于存储新的内容。 示例代码： import logging from mongolog.handlers import MongoHandler log = logging.getLogger('demo') log.setLevel(logging.DEBUG) log.addHandler(MongoHandler.to(db='mongolog', collection='log')) log.debug('Some message') 标签：Mongodb
ELK、ELKF企业级日志分析系统介绍
qq_64612585的博客
04-10 1270
ELK 和 ElasticStack 实质上指的是同一个概念，ELK 平台是一套完整的日志集中处理方案。其拥有三个组件：ElasticSearch、Logstash 和 Kiabana 配合使用组成一个功能全面的数据平台。另外，当需要处理大量实时数据的场景，ELK 与 Kafka 的集成可以提供一个强大的实时数据收集、存储、分析和可视化解决方案。
ELK logstash处理mongodb日志
高性价比服务器就选：蓝易云
01-07 330
在上面的配置中，我们使用File插件作为输入，指定MongoDB日志文件的路径和格式。ELK（Elasticsearch、Logstash、Kibana）是一套用于日志收集、存储、搜索和可视化的开源工具组合。Logstash是ELK中负责日志收集和预处理的组件，可以用于处理MongoDB的日志数据。通过以上步骤，你可以使用Logstash收集MongoDB的日志数据，并将其存储到Elasticsearch中，然后使用Kibana来对日志数据进行可视化和分析，实现全面的日志管理和监控。
MongoDB 的日志系统
xtqve的专栏
05-30 1594
MongoDB拥有几种日志，分别是系统日志、Journal日志、oplog主从日志、慢查询日志。这些日志记录着MongoDB数据库的不同的踪迹。 系统日志 系统日志记录着Mongodb启动和停止的操作，以及服务器在运行过程中发生的任何异常信息。 配置系统日志的方法比较简单，只需要在启动 mongod时指定一个 logpath参数即可，例如： mongod -logpath=/dat
WEB站点请求耗时分析-基于MongoDB的日志分析系统
bingtingabc的专栏
04-23 2308
 统计各个web应用的请求耗时情况，以便各个组能找出耗时多的功能进行优化。其实这个分析看似比较简单，只要拿到各个web应用的access日志就很容易获得所有请求的耗时。但调查了实际环境以后发现要填的坑还真不少啊。     1.日志位置     每个web应用都部署在不同的机器下，共60多个应用，每个都来一套分析程序？算了吧。。。还是需要运维的配置一个同步，每天把access日志统一放到一
MongoDB的日志系统
weixin_30508309的博客
10-13 106
mongodb中主要有四种日志。分别是系统日志、Journal日志、oplog主从日志、慢查询日志等。这些 日志记录着Mongodb数据库不同方便的踪迹。下面分别介绍这四种日志： 1.系统日志 系统日志在Mongdb数据中很中重要，它记录mongodb启动和停止的操作，以及服务器在运行过程中发生的任何异常信息；配置系统日志也非常简单，在运行mongod时候增加一个参数logpath，...
使用Node.js + MongoDB实现一个简单的日志分析系统
suoyihen
10-31 172
在最近的项目中，为了便于分析把项目的日志都存成了JSON格式。之前日志直接存在了文件中，而MongoDB适时闯入了我的视线，于是就把log存进了MongoDB中。log只存起来是没有意义的，最关键的是要从日志中发现业务的趋势、系统的性能漏洞等。之前有一个用Java写的分析模块，运行在Tomcat下。实现相当的重量级，添加一个新指标的流程也比较繁琐，而且由于NFS的原因还导致分析失败。一直想...
MongoDB数据库的日志文件深入分析
12-16
MongoDB日志记录了数据库实例的健康状态、语句的执行状况、资源的消耗情况，所以日志对于分析数据库服务和性能优化很有帮助。 因此，很有必要花费一些时间来学习解析一下MongoDB的日志文件。 下面话不多说了，来一起...
Node.js和MongoDB实现简单日志分析系统
10-24
主要介绍了Node.js和MongoDB实现简单日志分析系统,本文给出了服务器端、客户端、图表生成、Shell自动执行等功能的实现代码,需要的朋友可以参考下
MongoDB中4种日志的详细介绍
12-16
前言 任何一种数据库都有各种各样的日志，MongoDB也不例外。MongoDB中有4种日志，分别是系统日志、Journal日志、oplog主从日志、慢查询日志等。这些日志记录着MongoDB数据库不同方面的踪迹。下面分别介绍这几种日志。 系统日志 系统日志在MongoDB数据库中很重要，它记录着MongoDB启动和停止的操作，以及服务器在运行过程中发生的任何异常信息。 配置系统日志的方法比较简单，在启动mongod时指定logpath参数即可 mongod -logpath=/data/log/mongodb/serverlog.log -logappend 系统日志会向logpath
大型网站日志记录的方案DEMO Elamh+MongoDB ,Log4Net+MongoDB
10-26
大型网站日志记录的方案DEMO， Elamh+MongoDB ,Log4Net+MongoDB给需要的朋友参考，交流邮件：sunqintao123@163.com
MongoDB和MongoDB云数据库浅谈
01-19
直接存取BSON，这意味着MongoDB更加灵活，因为可以在文档中直接插入数组之类的复杂数据类型，并且文档的key和value不是固定的数据类型和大小，所以开发者在使用MongoDB时无须预定义关系型数据库中的”表”等数据库...
mongodb 数据库基本操作.doc
最新发布
04-25
MongoDB数据库的基本操作涉及多个方面，包括连接数据库、创建数据库、插入数据、查询数据、更新数据和删除数据等。以下是一些基本操作的简要说明： 连接MongoDB数据库： 使用MongoDB的官方驱动程序或第三方库来...
MongoDB日志浅析
雪辉博客
09-01 2371
文章目录一、系统日志二、Journal日志三、oplog主从日志与慢查询日志3.1 固定集合3.2 oplog主从日志3.3 慢查询日志四、总结   MongoDB中主要有四种日志。分别是系统日志、Journal日志、oplog主从日志、慢查询日志。这些日志记录着MongoDB数据库不同的信息。下面分别介绍这四种日志： 一、系统日志   系统日志在MongoDB中十分重要，它记录MongoDB启动...
硬卷 NoSQL 数据库系列（十三）：MongoDB 日志分析工具
民工哥的博客
05-18 405
点关注公众号，回复“1024”获取2TB学习资源！前面介绍了复制集、分片技术、集群部署与管理维护、备份与恢复、状态检测与性能追踪、客户端工具等相关的知识点。今天我将详细的为大家介绍 MongoDB 日志分析工具相关知识，希望大家能够从中收获多多！如有帮助，请点在看、转发支持一波！！！需求背景MongoDB 数据库的强大的文档模型使其成为处理数据的最佳方式。文档适用于广泛的流行数据模型，支持各种各样...
MongoDB 监控与日志分析
weixin_59801183的博客
06-04 1963
在运行了 MongoDB 数据库的应用程序中，性能监控和日志分析对于确保数据安全、一致性和应用程序稳定性至关重要。本指南将带您了解 MongoDB 的性能监控指标、如何使用 `mongostat` 和 `mongotop` 工具以及日志分析和问题诊断。
日志系统与mongodb
Henry_Wu001的专栏
05-21 422
refs: mongodb csharp驱动 http://mongodb.github.io/mongo-csharp-driver/2.3/reference/driver/connecting/ mongodb client 工具 Robo 3T: www.robomongo.org https://docs.mongodb.com/manual/mongo/ refs4: h...
ELK用户行为日志获取MongoDB数据
weixin_30814223的博客
02-22 818
　　后台开发已经把日志写到了mangoDB里了，然后需要把它们从数据库里都给取出来写成文件,然后导入到ELK。目的很简单,就是将mongodb数据导入es建立相应索引。可以在需要监控MongoDB的数据库日志的服务器上部署logstash或filebeat来抓取日志，也可以把logstash放在别机器. 1 安装logstash-input-mongodb插件 　　默认现在logst...
mongodb数据库设计文档
06-01
好的，关于 MongoDB 数据库设计文档，一般应包含以下内容： 1. 数据库概述：介绍数据库的名称、版本、用途、所属系统等基础信息。 2. 数据库结构设计：包括数据库中所有文档的结构设计，包括文档的字段名、数据类型、索引设计、数据关系等。 3. 数据库安全设计：介绍数据库的安全设计方案，包括用户角色、权限设置等。 4. 数据库备份与恢复设计：介绍数据库的备份策略、恢复策略以及备份周期等。 5. 数据库性能设计：介绍数据库的性能优化策略，包括索引优化、查询优化、缓存优化等。 6. 数据库运维设计：介绍数据库的运维策略，包括监控、告警、维护等。 以上就是 MongoDB 数据库设计文档一般应包含的内容，需要根据实际情况进行调整和补充。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值