SpringBoot分布式框架

00、为什么需要分布式日志组件?

在文章正式开始之前,我分享下一个系统,它的架构如下:

每次当我查问题的时候,我都能把问题初步定位在 逻辑层 ,但为了能给业务方交代,我需要 给证据 业务方面(日志信息就是铁证)。

一个请求肯定是被这8台机器内的某一台处理,但具体是哪一台,我不知道。所以,我需要上每台机器上 grep 一把日志,然后才能找出对应的日志证明我的分析。

有的时候,可能 接入层 也需要一起参与进去,就排查一个问题,人都傻了了(翻看日志的时间占用了太久了)。

后来啊,看了同事的骚操作(在 item2 编写脚本: 快速登录堡垒机 (免去输入账号和密码信息),根据应用服务器数量来切割窗口并且切换到对应的日志目录)。说白了就是 一键登录 多台应用服务器。嗯,这查日志的速度比起以前又快了好多。

再后来,公司运维侧又主力推在 Web页面 上登录应用服务器( 自动登录堡垒机 ),这能省去编写脚本( 支持批量操作 )。但从当时的体验上,没有问题 item2 访问得流畅(总感觉卡卡的)。

不过还有问题,因为我们在很多时候是不知道在 info / warn / error 哪个文件下。很多时候只能一个一个文件去查,虽然说可以直接查 通配符 一把查,如果日志过大,带来停顿时间也挺烦的。

系统一旦被问到业务问题,查日志的频率实在是太高了。于是我在某个Q规划的时候是想自己把日志信息写入到 搜索引擎 ,顺便学习下搜索引擎的知识。然后这个规划被组内的某个大佬看到了,在底下评论: 要不来试试Graylog ?

原来组内本身就在维护了一个 日志框架 ,只是我不知道...于是我接

  • 0
    点赞
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Scrapy是一个基于Twisted的异步处理框架,它是一个高度可扩展的爬虫框架,可以帮助我们灵活地完成各种爬取需求。 Scrapy是一个分布式爬虫框架,这意味着它可以在多个机器之间协同工作以提高爬取效率。通过使用Scrapy的分布式架构,我们可以实现并行爬取和数据处理,从而更快地获取所需的数据。 要使用Scrapy框架进行分布式爬虫开发,首先需要创建一个Scrapy项目。可以使用命令行工具或者main文件来创建和运行Scrapy项目。 在创建Scrapy爬虫项目后,可以使用命令行工具来生成一个爬虫。通过执行类似于"scrapy genspider example example.com"的命令,可以生成一个名为example的爬虫,并指定要爬取的网站为example.com。 总结来说,Scrapy是一个高度可扩展的分布式爬虫框架,它能够帮助我们快速、高效地进行网页数据爬取。<span class="em">1</span><span class="em">2</span><span class="em">3</span> #### 引用[.reference_title] - *1* *2* *3* [【浅谈爬虫】一文解析分布式爬虫框架Scrapy的原理图与项目结构说明](https://blog.csdn.net/weixin_43529465/article/details/122627245)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_2"}}] [.reference_item style="max-width: 100%"] [ .reference_list ]

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值