- 博客(2)
- 收藏
- 关注
RSS订阅原创 scrapy 改分布式 简记
增加了一个去重容器类的配置, 作用使用Redis的set集合来存储请求的指纹数据, 从而实现请求去重的持久化。- 添加一个新属性：redis_key = 'fbsQueue'，表示的是可以被共享的调度器队列的名称。- 概念：需要搭建一个分布式的机群，然后在机群的每一台电脑中执行同一组程序，让其对某一个网站的数据进行联合分布爬取。- 4.创建爬虫文件（a.创建基于Spider的爬虫文件 b.创建CrawlSpider的爬虫文件）REDIS_HOST = 'redis服务的ip地址'
2024-07-29 15:59:13
346
原创 Linux常用命令
bash是linux系统的用户界面，提供了用户和操作系统之间的交互，它接收用户的输入，让它送给操作系统执行。args：命令的作用体，一般情况下是目录或者文件，用户名等等。options：启动或者关闭命令里面的某些功能。启动终端以后，在终端设备上附加的一个应用程序。内部命令：shell 自带的命令。cal # 显示某一年的日历。外部命令：第三方提供的命令。查看命令的类型： type。执行命令： 输入命令回车。command 命令本身。cal -y 一年的日历。
2024-06-25 16:16:50
654
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人