- 博客(2)
- 收藏
- 关注
原创 scrapy 改分布式 简记
增加了一个去重容器类的配置, 作用使用Redis的set集合来存储请求的指纹数据, 从而实现请求去重的持久化。- 添加一个新属性:redis_key = 'fbsQueue',表示的是可以被共享的调度器队列的名称。- 概念:需要搭建一个分布式的机群,然后在机群的每一台电脑中执行同一组程序,让其对某一个网站的数据进行联合分布爬取。- 4.创建爬虫文件(a.创建基于Spider的爬虫文件 b.创建CrawlSpider的爬虫文件)REDIS_HOST = 'redis服务的ip地址'
2024-07-29 15:59:13
346
原创 Linux常用命令
bash是linux系统的用户界面,提供了用户和操作系统之间的交互,它接收用户的输入,让它送给操作系统执行。args:命令的作用体,一般情况下是目录或者文件,用户名等等。options:启动或者关闭命令里面的某些功能。启动终端以后,在终端设备上附加的一个应用程序。内部命令:shell 自带的命令。cal # 显示某一年的日历。外部命令:第三方提供的命令。查看命令的类型: type。执行命令: 输入命令回车。command 命令本身。cal -y 一年的日历。
2024-06-25 16:16:50
654
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人