Python
bo_无问西东
写出自己的博客,为自己和他人解疑答惑
展开
-
基于分布式的scrapy-reids项目
基于分布式的scrapy-reids项目分布式的概念不多赘述本项目利用本机和虚拟机,本机作为爬虫端(win10),虚拟机作为服务器端(win10)一.首先在两台电脑上都安装redis服务.具体步骤为:1.在redis官网下载Redis-x64-5.0.10,这是一个文件夹2.Redis-x64-5.0.10下面有一redis.windows.conf文件,用notepdd+打开,将里面的bind 127.0.0.1注释掉,目的是可以让任何网段连接。还有关闭保护模式:protect mode(写的原创 2021-02-25 09:43:24 · 156 阅读 · 0 评论 -
怎样判断网页是动态加载的数据
怎样判断是否是动态加载的数据1.抓包工具 network 中的某个网页中的response,中返回的这个网页,在里面搜索是否有关键字 (ctrl+F )若没有,则是动态加载出来的2.从全局搜索,然后自动定位到网站就可以找到这个动态加载的数据...原创 2021-02-08 13:54:44 · 2070 阅读 · 1 评论