m0_74214100的博客

原创 使用反反爬策略爬取新浪新闻网站内容

命令：sudo apt-get intall scrapy 或 pip/pip3 install scrapy。①在middlewares定义UA，随机ip代理。⑥利用管道pipeline来处理（保存）数据。②在settings中开启自定义的下载中间件。③在settings中添加UA列表，IP列表。安装 pip install lxml。使用xpath选择器提取HTML数据。⑦在settings配置启用管道。④在parse方法中实现爬取逻辑。⑤使用xpath提取数据。②检查修改允许的域名。