- 博客(3)
- 收藏
- 关注
原创 【Scrapy学习心得】爬虫实战四(动态加载的页面数据获取)
【Scrapy学习心得】爬虫实战四 爬取的网站:今日头条各个板块的新闻信息 点击跳转 本次爬虫使用的是:scrapy+selenium 一、配置环境 python3.7 pycharm Scrapy1.7.3 win10 pymysql 二、准备工作 在cmd命令行中进入需要创建项目的目录运行scrapy startproject haha 创建成功后继续执行cd haha 然后执行scra...
2019-10-23 14:46:11 2746
原创 【Scrapy学习心得】添加IP代理
【Scrapy学习心得】添加IP代理 添加ip代理即添加proxy属性的值 这里我用到的免费ip代理需要先在66免费代理网上取到ip,这个网站真得很好用,只需要请求以下便可以得到想要数量的ip。附上链接点击跳转 只需修改scrapy项目下的middlewares.py中间件,废话不多说,直接上代码: from scrapy import signals import requests import...
2019-10-14 18:33:00 1286
原创 【Scrapy学习心得】添加随机用户代理
【Scrapy学习心得】添加随机用户代理 添加随机用户代理即添加随机User-Agent 只需修改scrapy项目下的middlewares.py中间件,废话不多说,直接上代码: from scrapy import signals import random class UseragentDownloaderMiddleware(object): USER_AGENTS=[ ...
2019-10-14 15:47:25 573
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人