![](https://img-blog.csdnimg.cn/20201014180756780.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
爬虫
sxf_0123
这个作者很懒,什么都没留下…
展开
-
python 爬虫:requests抓取的页面信息和浏览器中看到的不一样
网址:https://www.rmfysszc.gov.cn/statichtml/rm_obj/108362.shtml用请求出的网页解析为<div id="time1" style="width:100%; height:60px; text-indent:30px; font-size:14px; line-height:60px;color:#2f2f2f;font...原创 2020-01-07 10:39:04 · 11673 阅读 · 0 评论 -
Scrapy 出现DEBUG:Filtered duplicate request
转载:https://blog.csdn.net/sinat_41701878/article/details/80302357[scrapy] DEBUG:Filtered duplicate request:<GET:xxxx>-no more duplicates will be shown不会显示更多重复项scrapy自身有过滤重复请求在Request请求中添加...转载 2020-01-06 16:55:59 · 842 阅读 · 1 评论 -
Scrapy 常用命令集锦
以下命令需要在dos窗口执行1、创建项目scrapy startproject <project_name>2、启动scrapy shell做交互命令scrapy shell <url>如打开百度URLscrapy shell htt://www.baidu.com3、用于一些页面动态加载的内容无法看到,可以用该命令检查spider所获取到...原创 2020-01-06 16:53:24 · 294 阅读 · 0 评论 -
爬虫 选择框处理
1、单选框s = driver.find_element_by_id("boy").is_selected()print sdriver.find_element_by_id("boy").click()# 点击后,判断元素是否为选中状态r = driver.find_element_by_id("boy").is_selected()print r2、复选框...原创 2020-01-06 16:43:33 · 1041 阅读 · 0 评论