![](https://img-blog.csdnimg.cn/20201014180756780.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
爬虫
sxf_0123
这个作者很懒,什么都没留下…
展开
-
python 爬虫:requests抓取的页面信息和浏览器中看到的不一样
网址:https://www.rmfysszc.gov.cn/statichtml/rm_obj/108362.shtml 用 请求出的网页解析为 <div id="time1" style="width:100%; height:60px; text-indent:30px; font-size:14px; line-height:60px;color:#2f2f2f;font...原创 2020-01-07 10:39:04 · 11668 阅读 · 0 评论 -
Scrapy 出现DEBUG:Filtered duplicate request
转载:https://blog.csdn.net/sinat_41701878/article/details/80302357 [scrapy] DEBUG:Filtered duplicate request:<GET:xxxx>-no more duplicates will be shown 不会显示更多重复项 scrapy自身有过滤重复请求 在Request请求中添加...转载 2020-01-06 16:55:59 · 841 阅读 · 1 评论 -
Scrapy 常用命令集锦
以下命令需要在dos窗口执行 1、创建项目 scrapy startproject <project_name> 2、启动scrapy shell 做交互命令 scrapy shell <url> 如打开百度URL scrapy shell htt://www.baidu.com 3、用于一些页面动态加载的内容无法看到,可以用该命令检查spider所获取到...原创 2020-01-06 16:53:24 · 293 阅读 · 0 评论 -
爬虫 选择框处理
1、单选框 s = driver.find_element_by_id("boy").is_selected() print s driver.find_element_by_id("boy").click() # 点击后,判断元素是否为选中状态 r = driver.find_element_by_id("boy").is_selected() print r 2、复选框...原创 2020-01-06 16:43:33 · 1041 阅读 · 0 评论