关于selenium和requests获取超链接时的一点区别!!!!!
今天在爬取网页超链接时使用requests先进行爬取结果发现无法爬取到网页中的超链接,对网页的源码进行查看时发现我所要爬取的超链接是属于ul路径下,上网查了一下。 ul 标签定义无序列表。而现在的网页用的大多是ajax技术,网页中的列表是属于异步传输,需要下拉才可以加载出来。所以我又换了一个使用selenium来爬取,爬取时我又发现了一点问题在selenium中是使用get_attribu...
原创
2019-07-30 16:09:32 ·
1228 阅读 ·
1 评论