爬虫遇到的问题汇总
1. 注意xpath很重要,
# x_path的位置十分重要,根目录一定要写对
xpath_urls = '//div[@class="fff-product-detail"]/a'
# 获取所有的目录下的源码
urls_pre = browser.find_elements_by_xpath(xpath_urls)
2. 网址的重定向问题,注意爬取的页面很可能是重定向过的网址,需要去除重定向
def get_real_url(fake_url,try_count =
原创
2020-08-20 15:17:25 ·
1248 阅读 ·
0 评论