爬虫遇到的问题汇总

1. 注意xpath很重要，

 # x_path的位置十分重要,根目录一定要写对
      xpath_urls = '//div[@class="fff-product-detail"]/a'
 # 获取所有的目录下的源码
      urls_pre = browser.find_elements_by_xpath(xpath_urls)

2. 网址的重定向问题，注意爬取的页面很可能是重定向过的网址，需要去除重定向

def get_real_url(fake_url,try_count = 1):
    http_headers = {'Accept': '*/*','Connection': 'keep-alive', 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/53.0.2785.116 Safari/537.36'}
    if try_count > 3:
        return fake_url
    try:
        rs = requests.get(fake_url, headers=http_headers, timeout=10)
        if rs.status_code > 400:
            return get_real_url(fake_url, try_count + 1)
        return rs.url
    except:
        return get_real_url(fake_url, try_count + 1)