python GitHub项目watch数目爬取不到问题
问题:想要爬取一个GitHub项目的watch,star,fork数目,star和fork均能爬取到,但是watch数目始终查找不到
问题代码如下:
from bs4 import BeautifulSoup
import requests
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/88.0.4324.182 Safari/537.36',
'accept': 'text/html',
}
html = requests.get('https://github.com/tensorflow/tensorflow', headers=headers)
# print(html.text)
soup = BeautifulSoup(html.text, "html.parser")
watch = soup.find_all('a', href="/tensorflow/tensorflow/watchers") # watch数目
stars = soup.find_all('a', href="/tensorflow/tensorflow/stargazers") # star数目
fork = soup.find_all('a', href="/tensorflow/tensorflow/network/members") # fork数目
print(watch[0].text.strip())
使用soup.find_all
始终爬取不到watch数目所在的<a>
标签,尝试各种方法无法解决
于是想到了利用selenium来模拟浏览器尝试爬取,使用这种方法后,立马知道了问题所在,下面附上使用selenium的代码:
from selenium import webdriver
driver = webdriver.Chrome(executable_path='D:\\12102\\files\\chromedriver.exe')
# 自动访问的网站
driver.get("https://github.com/tensorflow/tensorflow")
watch = driver.find_element_by_css_selector('a.social-count')
print(watch.text)
运行结果如下:
看到这张图不难发现,在没有登录的情况下,是看不到watch数目的,这也是为什么解析到的网页源代码中没有watch数目,所以无论如何也爬不到
我的解决方法,在headers中添加cookie值,该值也可以在F12中看到
修改后的headers如下:
这时就成功解决问题