Python爬虫编程实践
本次跟随Datawhale组队学习Python爬虫,希望能有所收获。Datawhale是一个很好的开源组织,会组织很多免费的知识学习。
附上本次组队学习的计划和教程资料,即使没有当时加入组队学习,有兴趣的话从现在开始学习也不晚哦~
现在学习喜欢用脑图的方式,知识点清晰明了,易于查找和复习,希望也可以帮助大家梳理知识脉络。
一、Task04
整个学习只看代码教程有点跟不上,而且不太懂,看来得回头看一遍视频教学了,这次先借鉴为主吧。
1、大作业
参考代码:
import time
from selenium import webdriver
driver = webdriver.Chrome(executable_path="D:\chromedriver\chromedriver.exe")
driver.get("https://news.qq.com")
# 了解ajax加载
for i in range(1, 100):
time.sleep(2)
driver.execute_script("window.scrollTo(window.scrollX, %d);" % (i * 200))
# %%
from bs4 import BeautifulSoup
html = driver.page_source
bsObj = BeautifulSoup(html, "lxml")
# %%
jxtits = bsObj.find_all("div", {"class": "jx-tit"})[0].find_next_sibling().find_all("li")
# %%
print("index", ",", "title", ",", "url")
for i, jxtit in enumerate(jxtits):
# print(jxtit)
try:
text = jxtit.find_all("img")[0]["alt"]
except:
text = jxtit.find_all("div", {"class": "lazyload-placeholder"})[0].text
try:
url = jxtit.find_all("a")[0]["href"]
except:
print(jxtit)
print(i + 1, ",", text, ",", url)