Datawhale第十二期组队学习--Python爬虫编程实践 Task04: 大作业：爬取news； 拔高：某乎爬虫

作业:

1. 了解ajax加载
2. 通过chrome的开发者工具，监控网络请求，并分析
3. 用selenium完成爬虫
4. 具体流程如下： 用selenium爬取https://news.qq.com/ 的热点精选

疑问：

• 怎么判断一个url请求获取的数据是通过ajax获取的，怎么知道这个真实的url？
• ajax获取的数据获取有什么窍门吗？
• Beautiful Soup, etree, xpath 怎么更灵活的混用？

代码：（没有达到要求）

def get_page_source():
    # driver = webdriver.Chrome(".chromedriver.exe")
    driver = webdriver.Chrome()
    driver.get("https://news.qq.com/")
    time.sleep(2)
    page_source = driver.page_source
    soup = BeautifulSoup(page_source)
    # print(soup.prettify())
    ele_list = soup.select('.detail > h3 > a')
    # print(ele_list)
    for ele in ele_list:
        print(type(str(ele)), str(ele))
        # print(etree.HTML(str(ele)).xpath('text()'))

get_page_source()