python -爬虫爬取CSDN导航页的文章标题

最新推荐文章于 2021-11-05 09:00:00 发布

赵小丽-programer

最新推荐文章于 2021-11-05 09:00:00 发布

阅读量463

点赞数 1

分类专栏：机器学习

本文链接：https://blog.csdn.net/lili555521/article/details/80329652

版权

机器学习专栏收录该内容

18 篇文章 0 订阅

订阅专栏

1、CSDN首页当鼠标滑动到页面底部时，展示的内容会增加。为了爬取更多的标题，我们使用selenium中的webdriver模拟浏览器的行为。
首先pip install selenium
代码片段：

     from selenium import webdriver
     import time 
     browser=webdriver.Chrome()
     url="https://blog.csdn.net/"
     browser.get(url)
     js = 'window.scrollBy(0,5000)'
     for i in range(1,10):
        browser.execute_script(js)
        time.sleep(1)

2、使用BeautifulSoup处理html文件
首先 conda install bs4

      from bs4 import BeautifulSoup
      html=browser.page_source
      soup=BeautifulSoup(html)
      #title包含在‘h2’的中
      partTitle=soup.find_all('h2')
      title=[x.find('a').string.replace(' ','') for x in partTitle]