python网络爬虫（四）

最新推荐文章于 2024-04-01 13:30:49 发布

瓶_子

最新推荐文章于 2024-04-01 13:30:49 发布

阅读量166

点赞数

本文链接：https://blog.csdn.net/L__zio/article/details/105788688

版权

爬取腾讯新闻热点精选

腾讯新闻的 url:https://news.qq.com/

import time
from  selenium import webdriver
from bs4 import BeautifulSoup

browser=webdriver.Chrome(r'D:\***\chromedriver.exe')
browser.get('https://news.qq.com/')
html=browser.page_source
soup=BeautifulSoup(html,"lxml")
# 这里只爬取了10条信息，如果需要100，就将10改成100
for i in range(1,10):
    time.sleep(2)
    browser.execute_script("window.scrollTo(window.scrollX, %d);"%(i*200))

a=soup.find_all("div",{"class":"jx-tit"})[0].find_next_sibling()
count = 0
for i in a.find_all("li"):
    if len(i.find_all('h3')) > 0:
        count = count + 1
        print(count, ','+i.find_all('h3')[0].text+' '+i.find_all('a')[0]['href'])
browser.quit()

结果如图所示（格式有点错误）：
在这里插入图片描述

爬取新浪新闻（国际新闻）的最新消息

新浪新闻（国际新闻）的url:https://news.sina.com.cn/world/

import requests
from selenium import webdriver
from bs4 import BeautifulSoup

browser = webdriver.Chrome(r'D:\***\chromedriver.exe')
url = "https://news.sina.com.cn/china/"
headers={
    'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:75.0) Gecko/20100101 Firefox/75.0'
}
proxy = {
     "http": "124.88.67.81:80"
}
def getHTMLText(url):
    try:
        r = requests.get(url,headers=headers,proxies= proxy,timeout = 30)
        r.raise_for_status()
        r.encoding=r.apparent_encoding
        return r.text
    except:
        print('无法访问网页' + url)

if __name__ == "__main__":
    url = "https://news.sina.com.cn/world/"
    browser.get(url)
    dome = getHTMLText(url)
    soup = BeautifulSoup(dome,'html.parser')
    count= 0
    for i in soup.select('.news-item'):
        if len(i.select('h2'))>0:
            count = count + 1
            print(count,','+ i.select('.time')[0].text+'  '+i.select('h2')[0].text+'  '+i.select('a')[0]['href'])
    browser.quit()