用selenium爬取百度新闻

这段代码展示了如何使用selenium模拟浏览器行为,打开百度新闻首页,输入关键词进行搜索,并遍历搜索结果,抓取每页前20条新闻的标题、发布时间和网页内容,保存为json文件。
摘要由CSDN通过智能技术生成
# -*- coding: UTF-8 -*-
from selenium.common.exceptions import TimeoutException, NoSuchElementException, WebDriverException
from selenium.webdriver.common.by import By
from selenium.webdriver.support import expected_conditions as EC
from selenium.webdriver.support.wait import WebDriverWait
from selenium.webdriver.common.keys import Keys
from selenium import webdriver
from bs4 import BeautifulSoup
import urllib.request
import io
import json
import os
import requests
import sys
#用selenium模拟浏览器行为打开chrome,打开新闻首页,输入关键词,点击,然后查找下一页
# import chardet
import re
def test_sel(keyword):
    driver = webdriver.Chrome()
    link = 'http://news.baidu.com/?tn=news'
    driver.get(link)
    try:
        WebDriverWait(driver, 30).until(
            EC.presence_of_element_located((By.ID, "ww"))
        )

    except TimeoutException:
        print ('加载页面失败')
    try:
        element = driver.find_element
  • 0
    点赞
  • 7
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Selenium是一个自动化测试工具,可以模拟用户对网页的操作,因此可以用来爬取百度文库的图片。在这个过程中,我们需要用到Python的Selenium库,以及ChromeDriver或者其他浏览器驱动来控制浏览器。 首先,我们需要打开百度文库的页面,并登录账号,如果不登录无法访问文库的图片。我们可以用Selenium模拟登录,输入账户名和密码,然后点击登录。在登录成功的情况下,我们就可以访问文库的内容。 接着,我们需要定位到文库页面中的所需要的图片。这一步可以通过XPath或CSS Selector等方式来实现。然后,我们可以用Selenium的find_element_by_xpath或者find_element_by_css_selector方法来定位图片,并获取图片的属性,比如图片的URL。通过获取URL,我们就可以将图片保存到本地或者上传到其他网站当中。 下面是一个比较简单的爬取百度文库图片的代码段: ```python from selenium import webdriver import urllib.request # 设置ChromeDriver路径 driver_path = 'C:\chromedriver_win32\chromedriver.exe' # 创建浏览器对象 browser = webdriver.Chrome(driver_path) # 打开百度文库登录界面 browser.get('https://wenku.baidu.com/') # 输入账户名和密码并点击登录 browser.find_element_by_id('loginUserName').send_keys('your_username') browser.find_element_by_id('loginPassword').send_keys('your_password') browser.find_element_by_link_text('登录').click() # 定位到图片 image = browser.find_element_by_xpath('//img[@class="doc-image"]') # 获取图片URL image_url = image.get_attribute('src') # 下载图片 urllib.request.urlretrieve(image_url, 'image.jpg') # 关闭浏览器 browser.quit() ``` 上面的代码中,我们首先设置了ChromeDriver的路径,然后打开浏览器并访问百度文库的登录页面。接着,输入账户名和密码,并点击登录按钮。在登录成功后,我们定位到文库页面中的图片,获取图片的URL并下载图片到本地。 总的来说,使用Selenium爬取百度文库图片比较简单,只需要模拟登录和定位图片等操作即可。不过需要注意的是,在爬取数据的过程中不要过于频繁,否则会被百度封禁。建议设置合理的时间间隔和获取数据数量,并且遵守网站的使用规定。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值