Python爬虫之基于 selenium 实现文献信息获取

已于 2023-03-02 09:20:12 修改
阅读量5.1k 收藏 68
点赞数 13
分类专栏： 技术 文章标签： python 爬虫 开发语言
于 2023-01-17 08:57:08 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/s_alted/article/details/128711740
版权

目录

最近有小伙伴后台跟我说，临近毕业，写毕业论文需要上知网查找大量的文献，但是一篇一篇看文献信息以及文献摘要又有点麻烦，能不能让我写一个爬虫去批量获取文献相关信息

我一听好家伙，当初我写毕业论文的时候也是饱经查阅文献的折磨，深知那种痛苦

但是知网作为国内知名的文献数据库之一，有着极其复杂的反爬虫机制，例如动态JS、iframe、验证码等等，不是说想爬就能爬的

像我之前采用 requests 模拟请求的方法来爬取的话难度很大，一个不小心就有可能被封 IP

本篇文章就主要介绍该如何使用 **Selenium **来巧爬知网

初识 selenium

selenium 是一个自动化测试工具，可以用来进行 web 自动化测试

selenium 本质是通过驱动浏览器，完全模拟浏览器的操作，比如跳转、输入、点击、下拉等，来拿到网页渲染之后的结果，可支持多种浏览器

爬虫中用到 selenium 主要是为了解决 requests 无法直接执行 JavaScript 代码等问题

下面就来介绍下 selenium 基础用法

声明浏览器对象

Selenium 支持非常多的浏览器，如Chrome、Firefox、Edge 等

我们只要首先下载好相应浏览器的驱动（webdriver）到python主目录中，或者加入环境变量即可

#Firefox浏览器驱动：
https://link.zhihu.com/?target=https%3A//github.com/mozilla/geckodriver/releases

#Chrome浏览器驱动：
https://registry.npmmirror.com/binary.html?path=chromedriver/

#IE浏览器驱动：IEDriverServer
https://link.zhihu.com/?target=http%3A//selenium-release.storage.googleapis.com/index.html

#Edge浏览器驱动：MicrosoftWebDriver
https://link.zhihu.com/?target=https%3A//developer.microsoft.com/en-us/microsoft-edge/tools/webdriver

下载好驱动之后就可以浏览器初始化了

from selenium import webdriver

browser = webdriver.Chrome()
browser = webdriver.Firefox()
browser = webdriver.Edge()
browser = webdriver.Safari()

访问页面

我们可以用 get() 方法来请求一个网页，传入参数链接URL

browser.get('https://blog.csdn.net/s_alted')

查找元素

#根据 id 查找
find_element_by_id()

#根据 name 查找
find_element_by_name()

#根据 class name 查找
find_element_by_class_name()

#根据 Tag name 查找
find_element_by_tag_name()

#根据 完整超链接 查找
find_element_by_link_text()

#根据 部分超链接 查找
find_element_by_partial_link_text()

#根据 xpath 查找
find_element_by_xpath()

#根据 css选择器 查找
find_element_by_css_selector()

PS：

上面的 element 变成 elements（例如find_elements_by_id）就是找到所有满足的条件，然后返回数据

等待页面加载完成

有显式等待和隐式等待

显式等待使 WebdDriver 等待某个条件成立时继续执行，否则在达到最大时长时抛出超时异常（TimeoutException）

WebDriverWait 类是由 WebDirver 提供的等待方法。在设置时间内，默认每隔一段时间检测一次当前页面元素是否存在，如果超过设置时间检测不到则抛出异常

常用浏览器操作

在找到浏览器相应元素的位置之后，我们就需要进行一些交互动作，例如双击、点击、输入、获取网页源码等等

element = find_element_by_id(ID,id)

element.send_keys(Keys.CONTROL,'c')   # 复制

element.send_keys("hello") #传入 hello

element.clear()  # 清除输入框

element.click()  # 单击元素

element.text  # 获取元素文本信息

element.get_attribute('href')  # 获取元素属性

有了上面这些基本用法，就可以开始编写代码程序了！

网页分析

知网官网：https://www.cnki.net/

按照这位同学的需求，需要进入到知网官网之后——>点击高级搜索图标
在这里插入图片描述
然后在文献来源输入框处输入相关内容，然后点击检索图标
在这里插入图片描述
在这里插入图片描述
因此可以得到如下步骤：

进入官网点击高级搜索——>在文献来源处输入信息——>点击检索

通过 F12 检查浏览器页面，得到高级搜索图标和输入框以及检索图标元素的 xpath 分别如下：在这里插入图片描述
在这里插入图片描述

#高级搜索 xpath
/html/body/div[2]/div[2]/div/div[2]/a[1]

#输入框 xpath
/html/body/div[2]/div/div[2]/div/div[1]/div[1]/div[2]/dl/dd[3]/div[2]/input

#检索 xpath
/html/body/div[2]/div/div[2]/div/div[1]/div[1]/div[2]/div[2]/input

接着我们发现结果页（以搜索管理世界为例）在这里插入图片描述
共找到 8550 条结果，300页，每一页包含 20 条文献条目

每个条目包含题目、作者、来源等信息

通过对当前页面分析，发现每条文献条目的 xpath 是有规律的

#题名
/html/body/div[3]/div[2]/div[2]/div[2]/form/div/table/tbody/tr[1]/td[2]

#作者
/html/body/div[3]/div[2]/div[2]/div[2]/form/div/table/tbody/tr[1]/td[3]

tr[1] 表示本页第一条条目，而 td[2] 中的2-6 分别代表作者、来源、发表时间和数据库

我们在当前页面是无法获取到文献的摘要、关键字等信息，需要进一步点击进入相关文献条目

进入到相关文献页面之后，根据 class name来获取摘要、关键字、是否为CSSCI 这些元素

在这里插入图片描述
在这里插入图片描述
完成以上知网页面的分析后，我们就可以根据需求开始写代码了！

代码实现

导入所需包

import time 
from selenium import webdriver
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
from selenium.webdriver.common.by import By
from selenium.webdriver.common.desired_capabilities import DesiredCapabilities

创建浏览器对象

这里我用的是 Edge 浏览器

# get直接返回，不再等待界面加载完成
desired_capabilities = DesiredCapabilities.EDGE
desired_capabilities["pageLoadStrategy"] = "none"

# 设置 Edge 驱动器的环境
options = webdriver.EdgeOptions()
# 设置 Edge 不加载图片，提高速度
options.add_experimental_option("prefs", {"profile.managed_default_content_settings.images": 2})

# 创建一个 Edge 驱动器
driver = webdriver.Edge(options=options)

传入 url 参数然后模拟对浏览器进行人为操作

适当的加入 time.sleep() 方法，等待页面加载完成

不然页面还没完全加载就执行下一步操作的话会报错

# 打开页面
driver.get("https://kns.cnki.net/kns8/AdvSearch")
time.sleep(2)
    
# 传入关键字
WebDriverWait(driver, 100).until(
        EC.presence_of_element_located((By.XPATH, '''//*[@id="gradetxt"]/dd[3]/div[2]/input'''))).send_keys(theme)
time.sleep(2)
    
# 点击搜索
WebDriverWait(driver, 100).until(
        EC.presence_of_element_located((By.XPATH, "/html/body/div[2]/div/div[2]/div/div[1]/div[1]/div[2]/div[2]/input"))).click()
time.sleep(3)

 # 点击切换中文文献
WebDriverWait(driver, 100).until(
        EC.presence_of_element_located((By.XPATH, "/html/body/div[3]/div[1]/div/div/div/a[1]"))).click()
time.sleep(3)

获取总文献数和页数

res_unm = WebDriverWait(driver, 100).until(EC.presence_of_element_located(
        (By.XPATH, "/html/body/div[3]/div[2]/div[2]/div[2]/form/div/div[1]/div[1]/span[1]/em"))).text

# 去除千分位的逗号
res_unm = int(res_unm.replace(",", '')) 
page_unm = int(res_unm / 20) + 1
print(f"共找到 {res_unm} 条结果, {page_unm} 页。")

对结果页进行解析

def crawl(driver, papers_need, theme):
    # 赋值序号, 控制爬取的文章数量
    count = 1

    # 当爬取数量小于需求时，循环网页页码
    while count <= papers_need:
        # 等待加载完全，休眠3S
        time.sleep(3)

        title_list = WebDriverWait(driver, 10).until(EC.presence_of_all_elements_located((By.CLASS_NAME, "fz14")))
        # 循环网页一页中的条目
        for i in range(len(title_list)):
            try:
                if count % 20 != 0:
                    term = count % 20  # 本页的第几个条目
                else:
                    term = 20
                title_xpath = f"/html/body/div[3]/div[2]/div[2]/div[2]/form/div/table/tbody/tr[{term}]/td[2]"
                author_xpath = f"/html/body/div[3]/div[2]/div[2]/div[2]/form/div/table/tbody/tr[{term}]/td[3]"
                source_xpath = f"/html/body/div[3]/div[2]/div[2]/div[2]/form/div/table/tbody/tr[{term}]/td[4]"
                date_xpath = f"/html/body/div[3]/div[2]/div[2]/div[2]/form/div/table/tbody/tr[{term}]/td[5]"
                database_xpath = f"/html/body/div[3]/div[2]/div[2]/div[2]/form/div/table/tbody/tr[{term}]/td[6]"
                title = WebDriverWait(driver, 10).until(EC.presence_of_element_located((By.XPATH, title_xpath))).text
                authors = WebDriverWait(driver, 10).until(EC.presence_of_element_located((By.XPATH, author_xpath))).text
                source = WebDriverWait(driver, 10).until(EC.presence_of_element_located((By.XPATH, source_xpath))).text
                date = WebDriverWait(driver, 10).until(EC.presence_of_element_located((By.XPATH, date_xpath))).text
                database = WebDriverWait(driver, 10).until(
                    EC.presence_of_element_located((By.XPATH, database_xpath))).text
                # 点击条目
                title_list[i].click()
                # 获取driver的句柄
                n = driver.window_handles
                # driver切换至最新生产的页面
                driver.switch_to.window(n[-1])
                time.sleep(3)
                # 开始获取页面信息
                title = WebDriverWait(driver, 10).until(EC.presence_of_element_located(
                    (By.XPATH, "/html/body/div[2]/div[1]/div[3]/div/div/div[3]/div/h1"))).text
                authors = WebDriverWait(driver, 10).until(EC.presence_of_element_located(
                    (By.XPATH, "/html/body/div[2]/div[1]/div[3]/div/div/div[3]/div/h3[1]"))).text
                institute = WebDriverWait(driver, 10).until(EC.presence_of_element_located(
                    (By.XPATH, "/html/body/div[2]/div[1]/div[3]/div/div/div[3]/div/h3[2]"))).text
                abstract = WebDriverWait(driver, 10).until(
                    EC.presence_of_element_located((By.CLASS_NAME, "abstract-text"))).text
                try:
                    keywords = WebDriverWait(driver, 10).until(
                        EC.presence_of_element_located((By.CLASS_NAME, "keywords"))).text[:-1]
                    cssci = WebDriverWait(driver, 10).until(
                        EC.presence_of_element_located((By.XPATH, "/html/body/div[2]/div[1]/div[3]/div/div/div[1]/div[1]/a[2]"))).text
                except:
                    keywords = '无'
                    cssci = 'NULL'
                url = driver.current_url

                # 写入文件
                res = f"{count}\t{title}\t{authors}\t{cssci}\t{institute}\t{date}\t{source}\t{database}\t{keywords}\t{abstract}\t{url}".replace(
                        "\n", "") + "\n"
                print(res)
                with open(f'{theme}.tsv', 'a', encoding='gbk') as f:
                    f.write(res)
            except:
                print(f" 第{count} 条爬取失败\n")
                # 跳过本条，接着下一个
                continue
            finally:
                # 如果有多个窗口，关闭第二个窗口， 切换回主页
                n2 = driver.window_handles
                if len(n2) > 1:
                    driver.close()
                    driver.switch_to.window(n2[0])
                # 计数,判断篇数是否超出限制
                count += 1
        if count == papers_need:
            break
        else:
            # 切换到下一页
            WebDriverWait(driver, 10).until(EC.presence_of_element_located((By.XPATH, "//a[@id='PageNext']"))).click()

结果展示：在这里插入图片描述
结果是一个以制表符分隔的表格文件（用 excel 打开），其中包含了论文的基本信息，包括：题目、作者、是否 CSSCI、来源、摘要等

完整代码如下：

import time
from selenium import webdriver
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
from selenium.webdriver.common.by import By
from selenium.webdriver.common.desired_capabilities import DesiredCapabilities
from urllib.parse import urljoin


def open_page(driver, theme):
    # 打开页面
    driver.get("https://kns.cnki.net/kns8/AdvSearch")
    time.sleep(2)

    # 传入关键字
    WebDriverWait(driver, 100).until(
        EC.presence_of_element_located((By.XPATH, '''//*[@id="gradetxt"]/dd[3]/div[2]/input'''))).send_keys(theme)
    time.sleep(2)

    # 点击搜索
    WebDriverWait(driver, 100).until(
        EC.presence_of_element_located((By.XPATH, "/html/body/div[2]/div/div[2]/div/div[1]/div[1]/div[2]/div[2]/input"))).click()
    time.sleep(3)

    # 点击切换中文文献
    WebDriverWait(driver, 100).until(
        EC.presence_of_element_located((By.XPATH, "/html/body/div[3]/div[1]/div/div/div/a[1]"))).click()
    time.sleep(3)

    # 跳转到第三页
    # WebDriverWait(driver, 100).until(
    #     EC.presence_of_element_located((By.XPATH, "/html/body/div[3]/div[2]/div[2]/div[2]/form/div/div[2]/a[2]"))).click()
    # time.sleep(3)

    # 获取总文献数和页数
    res_unm = WebDriverWait(driver, 100).until(EC.presence_of_element_located(
        (By.XPATH, "/html/body/div[3]/div[2]/div[2]/div[2]/form/div/div[1]/div[1]/span[1]/em"))).text

    # 去除千分位里的逗号
    res_unm = int(res_unm.replace(",", ''))
    page_unm = int(res_unm / 20) + 1
    print(f"共找到 {res_unm} 条结果, {page_unm} 页。")
    return res_unm


def crawl(driver, papers_need, theme):
    # 赋值序号, 控制爬取的文章数量
    count = 1

    # 当爬取数量小于需求时，循环网页页码
    while count <= papers_need:
        # 等待加载完全，休眠3S
        time.sleep(3)

        title_list = WebDriverWait(driver, 10).until(EC.presence_of_all_elements_located((By.CLASS_NAME, "fz14")))
        # 循环网页一页中的条目
        for i in range(len(title_list)):
            try:
                if count % 20 != 0:
                    term = count % 20  # 本页的第几个条目
                else:
                    term = 20
                title_xpath = f"/html/body/div[3]/div[2]/div[2]/div[2]/form/div/table/tbody/tr[{term}]/td[2]"
                author_xpath = f"/html/body/div[3]/div[2]/div[2]/div[2]/form/div/table/tbody/tr[{term}]/td[3]"
                source_xpath = f"/html/body/div[3]/div[2]/div[2]/div[2]/form/div/table/tbody/tr[{term}]/td[4]"
                date_xpath = f"/html/body/div[3]/div[2]/div[2]/div[2]/form/div/table/tbody/tr[{term}]/td[5]"
                database_xpath = f"/html/body/div[3]/div[2]/div[2]/div[2]/form/div/table/tbody/tr[{term}]/td[6]"
                title = WebDriverWait(driver, 10).until(EC.presence_of_element_located((By.XPATH, title_xpath))).text
                authors = WebDriverWait(driver, 10).until(EC.presence_of_element_located((By.XPATH, author_xpath))).text
                source = WebDriverWait(driver, 10).until(EC.presence_of_element_located((By.XPATH, source_xpath))).text
                date = WebDriverWait(driver, 10).until(EC.presence_of_element_located((By.XPATH, date_xpath))).text
                database = WebDriverWait(driver, 10).until(
                    EC.presence_of_element_located((By.XPATH, database_xpath))).text
                # 点击条目
                title_list[i].click()
                # 获取driver的句柄
                n = driver.window_handles
                # driver切换至最新生产的页面
                driver.switch_to.window(n[-1])
                time.sleep(3)
                # 开始获取页面信息
                title = WebDriverWait(driver, 10).until(EC.presence_of_element_located(
                    (By.XPATH, "/html/body/div[2]/div[1]/div[3]/div/div/div[3]/div/h1"))).text
                authors = WebDriverWait(driver, 10).until(EC.presence_of_element_located(
                    (By.XPATH, "/html/body/div[2]/div[1]/div[3]/div/div/div[3]/div/h3[1]"))).text
                institute = WebDriverWait(driver, 10).until(EC.presence_of_element_located(
                    (By.XPATH, "/html/body/div[2]/div[1]/div[3]/div/div/div[3]/div/h3[2]"))).text
                abstract = WebDriverWait(driver, 10).until(
                    EC.presence_of_element_located((By.CLASS_NAME, "abstract-text"))).text
                try:
                    keywords = WebDriverWait(driver, 10).until(
                        EC.presence_of_element_located((By.CLASS_NAME, "keywords"))).text[:-1]
                    cssci = WebDriverWait(driver, 10).until(
                        EC.presence_of_element_located((By.XPATH, "/html/body/div[2]/div[1]/div[3]/div/div/div[1]/div[1]/a[2]"))).text
                except:
                    keywords = '无'
                    cssci = 'NULL'
                url = driver.current_url
                # 获取下载链接
                # link = WebDriverWait( driver, 10 ).until( EC.presence_of_all_elements_located((By.CLASS_NAME  ,"btn-dlcaj") ) )[0].get_attribute('href')
                # link = urljoin(driver.current_url, link)

                # 写入文件
                res = f"{count}\t{title}\t{authors}\t{cssci}\t{institute}\t{date}\t{source}\t{database}\t{keywords}\t{abstract}\t{url}".replace(
                        "\n", "") + "\n"
                print(res)
                # with open(f'CNKI_{theme}.tsv', 'a', encoding='gbk') as f:
                #     f.write(res)
                count += 1
                if count > papers_need:
                    break
            except:
                print(f" 第{count} 条爬取失败\n")
                # 跳过本条，接着下一个
                continue
            finally:
                # 如果有多个窗口，关闭第二个窗口， 切换回主页
                n2 = driver.window_handles
                if len(n2) > 1:
                    driver.close()
                    driver.switch_to.window(n2[0])
                # 计数,判断需求是否足够
                # count += 1
        if count > papers_need:
            break
        else:
            # 切换到下一页
            WebDriverWait(driver, 10).until(EC.presence_of_element_located((By.XPATH, "//a[@id='PageNext']"))).click()


def webserver(theme):
    # get直接返回，不再等待界面加载完成
    desired_capabilities = DesiredCapabilities.EDGE
    desired_capabilities["pageLoadStrategy"] = "none"

    # 设置微软驱动器的环境
    options = webdriver.EdgeOptions()
    # 设置chrome不加载图片，提高速度
    options.add_experimental_option("prefs", {"profile.managed_default_content_settings.images": 2})

    # 创建一个微软驱动器
    driver = webdriver.Edge(options=options)

    # 设置所需篇数
    papers_need = 41

    res_unm = int(open_page(driver, theme))

    # 判断所需是否大于总篇数
    papers_need = papers_need if (papers_need <= res_unm) else res_unm
    return driver, papers_need, theme


if __name__ == "__main__":
    # 输入需要搜索的内容
    # theme = input("请输入你要搜索的期刊名称：")
    print('1')
    theme = "中国人口·资源与环境"
    driver, papers_need, theme = webserver(theme)
    print("所需篇数: ", papers_need)
    crawl(driver, papers_need, theme)
    # 关闭浏览器
    driver.close()

踩过的坑

网页加载太慢导致元素查找出错

网络并不是可靠的，我在调试程序的时候往往出现网页加载过慢导致元素查找出错

  • 第一步：设置 get 直接返回，不需要等待页面加载完成
desired_capabilities = DesiredCapabilities.EDGE
desired_capabilities["pageLoadStrategy"] = "none"
  • 第二步：

在需要等待网页加载完全之后才能执行下一步骤的地方加上 time.sleep() 方法休眠几秒，既可以等待页面加载，也可以防止爬取太快被封IP

代码逻辑出错导致爬取不了 20 倍页数的第 20 条文献信息

刚开始写的时候，逻辑不够准确，导致第20页、40页、60页（20整数倍）的第20条文献爬取不了

后面加了层判断：

if count % 20 != 0:
	term = count % 20  # 本页的第几个条目
else:
	term = 20 # 本页的第20个条目
咸鱼Linux运维
关注
  • 13
    点赞
  • 踩
  • 68
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 24
    评论
专栏目录
selenium 根据【关键词】获取知网文献信息
s_alted的博客
10-28 756
哈喽大家好，我是咸鱼之前咸鱼写过几篇关于知网爬虫的文章，后台反响都很不错。虽然但是，咸鱼还是忍不住想诉苦一下有些小伙伴文章甚至代码看都没看完，就问我 ”为什么只能爬这么多条文献信息？“（看过代码的会发现我代码里面定义了变量来设置爬取篇数），”为什么爬其他文献不行？我想爬 XXX 文献“（因为代码里面写的是通过【知网高级搜索中的文献来源】来搜索文章），或者是有些小伙伴直接把代码报错贴给我，问我咋回事。
python爬虫——selenium
weixin_53333436的博客
03-19 6471
本文涉及了selenium在爬虫中的应用，包括定位元素，节点操作，添加cookie，反屏蔽等常用操作以及seleium中部分API源码分析
Python爬虫之基于 selenium 实现文献信息获取_python使用selenium爬取ieee和arxiv文献摘要
m0_60707685的博客
05-12 1074
等。
Python爬虫——爬取IEEE论文
wp7xtj98的博客
01-16 4708
采用Python3.9爬取IEEE数据库论文信息，遇到的问题及解决方法记录。主要包括：①requests库的GET请求和POST请求；②HTML中JavaScript数据解析
知网论文信息获取selenium
sober_pluto的博客
06-15 242
from selenium import webdriver import time import xlrd import xlwt import os from selenium.webdriver import ActionChains from selenium.webdriver.common.by import By from selenium.webdriver.support.ui import WebDriverWait from selenium.webdriver.support imp
【毕设】selenium 爬取知网作者信息
淡看江湖路
03-16 1015
1. 获取网页url 2. 解析网页，发现网页大部分内容存储在了iframe标签中 3. 通过selenium获取信息并保存到CSV文件中 4. 更多源码已放置码云
python实现基于selenium的自动化知网文献爬虫源码+文档说明.zip
05-09
python实现基于selenium的自动化知网文献爬虫源码+文档说明.zippython实现基于selenium的自动化知网文献爬虫源码+文档说明.zippython实现基于selenium的自动化知网文献爬虫源码+文档说明.zippython实现基于selenium...
基于selenium的自动化知网文献爬虫python源码.zip
05-06
基于selenium的自动化知网文献爬虫python源码.zip基于selenium的自动化知网文献爬虫python源码.zip基于selenium的自动化知网文献爬虫python源码.zip基于selenium的自动化知网文献爬虫python源码.zip基于selenium的...
基于selenium的自动化知网文献爬虫python源码+运行说明（课程大作业）.zip
最新发布
07-25
基于selenium的自动化知网文献爬虫python源码+运行说明（课程大作业）.zip 【备注】 1、该资源内项目代码都经过测试运行成功，功能ok的情况下才上传的，请放心下载使用！有问题请及时沟通交流。 2、适用人群：计算机...
Python-Selenium Webdriver+google chrome浏览器爬取中国知网的文献概述
weixin_37806591的博客
01-14 1842
Python-Selenium Webdriver+google chrome浏览器爬取中国知网的文献概述 目录Python-Selenium Webdriver+google chrome浏览器爬取中国知网的文献概述前言一、使用webdriver的注意事项二、开始码代码1.引入库&总体思路2.检索部分3.文献url批量爬取4.文献详情爬取+excel保存总结完整代码参考内容 前言 小白的第一篇文章！最近假期写专利需要参考知网所有相关专利文献，一篇篇点进去看实在太慢了。。一气之下就写了个pytho
使用Scrapy、PhantomJS和Selenium爬取知网文献摘要
KC_A_CO的博客
07-16 2849
使用Scrapy、PhantomJS和Selenium爬取知网文献摘要。以下例子用于爬取“医药卫生科技”类文献摘要。 1.使用Scrapy创建项目 scrapy startproject cnki 2.进入cnki文件夹创建HtmlFilter.py用于除去标签 具体实现请参考：https://blog.csdn.net/kc_a_co/article/details/81052101 ...
爬虫论文爬虫论文爬虫论文爬虫论文爬虫论文爬虫论文爬虫论文爬虫论文
12-22
爬虫论文爬虫论文爬虫论文爬虫论文爬虫论文爬虫论文爬虫论文爬虫论文爬虫论文爬虫论文爬虫论文爬虫论文爬虫论文爬虫论文爬虫论文爬虫论文爬虫论文爬虫论文爬虫论文爬虫论文爬虫论文爬虫论文爬虫论文爬虫论文爬虫论文爬虫论文爬虫论文爬虫论文爬虫论文爬虫论文爬虫论文爬虫论文爬虫论文爬虫论文爬虫论文
简单的爬虫爬取文章
wuhui_cheng的博客
01-30 1607
我们会用一些简单的爬虫去爬取小说等，那么在别人的网站中我们的应选择对应的标题等数据作为爬取的内容标杆 如以下代码 //模拟浏览器发请求 Connection connect = Jsoup.connect(“”"); Document doc = connect.get(); //System.out.println(document); Elements select = doc.select(...
爬虫（6）-使用selenium爬取淘宝天猫商品信息（价格，销售量等）
qq_42754919的博客
09-25 3278
在学习本节时，发现在淘宝页面搜索需要登录账号密码，因此就选择天猫网页进行爬取，但是只能爬取第一页，之后的页面也要登录账号。（京东页面搜索下一页不要登录账号，有时间做一个爬取京东页面商品信息） 1.准备工作 天猫搜索页面的URL，以及关键字 https://list.tmall.com/search_product.htm?q= q后面就是我们需要搜索的商品名称，可以使用quote函数输入keyword,也可以使用send_keys传入到输入框，本文使用第二种方法. url='https://list.tma
各种论文摘要爬取
开发者的博客
02-06 6894
首先通过知识搜索网站搜索相关论文 http://search.cnki.net/ 抓取所有包含关键字的链接 # -*- coding: utf-8 -*- import time import re import random import requests if __name__ == '__main__': headers = { 'User-Agent':
python+selenium批量爬取ieeexplore论文
ling
11-20 8925
一、环境搭建 首先下载安装selenium包，推荐直接使用pip 之后还要下载对应浏览器的驱动（driver)，这里使用的是chrome浏览器，注意驱动与浏览器的版本要相对应。下载的驱动直接复制到python和chrome的安装目录下。 python+selenium的环境搭建教程很多，这里不做赘述。 二、观察一下 我们以：  http://ieeexplore.ieee.or
python爬虫——打造个人专属pubmed文献搜索工具
热门推荐
weixin_43566022的博客
07-04 1万+
一、效果与功能介绍 搜索效果图1）搜索功能区 在输入框中输入关键词，按“enter'键或点击”确定“即可实现默认搜索，你也可以点击”最近1年“搜索近1年的文章， 搜索结果显示在”结果显示区“，你可以通过”上一页“或”下一页“将搜索结果翻页， 点击”帮助“，会显示一些搜索的小技巧，比如关键词与字段的搭配等。 2）摘要显示区 每次搜索完成后，会自动显示当页第一篇文章的摘要信息，你可以通过”下一篇“或”上一篇“实现翻篇操作， 当你对该篇文章感兴趣或想引用的时候，点击”打开原文“，会帮你自动打开浏览器
使用爬虫爬取CCF推荐论文
qq965194745的博客
01-28 2509
目录 目录 爬虫入门练手目标 处理主页 处理主页代码 处理目录下各种论文的A类目标地址 获取A类论文dblp地址代码 Volume的获取 Volume页面模块测试代码 文章页面 提取文章模块测试代码 输出 组装 遇到的问题 为什么要doi号 解决办法 完整代码 mainpy volumepy articlepy 运行效果 爬虫入门练手目标 爬取CCF推
python 使用selenium和requests爬取页面数据
weixin_30363509的博客
12-03 1012
目的：获取某网站某用户下市场大于1000秒的视频信息 1.本想通过接口获得结果，但是使用post发送信息到接口，提示服务端错误。 2.通过requests获取页面结果，使用html解析工具，发现麻烦而且得不到想要的结果 3.直接通过selenium获取控件的属性信息，如图片、视频地址，再对时间进行筛选。将信息保存到以id命名的文件夹下 # -*- coding:utf-8 -*- from sel...
Python爬取知网文献
04-19
Python可以使用多种库来实现对知网文献的爬取，其中比较常用的是使用requests库进行网页请求，然后使用BeautifulSoup库进行网页解析。以下是一个简单的Python爬取知网文献的示例代码： ```python import requests from bs4 import BeautifulSoup # 设置请求头，模拟浏览器访问 headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3' } # 构造请求URL keyword = '知网文献' url = f'http://search.cnki.net/search.aspx?q={keyword}' # 发送请求并获取响应内容 response = requests.get(url, headers=headers) html = response.text # 使用BeautifulSoup解析网页内容 soup = BeautifulSoup(html, 'html.parser') # 提取相关信息 results = soup.find_all('div', class_='wz_content') for result in results: title = result.find('a').text author = result.find('span', class_='author').text abstract = result.find('span', class_='abstract').text print('标题:', title) print('作者:', author) print('摘要:', abstract) print('---') # 相关问题： # 1. 如何使用Python爬取知网文献？ # 2. 有哪些常用的Python库可以用于网页爬取？ # 3. 如何设置请求头模拟浏览器访问？ ``` 请注意，爬取知网文献需要遵守相关法律法规和知网的使用规定，确保合法合规使用。
评论 24
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

咸鱼Linux运维

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值