面向特定问题的开源算法管理和推荐（二） | 2021SC@SDUSC

2021SC@SDUSC

系列文章目录

（一）组内分工情况

（二）任务一爬虫部分代码分析（上）

文章目录

系列文章目录

前言

一、程序结构

 二、使用的python库

 三、核心代码分析

未完待续……

---

前言

任务一：数据集爬取与统计

• 从百度学术 - 保持学习的态度上爬取至少5000个中文论文摘要、标题和关键词，将爬取到的内容存放到execl表格中或数据库中。
• 需要统计Baiduxueshu数据集中文档的平均长度、文档中平均关键词的个数、关键词在文中存在比，并补充完整下面表格。

表1数据集描述表

数据集	文档总数	文档平均长度	文档平均关键字个数	关键词在文中存在比
Baiduxueshu

代码借鉴：

爬取百度学术文章及文本挖掘分析_星影L的博客-CSDN博客_爬取百度学术

参考文献：https://www.jianshu.com/p/1b63c5f3c98e 来源：简书

本文将对爬取数据集的核心代码进行分析

---

一、程序结构

 二、使用的python库

from bs4 import BeautifulSoup
from selenium import webdriver
import time
import pandas as pd
import requests
from collections import defaultdict

（1）使用了bs4库中的BeautifulSoup：

Beautiful Soup是一个可以从HTML或XML文件中提取数据的Python库，简单来说，它能将HTML的标签文件解析成树形结构，然后方便地获取到指定标签的对应属性。

通过Beautiful Soup库，我们可以将指定的class或id值作为参数，来直接获取到对应标签的相关数据，这样的处理方式简洁明了。

（2）使用了selenium库中的webdriver：

        WebDriver 以本地化方式驱动浏览器，就像用户在本地或使用 Selenium 服务器的远程机器上所做的那样，这标志着浏览器自动化的飞跃。

        Selenium WebDriver 指的是语言绑定和各个浏览器控制代码的实现。 这通常被称为 WebDriver。

        Selenium WebDriver 是 W3C 推荐标准

• WebDriver 被设计成一个简单和简洁的编程接口。

• WebDriver 是一个简洁的面向对象 API。

• 它能有效地驱动浏览器。

（3）使用了time库：

• time库是Python中处理时间的标准库
• 提供获取系统时间并格式化输出功能
• 提供系统级精确计时功能，用于程序性能分析

（4）使用了pandas库：

Pandas 是Python的核心数据分析支持库，提供了快速、灵活、明确的数据结构，旨在简单、直观地处理关系型、标记型数据。Pandas 的目标是成为 Python 数据分析实践与实战的必备高级工具，其长远目标是成为最强大、最灵活、可以支持任何语言的开源数据分析工具。经过多年不懈的努力，Pandas 离这个目标已经越来越近了。

Pandas 适用于处理以下类型的数据：

• 与 SQL 或 Excel 表类似的，含异构列的表格数据;
• 有序和无序（非固定频率）的时间序列数据;
• 带行列标签的矩阵数据，包括同构或异构型数据;
• 任意其它形式的观测、统计数据集, 数据转入 Pandas 

（5）使用了requests库：

Requests 库是在 urllib 的基础上开发而来，它使用 Python 语言编写，并且采用了 Apache2 Licensed（一种开源协议）的 HTTP 库。与 urllib 相比，Requests 更加方便、快捷，因此在编写爬虫程序时 Requests 库使用较多。

（6）使用了collections库中的defaultdict：

Python中通过Key访问字典，当Key不存在时，会引发‘KeyError’异常。为了避免这种情况的发生，可以使用collections类中的defaultdict()方法来为字典提供默认值。

语法格式：
collections.defaultdict([default_factory[, …]])

该函数返回一个类似字典的对象。defaultdict是Python内建字典类（dict）的一个子类，它重写了方法_missing_(key)，增加了一个可写的实例变量default_factory,实例变量default_factory被missing()方法使用，如果该变量存在，则用以初始化构造器，如果没有，则为None。其它的功能和dict一样。
 

 三、核心代码分析

下面按照函数分块进行核心代码分析

（一）def driver_open(key_word):

这个函数的主要作用是打开想要爬取的网页（使用selenium进行自动输入，并利用传入的key_word进行搜索），最后返回使用BeautifulSoup解析的结果-soup

此方法使用了使用了selenium库中的webdriver，这是Selenium里面最重要的东西。Selenium Webdriver（也就是Selenium2，Selenium3）和Selenium RC（Selenium 1）一样提供了web自动化的各种语言调用接口库。相比Selenium RC，Selenium WebDriver的编程接口更加直观易懂，也更加简练。但是和Selenium RC不同的是，Selenium Webdriver是通过各种浏览器的驱动（web driver）来驱动浏览器的，而不是通过注入JavaScript的方式，下面是其原理的示意图：

​

 指定驱动,执行到这里的时候Selenium会到指定的路径将chrome driver程序运行起来，chrome driver会将浏览器运行起来。成功后会返回一个WebDriver实例对象，通过它的方法，可以控制浏览器，我们可以把它想象成浏览器的遥控器一样。

driver=webdriver.Chrome("D:\\ProgramData\\Anaconda3\\envs\\py38\\Scripts\\chromedriver.exe")

浏览器运行起来后，通常第一件事情就是打开网址了。一般我们通过控制对象的get方法来控制浏览器打开指定网址。

url = "http://xueshu.baidu.com/"
driver.get(url)

选择网页元素

​

 ​

 这样做的目的是为了使用selenium进行自动输入，并搜索。

这里使用了time，这里必须要等待时间，因为代码运行过快，代码运行完的时候页面还没加载出来就会找不到元素

driver.find_element_by_class_name('s_ipt').send_keys(key_word)
time.sleep(2)
driver.find_element_by_class_name('s_btn_wr').click()
time.sleep(2)

使用selenium 的 page_source方法获取到页面源码，同时关闭浏览器和驱动

content = driver.page_source.encode('utf-8')
driver.close()

最后，使用了bs4库中的BeautifulSoup：Selenium获取某些元素数据不太方便时，我们可以将BeautifulSoup和 Selenium两种技术融合使用达到我们的目的。

将网页源码构造成BeautifulSoup对象，方便操作

soup = BeautifulSoup(content, 'lxml')
return soup

至此，第一个方法分析完毕
 

---

未完待续……