Python爬虫入门学习——网页批量爬取文本(2)

最新推荐文章于 2024-05-14 18:07:14 发布

Java成功学

最新推荐文章于 2024-05-14 18:07:14 发布

阅读量415

点赞数 16

分类专栏：程序员文章标签： python 爬虫学习

本文链接：https://blog.csdn.net/m0_60607536/article/details/138344160

版权

程序员专栏收录该内容

184 篇文章 0 订阅

订阅专栏

通过右击鼠标按钮，选中检查。
在这里插入图片描述
可以看出右侧已经出现网页的源码啦。初学者看不懂这样的代码其实不必担心，我们只是想获得自己需要的内容，并不需要对完整网页的编码过程进行逐一了解。
移动鼠标在代码的不同行，移动到某处发现左侧的网页界面边蓝（表示已经选中对应网页中的某部分内容），点击代码左侧的小三角一次进行展开，直到展开得到你想要的内容。
比如在下图中，我们搜索了Python这个语句，搜索完成后，查看网页的隐藏代码部分如下图：
在这里插入图片描述
鼠标移动在代码中，逐渐展开代码，其实可以明显看出，我们搜索字符串“Python”，因此右侧的ov和value值中出现了python字段，并且可以在前边的input type中看出输入的是text文本类型的字符串。
因此我们尝试修改一下输入的类型，双击input type=“text”的text字段，将其修改为“password”，双击完成后，可以看出左侧直接变为了密码型的字段。
在这里插入图片描述
再将其恢复为文本类型，我们再修改一下ov和value的值

可以看出修改后搜索界面也发生了相应的改变，因此可以看出界面与代码之间是相对应的。在Network中同样也可以看到对应的搜索文本内容。

二、入门爬虫库的基本介绍与使用

库的下载

**
在这里插入图片描述

可以通过在windows的cmd命令（开始键+r键–>输入cmd打开）中输入
pip install <库名>
即可直接下载
在这里插入图片描述

如果是采用PyCharm，则可以在File–>setting内搜索库名直接进行下载
在这里插入图片描述

介绍完库的下载方法后接下来就是库的介绍引用过程啦！！
依此将函数的功能列出实在是比较枯燥，因此选择举例方法介绍基本库函数的使用！

1.引入requests库并对库函数进行使用爬取全文本信息

首先爬虫需要使用的库是requests库，其功能主要是由网站的url获取网页全部信息。

import requests
req = requests.get(url = <目标网站>, headers = <网站爬虫的头信息>)

#通常使用headers来隐藏自己爬虫的身份，通过headers信息将自己伪装成->
#浏览器搜索引擎等，是防止一些网站识破代码爬虫的有效手段。

requests.get()函数主要是返回网页的基本信息，通常要对获得的信息进行解码，此时就需要了解到原始网页的头文名里的编码信息。
一般是在里边找到"charset"的信息，一般为utf-8。
在这里插入图片描述

req.enconding = "utf-8" #解码过程
html = req.text #导出文本内容

其实到这里就可以对小说网站进行最基本的爬虫了，
在这里插入图片描述
以下就是最基础的入门代码。

import requests
#from bs4 import BeautifulSoup

if __name__ == '__main__':
    url = 'https://www.xqb5200.com/95_95204/49370156.html'#目标访问网站url
    #伪装头信息的引入
    header = {"User-Agent":
    "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.25 Safari/537.36 Core/1.70.3861.400 QQBrowser/10.7.4313.400"}
    req = requests.get(url=url,headers = header) #返回爬取网站信息
    req.encoding = 'gbk'  #查看head中charset可以查找到编码信息
    html = req.text #转化为文本
    print(html)

看到这里，初学者肯定会疑惑headers是从哪儿获取得到的，下面是简单举例：在这里插入图片描述
在网页的Netwrok中找到headers，往下翻，寻找到User-Agent，将其复制粘贴即可。
爬取结果如下：

显然，它把全部信息都显示了，并不是我们需要的内容。
接下来就要引入另一个库进行。
在这里插入图片描述

2.BeautifulSoup库的介绍、引用过程及解析获取爬虫数据

除了requests库的爬取内容，其次就是BeautifulSoup库的解析数据功能。
BeautifulSoup库是BeautifulSoup4库（一般书写为bs4）中的子库。

import bs4 from BeautifulSoup
#html接上文中的已爬取得到的全部信息
 bes= BeautifulSoup(html,"lxml")#通过lxml方式解析获取网页中文本信息
 text = bes.find("div", id = "content"[,class_ = "<class的名称>"]) #解析text中，提取标签为"div"内id = "content"全部信息，也可解析提取class = <某名称>的内容信息

在这里插入图片描述

代码如下：

import requests
from bs4 import BeautifulSoup

if __name__ == '__main__':
    url = 'https://www.xqb5200.com/95_95204/49370156.html'
    header = {"User-Agent":"Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.25 Safari/537.36 Core/1.70.3861.400 QQBrowser/10.7.4313.400"}
    req = requests.get(url=url,headers = header)
    req.encoding = 'gbk'
    html = req.text
    bes = BeautifulSoup(html,"lxml")
    texts = bes.find("div", id = "content")
    print(texts)

运行结果如下：
在这里插入图片描述
结果中可以看出在每段的开头处存在四个空格键，因此需要将其消除

代码如下：

    texts_list = texts.text.split("\xa0"*4)
    print(texts_list)

得到列表结果：
在这里插入图片描述
**

全代码如下：

import requests
from bs4 import BeautifulSoup

if __name__ == '__main__':
    url = 'https://www.xqb5200.com/95_95204/49370156.html'
    header = {"User-Agent":"Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.25 Safari/537.36 Core/1.70.3861.400 QQBrowser/10.7.4313.400"}
    req = requests.get(url=url,headers = header)
    req.encoding = 'gbk'
    html = req.text
    bes = BeautifulSoup(html,"lxml")
    texts = bes.find("div", id = "content")
    texts_list = texts.text.split("\xa0"*4)
    with open("D:/novel.txt","w") as file:    ##打开读写文件，逐行将列表读入文件内
        for line in texts_list:
            file.write(line+"\n")

得到结果如下：
在这里插入图片描述

别急，还有亿点点！

三、初步进阶——批量爬取下载小说

批量读入小说文本文件
可将代码进一步深化，采用同样的操作方法，从全体章节处读取url网站名导入列表中，再对以上代码进行批量的读取即可进行批量下载小说等文本文件了。
在这里插入图片描述
**

批量爬取下载小说至txt文本全代码如下：

import requests
from bs4 import BeautifulSoup

def geturl():
    url = "https://www.xqb5200.com/95_95204/"
    header = {"User-Agent":
                  "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.25 Safari/537.36 Core/1.70.3861.400 QQBrowser/10.7.4313.400"}
    req = requests.get(url = url, headers = header)
    req.encoding = "gbk"
    html = req.text
    bes = BeautifulSoup(html,"lxml")
    texts = bes.find("div", id="list")
    chapters = texts.find_all("a") #该函数可以返回list下的标签为a的所有信息
    words = [] #创建空的列表，存入每章节的url与章节名称
    ##对标签a内的内容进行提取
    for chapter in chapters:
        name = chapter.string #取出字符串，可以看出字符串只有章节号与章节名称，刚好符合我们所需
        url1 = url + chapter.get("href") #获得每一章节小说的url，可从html代码中看到每一个"href"前边均缺少初始的url，因此需要加上
        word = [url1, name] #以列表格式存储
        words.append(word) #最终加入总的大列表中并返回
    return words

if __name__ == '__main__':
    target = geturl()
    header = {"User-Agent":
                  "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.25 Safari/537.36 Core/1.70.3861.400 QQBrowser/10.7.4313.400"}
    for tar in target:
        req = requests.get(url=tar[0],headers = header)
        req.encoding = 'gbk'


### 最后

> **🍅 硬核资料**：关注即可领取PPT模板、简历模板、行业经典书籍PDF。  
> **🍅 技术互助**：技术群大佬指点迷津，你的问题可能不是问题，求资源在群里喊一声。  
> **🍅 面试题库**：由技术群里的小伙伴们共同投稿，热乎的大厂面试真题，持续更新中。  
> **🍅 知识体系**：含编程语言、算法、大数据生态圈组件（Mysql、Hive、Spark、Flink）、数据仓库、Python、前端等等。




**网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。**

**[需要这份系统化学习资料的朋友，可以戳这里无偿获取](https://bbs.csdn.net/topics/618317507)**

**一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！**

Java成功学

关注

16
点赞
踩
19

收藏

觉得还不错? 一键收藏
0
评论
Python爬虫入门学习——网页批量爬取文本(2)

*除了requests库的爬取内容，其次就是BeautifulSoup库的解析数据功能。BeautifulSoup库是BeautifulSoup4库（一般书写为bs4）中的子库。#html接上文中的已爬取得到的全部信息bes= BeautifulSoup(html,"lxml")#通过lxml方式解析获取网页中文本信息。
复制链接

扫一扫