最全Python爬虫实战爬取网络中的小说_手机怎么爬虫晋江做txt，英语面试突击

本文链接：https://blog.csdn.net/2401_84569463/article/details/138517412

现在能在网上找到很多很多的学习资源，有免费的也有收费的，当我拿到1套比较全的学习资源之前，我并没着急去看第1节，我而是去审视这套资源是否值得学习，有时候也会去问一些学长的意见，如果可以之后，我会对这套学习资源做1个学习计划，我的学习计划主要包括规划图和学习进度表。

分享给大家这份我薅到的免费视频资料，质量还不错，大家可以跟着学习

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

需要这份系统化学习资料的朋友，可以戳这里获取

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！

**【例5-1】**网络小说的爬取程序。

__init__（）和__del__（）方法可以视为构造函数和析构函数，分别在对象被创建和被销毁时执行。在__init__（）中使用一个URL字符串进行了初始化，而在__del__（）方法中退出了Selenium浏览器。

try-except语句执行主体部分并尝试捕获WebDriverException异常(这也是Selenium运行时最常见的异常类型)。在lopping_crawl()方法中则分别调用了上述其他几个方法。

driver.save_screenshot()方法是selenium.webdriver中保存浏览器当前窗口截图的方法。

driver.implicitly_wait()方法是Selenium中的隐式等待，它设置了一个最长等待时间，如果在规定的时间内网页加载完成，则执行下一步，否则一直等到时间截止，然后再执行下一步。

提示

显式等待会等待一个确定的条件触发然后才进行下一步，可以结合ExpectedCondition共同使用，支持自定义各种判定条件。隐式等待在编写时只需要一行，所以编写十分方便，其作用范围是WebDriver对象实例的整个生命周期，会让一个正常响应的应用的测试变慢，导致整个测试执行的时间变长。

**driver.find_elements_by_tag_name（）**是Selenium用来定位元素的诸多方法之一，所有定位单个元素的方法如下。

find_element_by_id（）：根据元素的id属性来定位，返回第一个id属性匹配的元素；如果没有元素匹配，会抛出NoSuchElementException异常。
find_element_by_name（）：根据元素的name属性来定位，返回第一个name属性匹配的元素；如果没有元素匹配，则抛出NoSuchElementException异常。
find_element_by_xpath（）：根据XPath表达式定位。
find_element_by_link_text（）：用链接文本定位超链接。该方法还有子串匹配版本find_element_by_partial_link_text（）。
find_element_by_tag_name（）：使用HTML标签名来定位。
find_element_by_class_name（）：使用class定位。
find_element_by_css_selector（）：根据CSS选择器定位。

寻找多个元素的方法名只是将element变为复数elements，并返回一个寻找的结果(列表)，其余和上述方法一致。在定位到元素之后，可以使用text()和get_attribute()方法获取其中的文本或各个属性。

这行代码使用get_attribute()方法来获取定位到的各章节的URL地址。在以上程序中还使用了re（Python的正则模块）中的re.match()方法，根据正则表达式来匹配page_url。形如：

这样的正则表达式所匹配的是下面这样一种字符串：

其中，A部分必须是6个数字，B部分必须是一个以上的数字。这也正好是小说各个章节页面的URL形式，只有符合这个形式的URL链接才会被加入page_list中。

re模块的常用函数如下。

compile（）：编译正则表达式，生成一个Pattern对象。之后就可以利用Pattern的一系列方法对文本进行匹配/查找(当然，匹配/查找函数也支持直接将Pattern表达式作为参数)。
match（）：用于查找字符串的头部(也可以指定起始位置)，它是一次匹配，只要找到了一个匹配的结果就返回。
search（）：用于查找字符串的任何位置，只要找到了一个匹配的结果就返回。
findall（）：以列表形式返回能匹配的全部子串，如果没有匹配，则返回一个空列表。
finditer（）：搜索整个字符串，获得所有匹配的结果。与findall（）的一大区别是，它返回一个顺序访问每一个匹配结果(Match对象)的迭代器。
split（）：按照能够匹配的子串将字符串分割后返回一个结果列表。
sub（）：用于替换，将母串中被匹配的部分使用特定的字符串替换掉。

提示

正则表达式在计算机领域中应用广泛，读者有必要好好了解一下它的语法

在looping_crawl（）方法中分别使用了get_novel_name（）获取书名并转换为TXT文件名，get_page_urls（）获取章节页面的列表，text_to_txt（）保存抓取到的正文内容。在这之间还大量使用了各类元素定位方法(如上文所述)。

03 运行并查看TXT文件

这里选取一个小说——逐浪小说网的《绝世神通》，运行脚本并输入其章节列表页面的URL，可以看到控制台中程序成功运行时的输出，如图5-3所示。

■ 图5-3小说爬虫的输出

抓取结束后，用户可以发现目录下多出一个名为“screenshot.png”的图片(见图5-4)和一个“绝世神通.txt”文件(见图5-5)，小说《绝世神通》的正文内容(按章节顺序)已经成功保存。

■ 图5-4逐浪小说网的屏幕截图

■ 图5-5小说的部分内容

程序圆满地完成了下载小说的任务，缺点是耗时有些久，而且Chrome占用了大量的硬件资源。对于动态网页，其实不一定必须使用浏览器模拟的方式来爬取，可以尝试用浏览器开发者工具分析网页的请求，获取到接口后通过请求接口的方式请求数据，不再需要Selenium作为“中介”。另外，对于获得的屏幕截图而言，图片是窗口截图，而不是整个页面的截图(长图)，为了获得整个页面的截图或者部分页面元素的截图，用户需要使用其他方法，如注入JavaScript脚本等，本文就不再展开介绍。

我这里准备了详细的Python资料，除了为你提供一条清晰的学习路径，我甄选了最实用的学习资源以及庞大的实例库。短时间的学习，你就能够很好地掌握爬虫这个技能，获取你想得到的数据。

01 专为0基础设置，小白也能轻松学会

我们把Python的所有知识点，都穿插在了漫画里面。

在Python小课中，你可以通过漫画的方式学到知识点，难懂的专业知识瞬间变得有趣易懂。
在这里插入图片描述

你就像漫画的主人公一样，穿越在剧情中，通关过坎，不知不觉完成知识的学习。

02 无需自己下载安装包，提供详细安装教程

在这里插入图片描述

03 规划详细学习路线，提供学习视频

最后

Python崛起并且风靡，因为优点多、应用领域广、被大牛们认可。学习 Python 门槛很低，但它的晋级路线很多，通过它你能进入机器学习、数据挖掘、大数据，CS等更加高级的领域。Python可以做网络应用，可以做科学计算，数据分析，可以做网络爬虫，可以做机器学习、自然语言处理、可以写游戏、可以做桌面应用…Python可以做的很多，你需要学好基础，再选择明确的方向。这里给大家分享一份全套的 Python 学习资料，给那些想学习 Python 的小伙伴们一点帮助！