kjadhgfiuao的博客

上一篇文章介绍了使用requests爬取某网站的小说，但是有时候很多网站不知道因为什么原因（笔者水平有限真的不知道为什么正则不出来555）不能够爬取到自己想要的html，这时候我们就需要用到解析神器parsel模块，这是python的第三方库，使用的时候还得安装，小伙伴们需要记得。笔者使用的是PyCharm，需要安装新的模块的时候可以使用pip，也可以这样操作：点击这里，看到有设置选项，点进去：然后就可以看到自己已经安装的了模块，看右上角有一个 ‘+’ 的符号，这是添加，‘-’ 是删除，我们点

使用python爬虫，requests(夹带BeautifulSoup的使用)爬取网络小说由于本人也是初学者，算是小白一枚，这里跟大家分享一下爬取网站上的小说的过程。第一步我们需要导入我们需要的模块，比如requests,BeautifulSoup,还有正则模块re。import reimport requestsfrom bs4 import BeautifulSoup然后我们需要找到我们需要爬取的网站，这里我选用了这个网站：*http://www.tianxiabachang.cn接