Python爬虫—爬取小说名著

周末闲来无事，本来想看一看书的，结果也没看进去(RNG输的我真是糟心。。。)

于是就用python写了一个爬虫，来爬取小说来看，防止下次还要去网上找书看。

我们先找一个看名著的小说网

我们打开http://www.mingzhuxiaoshuo.com/ 名著小说网来，首先看到的是这样的

我们如上图选一个大家耳熟能详的书，《富爸爸穷爸爸》，我们点开来，点击在线阅读

出现了这本书的目录，http://www.mingzhuxiaoshuo.com/waiguo/154/，这个url是我们首先爬取的网页，我们先将每一章节的url爬取出来。

我们打谷歌的开发工具 F12，去找本网站的目录规律

我们发现每一个目录都有一个href，我们点开了一章，查看他的url，发现是这样的，如下图http://www.mingzhuxiaoshuo.com/waiguo/154/4857.Html。

我们结合上面的一系列目录，寻找规律。可以确认的每一章的url = www.mingzhuxiaoshuo.com +