自学爬虫第二天，飞卢小说网。

      依赖的库：requests, lxml, parsel（因为要熟悉第三方库，所以在爬title和具体的内容时用了不同的库去解析）

        

        我自己的爬取思路：

        1.先F12打开调试，网络 → 文档，刷新看静态的html文档内容，看看是否有显示不了的或者乱码情况：

        2.对左侧的html文档右键点击复制构建请求头，然后看一下响应给我们的信息有没有乱码或者显示问题。                                                            

        看起来也没有什么问题，接下来解析一下并获得标题和内容。

        3.这里的分析库我用的是lxml的etree，先把响应的内容转换为能解析的内容，然后对re用xpath进行解析：

        

        输出内容是这样的，因为不好截取，所以我把获取标题的目标放到了目录上，这个等会再说：

        

        4.一章的内容能爬出来，那么就所有非VIP章节：              

        所有章节标题以及子章节的url我准备用parsel去分析爬取。

        重复第2步的复制构建请求头操作 

        把响应内容转化为可解析的内容，然后请求title_list和url_list：        

        在此循环下，我把之前单个章节的代码请求修改一下放到循环下，并定义一个保存路径：        

        执行，发现到36章写入的时候有报错，单独限制了一下url，看了一下内容，原来是36章的某一句中喽啰的啰没有识别出来，是一个问号：

        在网上查了资料，可以基本断定属于编码的问题，这时我把respond对象里面的两个属性输出出来做对比，分别是respond.encoding和respond.apparent_encoding：

        

        我们会发现，这两个属性并不是一样的，为什么会这样呢？encoding属性是通过响应头来判断得出来的，apparent_encoding是通过网站解析的方式得出来的，大致来说，apparent_encoding的准确率要比encoding高，所以我们要同步这两个编码，在循环的请求体下面加上：        

        当两个编码一样的时候，encoding还是原来的，如果不一样，那么就把apparent_encoding的编码赋给response.encoding。

        执行，发现45章都成功爬取，且36章的喽啰的啰也成功解析。

        

        到此，这篇小说的可爬部分已经全部被爬取下来，有兴趣的可以自行尝试