爬取书趣阁小说

1、请求网页

2、获取html文件

获取文本内容后，中文部分全是乱码，需进行解码

# 导入包
import requests
url = "http://www.shuquge.com/txt/514/363448.html"
reponse = requests.get(url)
print (reponse.text)

3、解码

#解码
reponse.encoding = reponse.apparent_encoding
print (reponse.text)

4、提取内容

在这里仍然使用的lxml 来提取信息，主要提取它的名称，用来做txt文件的名称，并把内容保存进文件内

# 提取信息
from lxml import etree
#解析
etree_html = etree.HTML(reponse.text)
#提取标题
title = etree_html.xpath('//*[@id="wrapper"]/div[4]/div[2]/h1/text()')
print (title)
#提取内容
content = etree_html.xpath('//*[@id="content"]//text()') #现在还是数组形式，文本，字符串
text = "".join(content) #把数组转化为字符串，\r和\n换行
text

所获取的内容

5、存入TXT

with open('./第一章 若得来生重倚剑，屠尽奸邪笑苍天.txt', 'a', encoding='utf-8') as file: #创建并打开一个文件
    file.write(text) #放进去内容，写入
    file.close() # 关闭

6、封装方法

封装方法就像一个盒子一样，要有一把钥匙打开才能运行盒子里的东西，比如图中的 download_text(target_url) 带着“target_url”这把钥匙去打开def这个盒子，才能运行盒子里的东西（也就是红框中的代码）

7、爬取首页所有链接

import requests
from lxml import etree

def get_link(index_url):
    index_html = requests.get(index_url).text    
    index_etree = etree.HTML(index_html)
    dd = index_etree.xpath('/html/body/div[5]/dl/dd')
    link_list = [] # 打包所有的练接
    for item in dd:
        href = "http://www.shuquge.com/txt/514/"+item.xpath('./a/@href')[0]
        link_list.append(href)
    return link_list #返回的东西，我要带走的

if __name__ =='__main__':
    index_url = "http://www.shuquge.com/txt/514/index.html" #文章首页链接
    links = get_link(index_url)
    for link in links:
        target_url = link
        print (target_url)

8、爬取所有章节

# 导入包
import requests
from lxml import etree

filePath = r"C:\Users\Youle\Desktop\爬取的小说\\" #本机的桌面路径，r表示原意，多加一个\表示转义

#这个方法下载并提取文字
def download_text(url):
    # 导入包
    reponse = requests.get(url)
    #解码，万能模式
    reponse.encoding = reponse.apparent_encoding
    #解析
    etree_html = etree.HTML(reponse.text)
    #提取标题
    title = etree_html.xpath('//*[@id="wrapper"]/div[4]/div[2]/h1/text()')
    print (title)
    #提取内容
    content = etree_html.xpath('//*[@id="content"]//text()') #现在还是数组形式，文本，字符串
    text = "".join(content) # 把数组转换为字符串，\r和\n都是换行符
    # 保存到txt文件，放到电脑桌面，绝对路径,r表示原意，\代表转义字符
    with open(filePath + title[0] + '.txt', 'a', encoding='utf-8') as file: #创建并打开一个文件
        file.write(text) #放进去内容，写入
        file.close() # 关闭
        
# 取到所有文章的链接        
def get_link(index_url):
    index_html = requests.get(index_url).text 
    index_etree = etree.HTML(index_html)
    dd = index_etree.xpath('/html/body/div[5]/dl/dd')
    link_list = [] # 打包所有的练接
    for item in dd:
        href = "http://www.shuquge.com/txt/514/"+item.xpath('./a/@href')[0] #拼接出完整的链接
        link_list.append(href)
    return link_list #返回的东西，我要带走的

if __name__ =='__main__':
    index_url = "http://www.shuquge.com/txt/514/index.html" #文章首页链接
    links = get_link(index_url)
    for link in links:
        target_url = link
        print ("这在爬取：", target_url)
        download_text(target_url) #带进去的东西

结果显示：