python爬虫小练习

使用python爬取斗破苍穹小说的前几章，并将其写入到txt文件中

import requests
from bs4 import BeautifulSoup
for i in range(10):
    url = 'http://www.022003.com/2_2447/97317%d.html'%i
    noval = requests.get(url)
    soup = BeautifulSoup(noval.content,'lxml')
    #匹配所有在body节点下的div标签
    #print(soup.body.div())
    #获取所有的h1标签内容
    #print(soup.h1.string)

    #匹配标签属性
    #print(soup.div.attrs)
    cont = soup.find_all(id='content')
    #改变目标文件的编码
    #此段代码中若a换为w，则会只将数据流的末尾字段写入到文件中去
    file = open('doupocangqiong.txt','a',encoding='utf-8')
    file.write(str(cont))
    file.close()