用python编写一个简单的爬虫,爬取笔趣阁小说《遮天》。仅供学习,请勿用于商业用途!
#-*-coding:utf-8-*-
import requests
from bs4 import BeautifulSoup
import random
def find_content(f, url):
res = requests.get(url)
res.encoding = 'GB18030'
soup = BeautifulSoup(res.text.replace(' ', ' '), 'html.parser')
title = soup.select('.bookname h1')[0].text
print(title)
tt = soup.select('#content')[0].text
f.write(title + '\n\n' + tt + '\n\n')
if __name__ == "__main__":
url = 'http://www.biquge.com.tw/2_2016/' # 小说目录页的网址
url1 = 'http://www.biquge.com.tw/'
headers = {'Host': 'www.biquge.com.tw',
'Connection': 'keep-alive',
'Cache-Control': 'max-age=0',
'User-Agent': 'Mozilla/5.0 (Win
python爬虫(爬取一部完整小说)
最新推荐文章于 2024-09-05 17:33:10 发布
本文介绍了如何使用Python爬虫技术从笔趣阁网站上抓取并下载《遮天》这部网络小说的全部章节,详细阐述了爬虫的实现过程,包括网页解析、数据提取、文件保存等关键步骤。
摘要由CSDN通过智能技术生成