Python爬虫学习2
利用Python爬取小说
一、查看小说正文所在的标签
1、获取目录标签和每一章节的链接
2、获取小说正文所在标签
二、爬取小说具体代码
# _*_ coding:utf-8 _*_
import os
import sys
import re
import urllib.request
from bs4 import BeautifulSoup
os.chdir('C:/Users/Desktop') ##设置路径
class downloader(object):
def __init__(self):
self.server = 'http://www.huanyue123.com/' ##小说网站首页
self.target = 'http://www.huanyue123.com/book/37/37849/' ##小说目录页面
self.nums = 0
self.names = []
self.urls = []
def get_downloader_url(self):
html = urllib.request.urlopen(url=self.target)
div_bf = BeautifulSoup(html, from_encoding='utf-8', features='html.parser') ## 明确指定解析器,这里我使用了最好的HTML解析器(“html.parser”)
div = div_bf.find_all('div', class_='book_list') ## 寻找存放内容的标签
a_bf = BeautifulSoup(str(div[0]), features='html.parser') ## 按照指定格式替换章节内容,运用正则表达式
a = a_bf.find_all('a')
self.nums = len(a[0:])
for i in a[0:]:
self.names.append(i.string)
self.urls.append(i.get('href')) ## 此处用于获取章节链接,以便后面爬取正文
def get_content(self , target):
html = urllib.request.urlopen(url=target)
bf = BeautifulSoup(html, from_encoding='utf-8', features='html.parser')
texts = bf.find_all('div', id='htmlContent', class_='contentbox clear')[0].getText() ## getText()的作用主要是用来获取标签里面的文本内容,也可用text()
texts = re.sub('\s+', '\r\n\t', texts).strip('\r\n')
return texts
def input_content(self , name , path , text):
write_flag = True
with open(path , 'a' , encoding='utf-8') as f:
f.write(name + '\n')
f.writelines(text)
f.write('\n\n')
if __name__ == "__main__":
dl = downloader()
dl.get_downloader_url()
print("牧神记开始下载:")
for j in range(dl.nums):
dl.input_content(dl.names[j], "牧神记.txt", dl.get_content(dl.urls[j]))
sys.stdout.write("已下载 %.2f%%" % float(j / dl.nums*100) + '\n')
sys.stdout.flush()
print("牧神记下载完成!")
结语
这是我第一次爬虫尝试,不过阅读小说还是尽量去正版小说网站。