抓取内容为《哈利波特与凤凰社》,共38章,生成txt文件保存在当前文件夹下。
import requests
from bs4 import BeautifulSoup
import re
import time
class downloader(object):
def __init__(self):
self.server = 'https://www.cz2che.com'
self.target = 'https://www.cz2che.com/0/664/'
self.names = [] #存放章节名
self.urls = [] #存放章节链接
self.nums = 0 #章节数
def writer(self, name, path, text):
write_flag = True
with open(path, 'a', encoding = 'utf-8') as f:
f.write(name + '\n')
f.writelines(text)
f.write('\n\n')
def geturl(self):
strhtml = requests.get(url = self.target)
#由于编码格式原因,防止抓取乱码,utf8编码的文本可以用iso8859-1的编码表示
#,但是反过来不行。iso8859-1是单字节编码,而utf8是定长编码
i = strhtml.text.encode('iso-8859-1')
soup = BeautifulSoup(i,'lxml')
data = soup.select('body > div.container > div:nth-child(5) > div > div > div.panel-body > ul > li')
#print(data)
self.nums = len(data)
for item in data:
self.names.append(item.get_text())
# print(item.get('href'))
# print(type(item.get('href')))
# print(str(item.get('href')))
self.urls.append(self.server + item.a.get('href'))
def getcontent(self,target):
url = requests.get(url = target)
html = url.text.encode('iso-8859-1')
#lxml是beautiful一种编码方式
bs = BeautifulSoup(html, 'lxml')
#在开发者工具中找到对应元素,右键copy selector path
content = bs.select('body > div.container > div:nth-child(3) > div > div.panel.panel-default > div.panel-body.content-body.content-ext > p')
content = str(content[0])
content = content.replace('<p>', '')
content = content.replace('</p>', '')
content = content.replace('<br/>', '')
return content
if __name__ == "__main__":
dl = downloader()
dl.geturl()
for i in range(26,dl.nums):
print(i)
time.sleep(20)
dl.writer(dl.names[i], '哈利波特与凤凰社.txt', dl.getcontent(dl.urls[i]))
print('下载完毕')
request抓取网页内容,BeautifulSoup进行数据清理。
抓取的文章格式稍微有些混乱,进行重排。
import os
import sys
#打开文件,读入每一行
f = open('D:\\Desktop\\哈利波特与凤凰社.txt', encoding = 'utf-8')
lines = f.readlines()
#print(lines)
#打开你要写入文件
fp = open('D:\\Desktop\\哈利波特与凤凰社new.txt','w')
for s in lines:
line = filter(lambda ch: ch not in '\t',s)
line = list(line)
if line != ['\n']:
str2 = ''.join(line)
fp.write(str2)
#fp.write(s.replace(' ','')) # replace是替换,write是写入
fp.write('\n')
fp.close() # 关闭文件
print('处理完成')
fliter为过滤器,包含两个参量:过滤函数及可迭代对象。
lambda为一种函数定义方式。
\t表示删除所有制表符。原文中还有超长空格,可以从txt中复制拷贝过来,直接打空格无法识别(可能是编码方式不同)。
删除多余空行,并未每一后增加空行。