爬取斗破苍穹整本小说

版权声明:本文为博主原创文章,遵循 CC 4.0 by-sa 版权协议,转载请附上原文出处链接和本声明。
本文链接:https://blog.csdn.net/castingA3T/article/details/78811594
import requests
from bs4 import BeautifulSoup
headers={
        'UserAgent':'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/62.0.3202.94 Safari/537.36'
        }

url='http://www.doupoxs.com/doupocangqiong/'
res=requests.get(url,headers=headers)
res.encoding='utf-8'#乱码
soup=BeautifulSoup(res.text,'html.parser')
linkk=soup.select('a')
link1=list(map(lambda x:x['href'],linkk))#提取网址

for link in link1:
    link2='http://www.doupoxs.com'+link
    res1=requests.get(link2,headers=headers)
    res1.encoding='utf-8'#乱码
    soup1=BeautifulSoup(res1.text,'html.parser')
    article_p=soup1.select('.read_chapterDetail p')
    ar=list(map(lambda x:x.text.lstrip('天才一秒记住本站网站 www.doupoxs.com 中间是斗破 拼音+小说 首字母 连起来就是斗破小说,喜欢我就记住我吧!').strip(),article_p))
    arr='\n'.join(ar)#正文,字符串
    print(arr)
    with open('doupocangqiong1.txt','a+') as f:
        f.write(arr)
        f.close()#存储
展开阅读全文

没有更多推荐了,返回首页