python爬虫—小说网站:字符串爬取

import parsel
import requests

res = requests.get("http://www.biquge.info/0_928/4812009.html")
res.raise_for_status()
res.encoding = res.apparent_encoding

# print(res.text)

#  解析方式:1.正则表达式,在Linux下执行
#  2.下path解析,用于xml文件 3.css选择器

#  sel是一个标题
sel = parsel.Selector(res.text)

#  获取标题
#  ::伪类选择器 h1标签选择器,id选择器,类选择器
h1 = sel.css(" h1::text")

title = h1.get()
# print(title)

content = sel.css("#content::text")
contents = content.getall()
# print(contents)

# 定义一个变量接受contents列表中的数据
text = ""
# 将列表转换成字符串
for line in contents:
    text += line.strip()+"\n"
    # print(text)

with open(file=title+".txt", mode="w", encoding="utf-8") as f:
    f.write(title)
    f.write(text)
    f.close()

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值