Python零基础爬虫速成③:三行代码get某乎某选

三行代码,
我可以得到一个世界!
             ——ESword

前言

某搬运工可惜在2022.1.30就停止更新了😣

在他存亡之际赶紧批量操作了一番🥰

完整代码与结果打包在文末😄

准备工作

支持库安装见专栏

Python零基础爬虫速成②:批量爬取微信公众号图片

三行代码

使用了lambda匿名函数简写了函数方法

👇可读性下降👇 & 👆Zhuangbility性提升👆

①初始化BeautifulSoup对象

直接获取一个解析好的BS对象

get_soup = lambda web_url:BeautifulSoup(requests.get(web_url).text, 'html.parser')

②文章列表页

find_all函数寻找所有符合的标签

get_article_list = lambda web_url,soup: {result.text:result['href'] for result in soup.find('tbody').find_all('a')}

结果:
标题+url的字典
在这里插入图片描述

③文章内容页

获取文章部分的html源码
(可直接写入 .html 文件)
在这里插入图片描述

get_web_content = lambda web_url,soup:str(soup.find('section',id="output_wrapper_id"))

完整代码开源

高可读性的批量:
爬文章 + 写html文件 + 制作epub

github查看

直接白嫖结果

800+的整合epub版

下载地址

😀😀😀

  • 1
    点赞
  • 2
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 1
    评论
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

赛文X

觉得不错就打赏下呗mua~

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值