python简单爬虫代码-最精简的爬虫 --仅需4行代码(python)

1c10e6b36dd4

最精简的爬虫 --仅需4行代码(python)

刚刚整理了下爬虫系列,于是乎就开始了第一次的技术分享

今天,我们主要讲述的是思路,思路,思路。

相比起,直接贴代码,思路显的更为重要

当初,自己的坑,希望后面的人可以避免

*********

爬虫逻辑:

1,请求网页(利用python向web服务器进行请求)

2,通过匹配找到对应的目标(F12查看网页的结构)

3,下载对应目标

方法:(2种)

一种是百度上陈述的传统方法,通过urllib库来请求,并且urllib.request.urlretrieve 来对目标下载

另一种是使用简便,逻辑清晰,代码复杂度率低

方法一:

^这里我们主要介绍的 一种简便的,实用的,逻辑清晰,代码量少的

import requests #请求网页

from bs4 import BeautifulSoup #分析html的结构

我们主要利用到2个库:requests,bs4

库的用法,读者请自行百度,

tips:bs4库非内置库,需要另行安装:pip3 install beautifulsoup4

然后,我们再对目标进行写入:

  • 3
    点赞
  • 35
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值