python3 实现爬虫 urllib篇 + 数据处理(采用bs4)

本文介绍了使用Python3的urllib和BeautifulSoup库实现简单的网页爬虫,包括获取文本信息和图片。文章强调了解HTML和CSS基础知识的重要性,并提供了相关文档链接。还讨论了爬虫的稳定性和反爬策略,如设置访问间隔、处理异常及使用伪装头。
摘要由CSDN通过智能技术生成

爬虫需要你至少知道html标签和css的基本知识,建议先学了再学爬虫
很简单的,只要一天你就能明白html css分别是做什么的了。
不想学就只好边看我说明边自己百度不懂的地方了

完整代码见最后一个代码块,不建议直接拿去用,建议慢慢看懂原理写出你自己独特的代码。

先扔几个参考文档
urllib文档:https://docs.python.org/3.7/library/urllib.html
beautifulsoup中文文档:https://www.crummy.com/software/BeautifulSoup/bs4/doc/index.zh.html
re文档:https://docs.python.org/3.7/library/re.html

1.获取文本信息

urllib是python3下载完自带的包
bs4需要下载
配置好环境变量后cmd中输入pip install bs4

from urllib import request
from bs4 import BeautifulSoup
#要抓取的链接
url = "https://blog.csdn.net/qq_36376711/article/details/86614578"
#获取到的内容
content = request.urlopen(url)
#获取网页的源码
encode_html = content.read()
#print(encode_html)#打印出来会发现是编码过的html
#解码,一般是utf-8
html = encode_html.decode("utf-8")
#print(html)#打印发现中文能正常显示了

最简单的访问就完成了(访问只需要urllib库ÿ

  • 2
    点赞
  • 6
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值