8.13 爬虫笔记1

最新推荐文章于 2021-08-19 10:32:40 发布

Lujuntong

最新推荐文章于 2021-08-19 10:32:40 发布

阅读量226

点赞数

分类专栏：爬虫

本文链接：https://blog.csdn.net/Lujuntong/article/details/81638122

版权

本文介绍了Python爬虫的基本步骤，包括理解业务需求、选择目标网站、数据抓取、数据定位和存储。通过实例展示了使用urllib和requests库进行网页抓取，并探讨了如何处理需要设置headers的情况。同时，提供了代码封装的示例，演示了GET和POST请求的实现。

摘要由CSDN通过智能技术生成

爬虫的过程
1.首先需要了解业务需求
2.根据需求,寻找网站
3.将网站数据获取到本地 (可以通过urllib,requests等包)
4.定位数据(re xpath css json等)
5.存储数据(mysql redis 文件格式)

一：简单的爬虫结构百度html页面
（1、爬取内容）
from urllib import request
url = ‘http://www.baidu.com’
response = request.urlopen(url)
info = response.read()
print(info)

（2、爬取内容并写入同文件目录下一个新的html文件）
from urllib import request
＃确定目标
base_url=’http://www.baidu.com’
＃发起http请求，返回类文件对象
response=request.urlopen(url=base_url)
html=response.read()
html=html.decode(‘utf-8’)
＃写入一个同目录下一个新的html文件
with open(‘baidu.html’,’w’,encoding=’utf-8’) as f:
f.write(html)

当用上面的代码去爬取某些网页时会获取不到数据，此时就需要加入 headers 头
二、西刺代理html页面