如何自制爬虫

最新推荐文章于 2023-05-10 11:41:16 发布

m0_70819279

最新推荐文章于 2023-05-10 11:41:16 发布

阅读量204

点赞数

文章标签：爬虫 python 开发语言

本文链接：https://blog.csdn.net/m0_70819279/article/details/125631736

版权

爬虫就是专门爬取网页的虫子意思也就是网络爬虫，爬虫只不过是python的基础好了接下来上代码

：


# 导入模块
import requests

# 爬取网页地址
url = 'https://csdn.net'
# 定义变量h存储User-Agent
h = {'User-Agent': 'Mozilla/5.0 (Windows NT 6.3; Win64; x64) AppleWebKit/537.36 (KHTML, '
                    'like Gecko)Chrome/69.0.3497.100 Safari/537.36'}
# 通过headers参数设置UA
r = requests.get(url,headers=h)
# 判断是否爬取成功
if r.status_code == 200:
    r.encoding = 'utf-8'
    print(r.text)
else:
    print('爬取失败')
    print(r.status_code)

还有一件事url那个变量里的网址复制后可以随便改，上边的代码必须理解，否则python的基本（指网络爬虫）都不会了。