python爬虫之requests篇1 爬取搜狗首页

最新推荐文章于 2022-01-14 15:04:55 发布

满世繁华

最新推荐文章于 2022-01-14 15:04:55 发布

阅读量397

点赞数 2

分类专栏： python requests 文章标签： python requests 爬虫

本文链接：https://blog.csdn.net/qq_34037264/article/details/108830803

版权

python requests 专栏收录该内容

3 篇文章 0 订阅

订阅专栏

python爬虫之requests篇1 爬取搜狗首页

# 引入第三方requests库
import requests
if __name__ == '__main__':
    # 定义爬取的网页地址
    url = 'https://www.sogou.com/'
    # 这边用requests模块内封装的方法去传入url去获取页面数去
    # 获取到数据之后用response去接收数据
    # 默认以unicode形式返回网页内容，也就是网页源码的字符串
    response = requests.get(url=url)
    # 去拿到response.text的页面数据
    page_text = response.text
    # 打印页面数据
    print(page_text)
    # 这边使用with open去持久化数据，由于这次爬取的是没有技术含量的东西
    # 这边的保存就放在本地了
    with open('./sougou.html','w',encoding='UTF-8') as fq:
        fq.write(page_text)
    print("爬取搜狗首页完成")