爬虫基础

最新推荐文章于 2024-09-16 07:18:09 发布

anchaoxi6967

最新推荐文章于 2024-09-16 07:18:09 发布

阅读量101

点赞数

文章标签：爬虫

原文链接：http://www.cnblogs.com/swearBM/p/11246969.html

版权

01-爬虫介绍

什么是爬虫？

　　爬虫就是编写程序模拟浏览器上网，然后让其去去互联网上抓取数据的过程。

补充：

urllib

01-浏览器的基本访问流程

02-第一个爬虫程序

import urllib.request

#1.指定url
url = 'https://www.sogou.com'

#2.发起请求:urlopen可以根据指定的url发起请求，且返回一个响应对象
response = urllib.request.urlopen(url=url)

#3.获取页面数据:read函数返回的就是响应对象中存储的页面数据（byte）
page_text = response.read()

#4.持久化存储
with open('./sougou.html','wb') as fp:
    fp.write(page_text)
    print('写入数据成功！')

转载于:https://www.cnblogs.com/swearBM/p/11246969.html