爬虫之旅

在学过Python的基础语法之后，开始学习爬虫，今天是学习的第一天。

了解了什么是爬虫，安装Charles软件可以很清楚该软件实时对浏览器的数据进行爬取。

自己之后再PyCharm自己动手编写了对网页信息的爬取，其程序如下所示：

import urllib.request#爬取网页信息需要urllib包

#向指定的url地址发起请求，并返回服务器相应的数据(文件的对象)
response=urllib.request.urlopen("http://www.baidu.com")
#读取网页的全部内容
data=response.read()
print(data)
#将爬取到的数据存储到文件
with open(r"C:\Users\Administrator\Desktop\file\file1.html","wb") as f:
    f.write(data)

还有另一种把爬取的网页信息存储到本地文件中的方法

#爬取网页信息需要urllib包

import urllib.request

urllib.request.urlretrieve("http://www.baidu.com",filename=r"C:\Users\Administrator\Desktop\file\file3.html")