python爬虫入门学习

1.什么是爬虫？

爬虫是一种自动化程序，可以批量对指定网页发送请求并得到数据。

2.爬虫流程

1）对网页发送请求并获得网页响应

①使用urllib.request中的urlopen方法得到http.client.HTTPResponse对象

②使用read方法和decode方法进行进一步处理

或者

①使用requests库中get方法得到requests.Response对象r（需pip install requests）

②r的属性包括网页二进制内容content，以及文本格式内容text等。

2）解析网页内容

①正则表达式

②BeautifulSoup（速度慢）

③requests-html

④lxml

3）保存数据文件