TotoroChinchilla的博客

#Python 爬虫#1、借助Chrome 开发者工具分析网页2、较为重要的几个知识点：（1）User-Agent:表明我们是一个什么版本的浏览器（2）Cooklie:需要做一些登录以后才能看到的爬取，就必须学会存储和读取cookie,如果没有，那么网站就会认为你没有登录3、 Python爬虫需学习的知识注：decode(‘utf-8’) #将返回内容进行解码4、获取一个Get请求补充：如果要注释多行，用快捷键Ctrl+?5、Post请求是模拟用户网页的登

Python爬虫学习1、什么是爬虫？网络爬虫是可以按照一定规则，根据用户需求，自动抓取互联网上用户所需要的信息的程序或脚本。2、爬虫的作用？能通过浏览器访问的数据都能通过爬虫获取。3、爬虫本质？模仿浏览器打开网址，获取网址中我们需要的数据。Python对网页访问首先需要引入urllib.requesturllib中有 urllib.request.urlopen(str) 方法用于打开网页并返回一个对象，调用这个对象的read()方法后能直接获得网页的源代码，内容与浏览器右键查看源码的内容一