认识爬虫

第0关认识爬虫
认识爬虫：目的
浏览器的原理

		先请求（浏览器），后响应（服务器）
	本质
		利用程序在网上拿到对我们有价值的数据。
	爬虫工作原理
		模拟浏览器去向服务器发出请求
		服务器响应后，爬虫程序可以代替浏览器帮我们解析数据
		爬虫可以根据我们设定的规则批量提取相关数据
		最后，爬虫可以批量地把数据存储到本地。
		概要
	爬虫学习大纲
		爬虫大纲
			第0关，初识爬虫，你会了解爬虫的工作原理，写出一个简单的爬虫程序，学会爬虫的第0步：获取数据。
			第1关，你将会快速入门HTML基础知识，达到读懂和修改HTML文档的水平。有了这些基础，你才能去学习如何解析数据和提取数据。
			第2、3、4、5关，我会教你爬虫的第1和第2步：解析数据和提取数据。同时，你还会学到两种不同的发起请求的方式。
			在第6关，你将学会存储数据，即把目标数据写入到本地的Excel表格中。到此，你就学会了爬虫完整的四个步骤，掌握了最基本的爬虫技能啦。
			第7关，我们一起做一个项目，爬取一个知乎大v的所有文章，并且存到Excel中。以此，我们巩固和复习了0-6关的所有知识。第7关会是一个分水岭，后面关卡的进阶知识都建立在前7关的基础上。
			第8关，学会cookies，就可以让浏览器记住你，你们可以更方便地长期保持联系，而不是在一次见面之后就相忘于江湖。
			第9关，学习控制浏览器，来应对爬虫中一些更复杂的情况。第10关，你的爬虫会变得更自动化，爬虫程序不但可以定时工作，还可以把爬取结果传递给你。
			概要
	爬虫核心
		第0步：获取数据。爬虫程序会根据我们提供的网址，向服务器发起请求，然后返回数据。
		第1步：解析数据。爬虫程序会把服务器返回的数据解析成我们能读懂的格式。
		第2步：提取数据。爬虫程序再从中提取出我们需要的数据。
		第3步：储存数据。爬虫程序把这些有用的数据保存起来，便于你日后的使用和分析。
		概要
怎么爬虫
	1.【请求——响应】封装为一个步骤——获取数据
		request
			res = requests.get(' url ')
			安装request库
		响应码
			print(res.status_code)

#打印变量res的响应状态码，以检查请求是否成功
response:注意，res是它的一个对象
对象属性
使用
res.encoding=‘gbk’#
定义Response对象的编码为gbk
爬虫伦理
/robots.txt