使用Python Requests模块+BeautifulSoup模块爬取网站_beautifulsoup爬取知网

（1）Python所有方向的学习路线（新版）

这是我花了几天的时间去把Python所有方向的技术点做的整理，形成各个领域的知识点汇总，它的用处就在于，你可以按照上面的知识点去找对应的学习资源，保证自己学得较为全面。

最近我才对这些路线做了一下新的更新，知识体系更全面了。

（2）Python学习视频

包含了Python入门、爬虫、数据分析和web开发的学习视频，总共100多个，虽然没有那么全面，但是对于入门来说是没问题的，学完这些之后，你可以按照我上面的学习路线去网上找其他的知识资源进行进阶。

（3）100多个练手项目

我们在看视频学习的时候，不能光动眼动脑不动手，比较科学的学习方法是在理解之后运用它们，这时候练手项目就很适合了，只是里面的项目比较多，水平也是参差不齐，大家可以挑自己能做的项目去练练。

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

需要这份系统化学习资料的朋友，可以戳这里获取

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！

Response

response，是网站回应给我们的信息，而简单的来说，我们在之前的学习中爬取的是一个本地的网页，爬取的是一个本地的网页，这些网页如果在网络环境中，实际上是在我们向网站提出一个request，之后然后服务器会把我们请求的这个网页以response的形式去发送给我们，我们会得到了一些基本信息比如说，状态码，告诉我如果是200的话那么意味着我的一次请求成功， 如果我的请求失败应该返回给我403或404。如果请求成功之后，后续应该会把网页中的元素陆陆续续地加载，这也就是我们这节的依据，再一次request的请求之后我们把网站返回给我们的这个网页进行解析，分析它，去抓取我们想要的数据。

刚才那简单的叙述了一下request 和 response的原理，那么接下来我们打开浏览器来看一些这种比较抽象的概念是如何在真实的网络环境中发生的，我们首先打开一个网页，右键点击检查（或者按F12）进入到开发者模式，我们可以看到网页的源代码已经加载出来了，这时候我们去监视这个网络行为，点击下图中选项栏中的Network，然后点击刷新网页，网页被重新加载。

这时候我们我们可以看到网页中的加载的信息都已经显示在这里。

这时候我们点击途中的第一个网页，在headers中，request和response的信息全部记载在这个监视器中，我们点击Request Headers，在这里我们可以看到网页请求的方式以及一些其他的特定的信息都已显示在这里。下图中我们可以看到这个网页的cookie。

下图是Request中的User-Agent是我们使用代理的名称，以及地址host。

接下来我们再看选项栏中Response中的信息，实际上response的主体信息就是我们这个网页的本身，这边我么可以看到response加载的网页源码和我们之前使用检查打开看到的网页源码是一致的。

进行网页中信息爬取

这个就是Request和Response这种交互行为在浏览器中的演示，那么接下来我们就是通过利用一种与服务器的交互行为来爬去我们想要的这个数据信息，在我们写查询代码之前，我们先来看一下我们要爬去的网页，筛选一下我们需要的元素。我们需要的元素是图片信息，以及图片名称，酒店个数。

1.使用Request向服务器请求获取网页内容

2.使用BeautifulSoup解析页面

3.描述要爬取元素的位置

首先是我们需要的标题，我们根据上节课学习的方法拿到一个标题的CSS Selector，去掉特殊的路径（学习过Html就应该明白），找到所有标题，我们定位一个元素就找到它唯一性的特征。

查找图片的时候，我们为了找到我们需要的图片，我们可以指定图片的高和宽来查找图片

酒店个数

4.整理并筛选所需信息

但是我们输出之后发现我们拿到的图片地址是错误的，这个是因为网站采取了反爬虫的手段，使用js代码控制了图片，我们以后再讲解怎么拿到正确图片的方法。

接下来就是代码展示

如果你也是看准了Python，想自学Python，在这里为大家准备了丰厚的免费学习大礼包，带大家一起学习，给大家剖析Python兼职、就业行情前景的这些事儿。

一、Python所有方向的学习路线

Python所有方向路线就是把Python常用的技术点做整理，形成各个领域的知识点汇总，它的用处就在于，你可以按照上面的知识点去找对应的学习资源，保证自己学得较为全面。

二、学习软件

工欲善其必先利其器。学习Python常用的开发软件都在这里了，给大家节省了很多时间。

三、全套PDF电子书

书籍的好处就在于权威和体系健全，刚开始学习的时候你可以只看视频或者听某个人讲课，但等你学完之后，你觉得你掌握了，这时候建议还是得去看一下书籍，看权威技术书籍也是每个程序员必经之路。

四、入门学习视频

我们在看视频学习的时候，不能光动眼动脑不动手，比较科学的学习方法是在理解之后运用它们，这时候练手项目就很适合了。

四、实战案例

光学理论是没用的，要学会跟着一起敲，要动手实操，才能将自己的所学运用到实际当中去，这时候可以搞点实战案例来学习。

五、面试资料

我们学习Python必然是为了找到高薪的工作，下面这些面试题是来自阿里、腾讯、字节等一线互联网大厂最新的面试资料，并且有阿里大佬给出了权威的解答，刷完这一套面试资料相信大家都能找到满意的工作。

成为一个Python程序员专家或许需要花费数年时间，但是打下坚实的基础只要几周就可以，如果你按照我提供的学习路线以及资料有意识地去实践，你就有很大可能成功！
最后祝你好运！！！

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

需要这份系统化学习资料的朋友，可以戳这里获取

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！