大数据python之简单的网络爬虫代码实现（单一与循环代码进行网络爬虫）

网络爬虫对于大数据类专业的同学来说可能并不陌生，那么在讲网络爬虫之前，博主先给予大家介绍一下我们平常所用的浏览器的工作原理，只要明白了平常的浏览器的工作原理，那么网络爬虫也就变得简单了。
下面的图是一个浏览器正常的工作原理流程图：

首先我们可以看到有四个流程：
（1）我们先向浏览器中输入url（网址）；
（2）浏览器就会向指定的服务器进行发送HTTP请求，请求的方式有两种：一种是get，另一种是：spot。那么这两种有什么区别呢？你可以这么理解：get是指从服务器里下载回来我们需要的数据，spot就是我们上传（粘贴）到服务器上的资料；
（3）当服务器接收到浏览器的请求之后就会对服务器产生http响应；
（4）其实响应回来的是html的源代码一般的人是看不懂的，那么浏览器再经过处理，最后给我们展示出丰富，美丽的网页！！！

介绍完 一个正常的浏览器的工作流程后，我们就开始我们的网络爬虫了。网络爬虫：模拟浏览器网页，下载我们需要的网络资源的一个程序，其实本质上是一个伪造的http请求。好了，我们开始我们的代码部分（说明：使用python环境）
首先我们先再python中加载第三方库：re，urllib，jso