Python爬虫入门之爬虫基础了解

前言

转载：cuiqingcai.com
之前玩过几个星期的爬虫，由于工作原因就没有去研究了荒废了大半年了，现在基本都忘干净了。最近想重新学习下爬虫，因为我觉得爬虫特别有意思，特别是想要批量下载东西时，写个小爬虫分分钟的事就可以弄到手了。现在是互联网时代，垃圾信息特多。想要快速找到并且获得自己想要的资源爬虫肯定不可少咯！！！

因此以后有时间的话，就会把自己学爬虫的过程记录下来，见证技术的成长！！！顺便分享，希望能帮到需要的人。

1. 什么是爬虫

爬虫，即网络爬虫，大家可以理解为在网络上爬行的一直蜘蛛，互联网比作一张大网，二爬虫便是在这张网上派来爬去的蜘蛛咯，如果它遇到资源，那么它就会抓取下来。想抓什么？这个有你来控制它咯。

比如他在抓取一个网页，在这个网中他发现一条道路，其实就是指向网页的超链接，那么它就可以爬到另一张网上来获取数据。这样，整个连在一起的大网对这之蜘蛛来说触手可及，分分钟爬下来不是事。

2. 浏览网页额过程

在用户浏览网页的过程中，我们可能会看到许多好看的图片，比如 http://image.baidu.com/ ，我们会看到几张的图片以及百度搜索框，这个过程其实就是用户输入之后，经过DNS服务器，找到主机，想服务器发出一个请求，服务器经过解析后，发送给用户的浏览器HTML、JS、CSS等文件，浏览器解析出来，用户便可以看到形形色色的图片了。

因此，用户看到的网页实质是由HTML代码构成的，爬虫爬来的便是这些内容，通过分析和过滤这个HTML代码，实现对图片、文字等资源的获取

3. URL的含义

URL，即统一资源定位符没也就是我们所说的网址，统一资源定位符是对可以从互联网上得到的资源的位置和访问方法的一种简明的表示，是互联网上的标准资源的地址。互联网上的每个文件都有一个唯一的URL，它包含的信息指出晚间的位置以及浏览器应该怎么处理他。

URL的格式由三部分组成：
①第一部分是协议(或称为服务方式)。
②第二部分是存有该资源的主机IP地址(有时也包括端口号)。
③第三部分是主机资源的具体地址，如目录和文件名等。

爬虫爬取数据时必须要有一个目标的URL才可以获取资源，因此，他是爬虫获取的基基本依据，准备理解它的涵义对爬虫学习有很大帮助。

4.环境的配置

学习Python。当然少不了配置环境，最初我用的时PyCharm，比较好用但是比较吃内存，后来改用微软的VS code。不过我觉得PyCharm要比VS code好用一点。在windows下我用VS code。Linux下推荐用Eclipse for Python另外还有几款比较优秀的IDE，大家可以参考这篇文章学习Python推荐的IDE 好的开发工具是前进的推进器，希望大家可以找到适合自己的IDE

下一篇，就开始进入Python爬虫学习得殿堂了。