爬虫爬到的网页源代码不是真正的源代码_某西游藏宝阁商人？？不好意思，爬虫秒货教你做人？...

最近有小伙伴私信我说想学python，那作为Python的必修课爬虫，那当然是跑不掉了。由于我之前曾针对网络游戏梦幻西游的网上交易商城藏宝阁开发过一个爬虫项目，所以这期就以梦幻西游藏宝阁爬虫为例，带大家了解下什么才是爬虫，爬虫到底能做些什么。

首先我想说的是Python不等于爬虫，好多人可能因为python音译和爬虫俩字挺合得来，就觉得这俩是一回事。实际上python只是一个编程语言，而爬虫是一门网络技术，所以这俩就不是放在一起讨论的东西。爬虫作为一门技术，可以由任何编程语言开发，你可以使用Python，也可以是JAVA，或者C，甚至是MATLAB都可以写爬虫。只不过由于python比较简单，库又比较多，也就是轮子比较多，所以各方面来说更容易上手，比较适合没有任何编程基础的同学，所以用Python做爬虫的多一点。另外，由于本身爬虫这东西属于易上手难精通，所以学爬虫的人里面其实很多都是偏萌新，萌新的话就更要使用Python了啊，毕竟人生苦短嘛。

然后说下爬虫的作用吧。有人说爬虫就是下载数据，其实我不这么认为。我认为爬虫的本质就是模拟人的行为去构造网络请求。比如你打开浏览器去访问一个网站，你的任何操作本质上都是一个个网络请求，而爬虫所要做的就是用程序代码的方式代替你本人去模拟这些请求，从而解放你的双手。为什么我觉得爬虫不只是用来爬数据的就是因为既然是模拟网络请求，那我不一定非要用他来获取数据呀，我还可以用它来实现一些其他操作，比如抢票，抢鞋，还有我这篇文章要讲的梦幻西游藏宝阁秒货。

然后说下爬虫是如何拿到自己想要的数据的。首先我想说，你打开浏览器任何肉眼能看到的东西通过爬虫利用程序代码的方式都可以获得。为啥这么说呢，既然你都能直接看到了，那你就可以理解为这些数据已经下载缓存到本地了，那既然是我自己本地的东西，那为啥不能通过代码的方式来获取呢？只不过对于不同的网站来说，难度不同，有的网站风控措施比较足，就不太容易；而有的小网站如果没风控措施，可以说被爬的底裤都不剩...现在好多网站为了阻止爬虫拿到数据，都会通过加载js的方式来向用户展示数据，所以这部分网站的爬虫就相对难一点，最好需要去学习一些前端开发的知识。

我一直觉得前端知识匮乏的话肯定是做不好爬虫的，虽然说咱们还可以通过代码直接调用浏览器内核的方式来运行爬虫（这是一种非常简单粗暴的爬虫，你会看到当前电脑界面有一个浏览器在自动操作），但是这样的代价就是非常的低效率，有点过于劳师动众了。因为实际上你直接开一个浏览器过来模拟用户操作会加载太多的资源，比如实际上我们做爬虫只需要关注网页的js和html代码，但是你直接打开浏览器那一大堆的东西都会加载进来，除了js之外还有其他乱七八糟的比如CSS或者网页上的一些图片等等（虽然可以用代码实现禁止加载这些，但是还是笨重！！）