一篇万字博文带你入坑爬虫这条不归路 【万字图文】

??最近，很多粉丝私信我问——爬虫到底是什么？学习爬虫到底该从何下手？??

??其实，我想说的也是曾经的我身为小白的时候某些大牛对我说过的——很多时候我们都有一颗想要学习新知识的心，却总是畏惧于对想要学习内容的无知，这也是多数人失败甚至后悔终身的：因为他们从来没有开始过！??

??借一位几年前带我入坑的前辈的话——坑就在你面前，别总是犹豫徘徊，大胆一点：向前一步，入了这个坑，莽着头就是往前冲，别多想，别回头，终有一天——>你也会成为别人的前辈！??

---

??
????直接跳到末尾???? ——>领取专属粉丝福利??

---

今日份鸡汤已成功送达，目的地：your heart！???

回归正题~~~
博主写本文的初衷也是想借助本文达到的一个效果：

带领那些想要学习爬虫却一直迟迟不敢下手，或者说那些对爬虫有兴趣想要好好学一学这门技术的童鞋们——正式入坑！！！

---

???首先，我来回答第一个问题——什么是爬虫？???

??其实你百度也可以百度到一大篇官方化的定义，但是那些对新人不友好，爬虫！总结一句话：就是 模拟浏览器发送请求，获取响应！ ??

??至于第二个问题：学习爬虫到底该从何下手？等你们认认真真看完本篇博文之后再考虑这个问题你们还需不需要我来解答。??

开往爬虫 之 爬虫必备知识合集！

• 1.爬虫的概念
• • （1）爬虫的概念（专业化定义）：
  • （2）爬虫的应用：
  • （3）爬虫的分类：
  • （4）爬虫的一般开发流程：
  • （5）爬虫开发的重难点：
• 2.HTTP和HTTPS
• • （1）HTTP协议
  • （2）HTTP请求流程：
  • • • 浏览器发送http请求的过程：
  • （3）URL（浏览器搜索框里的内容！）
  • （4）HTTP请求格式
  • • 1.请求方法：
    • • • （1）分类
        • （2）分类讲解
        • （3）所有请求方法：
    • 2.请求头：
    • 3.HTTP请求正文（请求数据）
  • （5）HTTP响应格式
  • • 1.HTTP响应状态码：（这里面就有熟悉的404哦！）
    • 2.HTTP响应报头：
    • 3.HTTP响应正文：
  • （6）总结：
  • • 1.HTTP流程总结：
    • 2.HTTP协议的特点：
    • 3.HTTPS协议：
• 3.解决http无状态 之 会话技术
• • （1）Cookie
  • （2）Session
  • （3）cookie和session的区别：
  • （4）来个图理解理解那么枯燥的文字：
  • （5）实操一波看看Cookies的属性结构：
• 4.爬虫实战：利用socket下载一张图片
• • （1）socket学习
  • • ①使用socket简单建造一个服务端：
    • ②使用socket简单建造一个客户端：（爬取百度首页整个界面）
  • （2）实战：使用socket来爬取一张漂亮MM的图片：
  • • • • 1.首先，分析网页：
        • 2.上代码：
        • 3.实现效果：
• 5.In the end!

1.爬虫的概念

（1）爬虫的概念（专业化定义）：

• 上来就直接给书面化定义肯定有点唐突，所以先来形象的解释下爬虫到底是个啥？
  如果我们把互联网比作一张大的蜘蛛网，那一台计算机上的数据便是蜘蛛网上的一个猎物，而爬虫程序就是一只小蜘蛛，沿着蜘蛛网抓取自己想要的猎物/数据。这样一讲，是不是就很通俗易懂、记忆深刻了~

• 下面就给出书面化的定义，多揣摩揣摩哦：
  网络爬虫也叫网络蜘蛛，它特指一类自动批量下载网络资源的程序，这是一个比较口语化的定义。
  更加专业和全面对的定义是：网络爬虫是_伪装_成客户端与服务端进行数据交互的程序。

（2）爬虫的应用：

1. 数据采集
   大数据时代来临，数据就是核心，数据就是生产力，越来越多的企业开始注重收集用户数据，而爬虫技术是收集数据的一种重要手段。

   比如：抓取微博评论（机器学习舆情监控）
        抓取招聘网站的招聘信息（数据分析，挖掘）
        百度新闻网站
   

2. 搜索引擎
   百度，谷歌等搜索引擎都是基于爬虫技术。（PS：爬虫界大佬！）

   知识补给站：
   	知名的某头条就是靠爬虫发家致富的哦！！！
   

3. 模拟操作
   爬虫也被广泛用于模拟用户操作，测试机器人，灌水机器人等。

4. 软件测试
   爬虫之自动化测试
   虫师

5. 网络安全
   短信轰炸
   web漏洞扫