网络蜘蛛介绍

一 爬虫的介绍

网络爬虫也叫网络蜘蛛，如果把互联网比喻成一个蜘蛛网，那么蜘蛛就是在网上爬来爬去 的蜘蛛，爬虫程序通过请求url地址，根据响应的内容进行解析采集数据

简单的说：就是用代码模拟人的行为，去各各网站溜达、点点按钮、查查数据。或者把看到的数据拿下来。

爬虫有什么作用？

通过有效的爬虫手段批量采集数据，可以降低人工成本，提高有效数据量，给予运营/销售的数据支撑，加快产品发展。

爬虫应用领域

• 批量采集某个领域的招聘数据，对某个行业的招聘情况进行分析
• 批量采集某个行业的电商数据，以分析出具体热销商品，进行商业决策 • 采集目标客户数据，以进行后续营销
• 批量爬取腾讯动漫的漫画，以实现脱网本地集中浏览
• 开发一款火车票抢票程序，以实现自动抢票
• 爬取评论,舆情监控
• 爬取说说信息,分析上线时间
• …
  监控
• 爬取说说信息,分析上线时间
• …