【数据挖掘与分析】python网络爬虫学习及实践记录 | part01-爬虫前奏

---

拖拖拉拉终于开了新坑， 三月份就下好的资料一直拖到现在才动手实践，充分说明懒拖本质，再谴责下去没有意义，交代一下学习方式，每日跟视频做笔记，上手实战代码，复盘梳理。论文点及选体量目标合适的小练手项目。争取六月底前，更完这波视频吧。

---

1.爬虫前奏：

  ·爬虫案例：搜索引擎（爬别人的网页-收录）/伯乐在线（爬别人的文章）/惠惠购物助手（爬取历史价格-进行对比）/数据分析与研究（各行业趋势）/抢票软件

·介绍网络爬虫-模拟请求人类请求网站行为的程序+可自动请求网页+抓取数据+提取有价值信息

·通用/聚焦 爬虫 

   前者搜索引擎（抓取所有网页-形成互联网镜像）|后者特定需求，筛选内容，只抓取需求相关的网页信息

·爬虫技术选择-python

      -PHP 多线程、异步支持不太好，并发处理能力弱

      -Java 本身语言笨重，代码量大，重构成本高

     -C/C++ 学习开发成本高

    -python Scrapy+Scrapy-redis

   *总结：爬虫需要速度效率高、经常修改采集代码、HTTP请求模块和HTML解析模块要求高~

针对本视频准备工具：python3.6+Pycharm 2017 pro（非com版本） +虚拟环境（virtualenv/virtualenvwrapper）

 

2.http协议和chrome抓包工具

  ·http协议和https协议：

   前者 超文本传输协议 发布接收的方法 服务器端口为 80 | 后者是前者的加密版本，加了SSL层，端口为 443 端口

  ·浏览器发http请求的过程

       1.地址URL→，浏览器向HTTP服务器发送HTTP请求（Get/Post两种方法） 

       2.输入地址URL→浏览器发Request请求获取该网址的html文件，服务器吧Response文件对象返回给浏览器

      3.浏览器分析Response中的HTML，发现其中引用了资源文件（images/CSS/JS等），再次发送Request去获取这些资源文件

      4.文件资源下载成功后，网页根据HTML语法结构显示出来。

 ·URL详解

    Uniform Resource Locator -统一资源定位符  结构： 

e.g:python_百度搜索的网址就是

 https://www.baidu.com/s?wd=python&rsv_spt=1...（后部分省略）

https是代表协议，www.baidu.com是域名系统DNS绑定了IP，端口省略了，path就是s，wd=python就是查询字符串，关键字为python。

·锚点介绍，百度百科里面，加#

·补充：在浏览器中请求url，会进行编码，除英文字母/数字/部分符号外，其他全部使用‘%+十六进制码值’进行编码。

 常用请求方法-post/get（有八种，仅介绍常用两种）

 +get 获取数据，不对服务器资源产生任何影响

 +post 发送数据（登录）/上传文件等，对服务器资源产生影响

   具体查看爬取对象的-反爬虫机制

·请求头常见参数： 向服务器发送一个请求，数据分三部分（放入url-数据放入body+post请求中-数据放入head中）

     User-Agent：默认为python，浏览器名称，设置为浏览器的值，伪装爬虫 

     Referer：请求是从哪个url过来的

    Cookie：http协议无状态，发送两次请求无法查看两次是否来自同一个，用cookie作为标识，登录才能访问的网站 需要发送cookie信息

 ·常见响应状态码：

301举例：jingdong-jd

谷歌抓包工具

老师一波秀，get了几个小操作，这里不展示了。主要是谷歌浏览器，按F12，然后切换标签内的一些东西。

---

这一堂课就到这里了。明天可以回顾一下，然后再跟下一部分的课。