Python网络爬虫第一篇

Python网络爬虫第一篇

（一）：为什么要学习网络爬虫？
大数据成为当今时代的热门话题之一，在数据量爆发增长的互联网时代，网站与用户沟通实质为数据的交换。如果大量的数据得以分析，我们能够对事件的看法，解决方案做出更好的决策。而网络爬虫技术，则是大数据分析领域的第一个环节。

（二）：能从网络上爬取什么数据？
所有在网页能见到的数据都可以通爬虫程序保存下来。

（三）：python爬虫的流程

获取网页——解析网页（提取数据）——存储数据

1：获取网页：给一个网址发送请求，该网址会返回整个网页的数据。
基础技术：requests模块、urllib模块、selenium模块
进阶技术：多进程多线程抓取、登录抓取、突破IP封禁、使用服务器抓取。
2：解析网页：从整个网页中提取想要的数据。
基础技术：re正则表达式、BeautifulSoup和lxml。
进阶技术：解决中文乱码
3：存储数据：把数据存储下来，可存放到数据库，也可存在csv中。
基础技术：存入txt文件和存入csv文件
进阶技术：存入MySQL数据库和MongoDB数据库

（四）编写第一个网络爬虫
1：使用pip安装第三方库：pip是Python安装第三方库（package）的工具，安装的第三方库：bs4:使用其中的BeautifulSoup解析网页。
2：使用编辑器Pycharm编程。（如有小伙伴遇到安装问题，请联系小编，小编在所不辞）
3：请开始你的表演：
第一步：获取页面：

import requests#导入第三方库
link="https://www.baidu.com/"#定义link为爬取目标网页地址
#定义请求头的浏览器代理，伪装成浏览器
headers={
   'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) '