网络爬虫学习（附链接）

1. 开发环境搭建：python安装、Anaconda安装

python详细安装教程 - 知乎 (zhihu.com)

Anaconda详细安装及使用教程（带图文） - 知乎 (zhihu.com)

Win10下Python环境：

http://www.cnblogs.com/zlslch/p/6984331.html

https://blog.csdn.net/LYJ_viviani/article/details/51763101

IDE:

https://blog.csdn.net/vola9527/article/details/75194874

https://www.cnblogs.com/zhaof/p/8126306.html

1. 学习Robots协议，安装Requests库和BeautifulSoup库、学习使用scrapy框架创建爬虫程序　

收集某论坛帖子

1. 静态网页：GET、POST等方法访问Web网站

爬取某静态页面数据

1. 解析数据：正则表达式与re模块、XPath、 Beautiful Soup库与CSS选取节点，JSONPath与jsonpath模块

正则表达式链接：爬虫入门到精通-网页的解析（正则） - 知乎

网络的解析：XPATH

https://zhuanlan.zhihu.com/p/25572729

http://www.w3school.com.cn/xpath/index.asp

XML: http://www.w3school.com.cn/xml/xml_intro.asp

爬虫框架：

https://blog.csdn.net/zuochao_2013/article/details/75655656

https://blog.csdn.net/Ivan_zgj/article/details/50992611

1. 动态网页：JavaScript和Ajax技术，Selenium和WebDriver的安装与配置
2. 文件读写与数据存储：MongoDB数据库、Redis数据库、CSV文件

爬取某动态网站的主体信息、价格、评论等

1. 数据处理与分析计算: Python(NumPy, pandas, Matplotlib库的应用)
2. scrapy爬虫程序：Scrapy核心组件与CrawlSpider类、网站反爬虫;

提升爬取速度：多线程爬虫、分布式网络爬虫Scrapy-Redis

1. 模拟浏览器与网站测试: 单元测试unittest、Selenium测试……

学习资料：

1. Python学习：

链接：

Python教程 - 廖雪峰的官方网站

1. Python网络爬虫与数据采集

链接：https://pan.baidu.com/s/16cYuiXaVATduAaF-b7_xLg 提取码：a5ns

      2. Python网络爬虫与信息提取 北京理工大学

链接：Python网络爬虫与信息提取 北京理工大学：嵩天_哔哩哔哩_bilibili