- 开发环境搭建:python安装、Anaconda安装
Anaconda详细安装及使用教程(带图文) - 知乎 (zhihu.com)
Win10下Python环境:
http://www.cnblogs.com/zlslch/p/6984331.html
https://blog.csdn.net/LYJ_viviani/article/details/51763101
IDE:
https://blog.csdn.net/vola9527/article/details/75194874
https://www.cnblogs.com/zhaof/p/8126306.html
- 学习Robots协议,安装Requests库和BeautifulSoup库、学习使用scrapy框架创建爬虫程序
收集某论坛帖子
- 静态网页:GET、POST等方法访问Web网站
爬取某静态页面数据
- 解析数据:正则表达式与re模块、XPath、 Beautiful Soup库与CSS选取节点,JSONPath与jsonpath模块
正则表达式链接:爬虫入门到精通-网页的解析(正则) - 知乎
网络的解析:XPATH
https://zhuanlan.zhihu.com/p/25572729
http://www.w3school.com.cn/xpath/index.asp
XML: http://www.w3school.com.cn/xml/xml_intro.asp
爬虫框架:
https://blog.csdn.net/zuochao_2013/article/details/75655656
https://blog.csdn.net/Ivan_zgj/article/details/50992611
- 动态网页:JavaScript和Ajax技术,Selenium和WebDriver的安装与配置
- 文件读写与数据存储:MongoDB数据库、Redis数据库、CSV文件
爬取某动态网站的主体信息、价格、评论等
- 数据处理与分析计算: Python(NumPy, pandas, Matplotlib库的应用)
- scrapy爬虫程序:Scrapy核心组件与CrawlSpider类、网站反爬虫;
提升爬取速度:多线程爬虫、分布式网络爬虫Scrapy-Redis
- 模拟浏览器与网站测试: 单元测试unittest、Selenium测试……
学习资料:
- Python学习:
链接:
- Python网络爬虫与数据采集
链接:https://pan.baidu.com/s/16cYuiXaVATduAaF-b7_xLg 提取码:a5ns
2. Python网络爬虫与信息提取 北京理工大学