运维学python之爬虫基础篇（一）开篇

本人现职系统运维，随着技术发展，越来越多的系统开始提倡自动化运维，而且运维职位也不是几年前只懂shell就可以了，前几年找工作任职要求还是熟练shell，会python有加分，现在已经是熟悉shell、python、perl、java等语言任意两种，要求有所提高，所以有些压力的我也一直再搞python，无奈看了很多基础的文档了，最后还是有些无从下手的感觉，所以借着51CTO博客改版，把学习记录一下，希望能通过写博客来真正搞懂python，本系列不是为了爬虫而爬虫，只是因为爬虫的正向反馈对初学者来说，比较容易接收，有耐心学习下去，只是想通过爬虫来了解和熟悉python编程。由于我也是刚开始学习，能力有限，有哪里写的不好，也欢迎大家指正与交流，下面开始正题吧。

操作系统	编辑器	Python版本
Win10 家庭中文版	Pycharm 2016.3	Python 3.6.1

1、学习爬虫需要哪些知识

• Python基础知识
• Python中urllib库的用法（python3后urllib和urllib2合并为urllib，具体见官网）
• Python正则表达式
• Python常用爬虫工具
• Python爬虫框架Scrapy
  因为刚开始学习，暂时就列这么多吧，后续有新内容再更新。

1.1 python基础

书籍推荐：《python编程从入门到实践》
其它：简明python教程
博客：
廖雪峰python教程
静觅 崔庆才的个人博客（我也参考这个博客学习，博客中的内容也会引用这个博客的内容，这个博客写的很好，很详细，只不过是python2的，我用python3写的）

1.2 urllib

学习Python爬虫最基本的urllib模块，利用这个模块我们可以得到网页的内容，并对内容用正则表达式提取分析，得到我们想要的结果。

1.3 python正则表达式

正则表达式是一个特殊的字符序列，它能帮助你方便的检查一个字符串是否与某种模式匹配。Python 自1.5版本起增加了re 模块，它提供 Perl 风格的正则表达式模式。

1.4 Python爬虫框架Scrapy

Scrapy是一个为了爬取网站数据，提取结构性数据而编写的应用框架。 可以应用在包括数据挖掘，信息处理或存储历史数据等一系列的程序中。

大体的学习方向就是以上这几点，后续有增加再及时更新，共勉！

转载于:https://blog.51cto.com/linuxliu/2049035