自学python爬虫的日子_自学PYTHON爬虫阶段总结

自学python爬虫有大概半个月时间了吧

先是了解了一下爬虫的基本结构和流程

然后学习了各种库和正则的知识

这里要特别注意一下，学习正则开始的时候会很难，因为这个玩意根本就不是给人类用的，正则表达式开始的时候是一个神经科学家发明用来研究人类行为和神经反射的时候的模式所以他是反人类的

不过到后面会发现有很大的用处，因为正则不只存在与Python一个语言里面，很多语言里面都有，所以是一个绕不开的项目。

开始建议用BS4和Scrapy  要不然会严重打击自信心的

爬虫其实是属于数据挖掘的领域。不过用来入门Python是不错的选择

我个人是不建议参加学习班的 因为一个行业最重要的就是自学能力，如果不是因为爱好只是因为莫名的虚荣或者金钱去学习这样是走不远的

算是一个阶段性的总结吧

基本的爬虫算是了解了

以后会开始

多线程

异步

以及反爬的学习

1、要爬取某个页面的文件，必须用urllib.request.urlopen打开页面的连接，并用read方法读取页面的html内容

2、要爬取某些具体内容，必须分析该页面对应的html代码，找到需爬取内容所在位置的标签，利用正则表达式获取标签

3、浏览器伪装：为了防止有些网站拒绝爬虫，我们需要伪装成浏览器来实现页面的爬取，即需要添加头部文件来伪装成浏览器

header={'User-Agent': 'Mozilla/5.0 (Windows NT 6.3; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/43.0.235'}

4、规范：爬取的内容尽量写入到某个文件，如果直接打印在控制台，影响阅读效果；