复习python爬虫的体会

复习python爬虫的体会

今天准备复习一下python爬虫的知识，准备爬取虎扑NBA的相关新闻。刚开始在用scrapy创建项目时就遇到无法创建的错误，后面查找相关博客才 解决。
其次，在用python爬取数据时，没有注意爬取的网站的类型，本来是动态网页，但是没有提前思考，忙了大半天，都写好完整代码了才发现是动态网页，本来应该很容易想到（新闻怎么可能是静态的，那不应该是给一段时间就更新嘛），可是好久没有复习这方面的知识，看见问题就用解决静态网页的方法去做，结果是既浪费了时间又没有做好任务。

虽然学习要不断的向前看，但有时需要回头看看，不然就是猴子掰玉米，掰一个丢一个。同时学过的知识和常见的问题一定要做好笔记，在之后的某一天可能就会用到，现在这个信息爆炸的社会，几天不复习，知识就会遗忘得很快。比如：css和xpath的应用，知识点比较多；scrapy框架数据流的方向。