爬数据的意思是:通过网络爬虫程序来获取需要的网站上的内容信息,比如文字、视频、图片等数据。网络爬虫(网页蜘蛛)是一种按照一定的规则,自动的抓取万维网信息的程序或者脚本。
学习一些爬数据的知识有什么用呢?
比如:大到大家经常使用的搜索引擎(Google, 搜狗);
当用户在Google搜索引擎上检索相应关键词时,谷歌将对关键词进行分析,从已"收录”的网页中找出可能的最符合用户的条目呈现给用户;那么,如何获取这些网页就是爬虫需要做的,当然如何推送给用户最有价值的网页,也是需要结合相应算法的,这就涉及到数据挖掘的的知识了;
比较小一些的应用,比如我们统计测试工作的工作量,这就需要统计一周/一月的修改单数量,jira记的缺陷数以及具体内容;
还有就是最近火热进行的世界杯,如果你想统计一下各个球员/国家的数据,并存储这些数据以供其他用处;
还有就是根据自己的兴趣爱好通过一些数据做一些分析等(统计一本书/一部电影的好评度),这就需要爬取已有网页的数据了,然后通过获取的数据做一些具体的分析/统计工作等。
学习简单的爬虫需要具备哪些基础知识?
我把基础知识分为两部分:
1、前端基础知识
HTML/JSON,CSS; Ajax参考资料:
http://www.w3school.com.cn/h.asp
http://www.w3school.com.cn/aja