初级爬虫工程师:
- Web前端的知识:HTML, CSS, JavaScript, DOM, DHTML, Ajax, jQuery,json等;
- 正则表达式,能提取正常一般网页中想要的信息,比如某些特殊的文字,链接信息,知道什么是懒惰,什么是贪婪型的正则;
- 会使用re, BeautifulSoup,XPath等获取一些DOM结构中的节点信息;
- 知道什么是深度优先,广度优先的抓取算法,及实践中的使用规则;
- 能分析简单网站的结构,会使用urllib,urllib2或requests库进行简单的数据抓取;
中级爬虫工程师:
- 了解什么是Hash,会使用简单的MD5,SHA1等算法对数据进行Hash以便存储;
- 熟悉HTTP,HTTPS协议的基础知识,了解GET,POST方法,了解HTTP头中的信息,包括返回状态码,编码,user-agent,cookie,session等;
- 能设置User-Agent进行数据爬取,设置代理等;
- 知道什么是Request,什么是Response,会使用Fiddle, Wireshark等工具抓取及分析简单的网络数据包;对于动态爬虫,要学会分析Ajax请求,模拟制造Post数据包请求,抓取客户端session等信息,