爬虫工程师要求

Python爬虫视频教程零基础小白到scrapy爬虫高手-轻松入门

https://item.taobao.com/item.htm?spm=a1z38n.10677092.0.0.482434a6EmUbbW&id=564564604865

工作职责：

- 参与分布式爬虫和数据采集系统的架构设计和开发；

- 负责网络数据抓取规划、清洗以及汇总的开发工作；

- 定期爬取指定网站的数据，为业务部门提供数据支持；

职位要求：

- 一年以上python开发经验，精通python网络编程，熟悉HTTP传输协议；

- 了解搜索和爬虫开源软件(lucene，solr，mathout，firtex，lemur，indri，nutch，haddopmlarbin，QT webkit)的一种或多种，以及相关原理；

- 精通网页抓取原理及技术，精通正则表达式，从结构化的和非结构化的数据中获取信息；

- 具备信息检索、web挖掘等搜索引擎相关知识，有从事网络爬虫、网页去重、网页信息抓取、网页分类中任一种程序开发经验；

- 熟悉NoSql（MongoDB，Redis，Hbase等），了解大数据，有一定的Hadoop使用经验。