python爬虫工程师工作内容_爬虫岗位职责

岗位职责：

*针对复杂的网站架构主动获取相关数据信息；

*负责数据获取、清洗和分析工作。

任职要求：

*计算机科学、应用数学、统计学、物理学、天文学、商业分析、信息系统、数据科学或相关专业本科或以上学历；

*优秀的学习能力与发现、分析并解决问题的能力；

*良好的团队合作精神与沟通能力。

*熟悉Java/Python等语言及相关算法和数据结构；

*熟练Linux操作，熟练掌握HTTP协议，了解大型爬虫框架等；

*熟悉MySQL等关系型数据库，有NoSQL，Redis等工作经验者优先；

*对计算机体系结构、分布式系统、协程和网络编程有深入了解；

*具备敏捷开发经验，熟练使用SVN和Maven；

*有很强的英语阅读能力。

岗位职责：

1.负责移动客户端数据采集、识别与正确解析。

2.负责移动端爬虫架构设计(包括基础资源，如移动设备群集技术、代理池技术、反反爬技术、移动设备群控技术等等)与核心技术研发。

3.负责移动端数据的特征挖掘，主要对移动设备数据请求协议、移动端交互数据、资源变化趋势等进行数据抓取、分析和特征建模。

...

岗位职责：

1.负责构建分别爬虫平台；

2.负责网络数据的抓取；

3.分布式技术提升爬虫性能。

任职要求：

1.本科及以上学历，计算机相关专业毕业，3年以上的工作经验，有互联网大型网站工作经验优先；

2.精通JAVA|python编程，熟悉异步IO、多线程、网络编程等开发技术；

3.熟悉主流的爬虫框架、开源项目(scrapy)，有分布式高并发爬虫开发经验优先；

...

岗位职责：

1.负责采集网页、微博、微信、论坛的静态数据、以及评论等动态数据

2.负责网页信息抽取、数据清洗等研发和优化工作

3.分布式爬虫平台的构建

任职要求：

1.熟悉爬取数据的各种方式和方法，以及应付反爬的处理方式

2.熟悉海量数据的存储以及检索方式

3.精通Java语言