临时笔记

SPT-下载爬虫系统和数据分析(7370)职位描述：

 

 

岗位职责：
负责搜索引擎爬虫系统的开发及相关数据的分析挖掘
岗位要求：
2年以上c 编程经验，对算法/数据结构有深刻理解
熟悉linux编程和调试环境
熟悉 socket 网络编程
具备良好的团队协作能力及沟通能力
有大型分布式系统设计开发经验优先
有搜索引擎经验者优先
具有数据挖掘、自然语言处理、信息检索、机器学习、数据统计背景的优先

 

 

 

我们正在创建新一代的智能网页搜索应用。我们在努力寻找优秀的，在文本挖掘、信息抽取、信息检索和自然语言处理等方面的专家级的软件开发人才，帮助我们建立产品数据库来展示我们的“长尾”策略产品。
职责：
1. 负责建立业内最大最全的原标签产品目录；
2. 在不知名的非主流网站上寻找鲜为人知的与众不同的产品；
3. 同团队一起合作为用户提供最完美的体验；
4. 汇报给技术总监；
要求：
1. 精通信息抓取和整合技术，从结构化的和非结构化的数据中获取信息。
2. 熟悉数据分析的统计方法，如PMT，HMM，Naïve Bayes等。自然语言处理技巧和经验尤为重要。
3. 精通与搜索和个性化相关的机器学习算法，大规模网页聚类，分类和提取摘要。
4. 精通大规模推荐系统和内容过滤（large scale recommendation system, content based recommendation and collaborative filtering）。
5. 5年以上Java开发经验，超强的编程技巧。
6. 精通Java技术，如JDBC，servlet，web service，最好熟悉Ruby。
7. 精通关系型数据库，尤其是MySQL， 大数据量的。
8. 熟悉大规模网页爬取，深度网页爬取，熟悉nutch、hadoop等爬虫工具尤佳。
9. 有测试驱动和敏捷开发经验。
10. 能用英文进行日常工作沟通交流。