资深爬虫工程师必备技能

经验和项目
●独自开发：1个以上正在持续正常运行的社交平台群控系统。（达此要求酌情降低技术要求）
●独自开发：1个以上正在持续正常运行的大规模的爬虫脚本，不限制类型。（必须）
●具备扎实丰富的优化爬虫性能经验，和提高数据抓取效率和准确性的经验。
●独自开发过大规模数据抓取项目，能够处理和分析大量数据。
●具有非常强的数据抓取与处理能力。（必须）
●5年以上爬虫工作经验。
软技能
●优秀的问题解决能力，能够独立分析和解决技术难题。
●有较强的学习能力，能够迅速掌握新技术和新工具。
●时间管理能力，能够在远程工作环境中自我管理和推动项目进展。
福利
●可以自由选择在家办公或者在公司办公，一周根据情况到公司沟通汇报1-2次。（工作推进顺利，可以长期不来公司）

招聘需求
工作职责：
建立和长期维护各种社交平台（小红书、抖音、快手、微博等平台）的自动化群控系统
包括但不限制以下功能：
●自动发布内容到社交媒体平台。
●自动响应消息或评论。
●批量管理多个社交媒体账户。
●自动化执行营销活动，如发送推广消息、管理粉丝互动等。
基于公司的需求，从各种app上获得对应需求的数据。
技术要求：
精通从手机APP上获取各种数据
●移动应用架构理解：深入理解iOS和Android操作系统的基础架构，包括应用的生命周期、权限管理、数据存储和传输机制。
●逆向工程技能：能够对移动应用（Android APK或iOS IPA）进行逆向工程，了解其内部工作原理，包括使用工具如Apktool、Dex2Jar、JD-GUI、Frida、Ghidra等。
●网络抓包与分析：熟练使用网络抓包工具（如Wireshark、Charles、Fiddler）分析APP与服务器之间的通信，理解API请求和响应格式。
●代理和中间人攻击（MITM）：能够设置代理和执行MITM攻击来拦截和修改APP的网络通信，理解HTTPS、SSL/TLS、证书锁定等安全机制。
●编程与脚本能力：熟练掌握至少一种编程语言（如Python、Java、Kotlin或Swift）用于开发爬虫脚本和自动化工具，了解基本的数据结构和算法。
●反爬虫技术对抗：理解并能应对移动端特有的反爬虫措施，例如动态令牌、设备指纹验证、加密通信等。
●API挖掘与模拟请求：通过分析APP的网络通信，挖掘API接口，并能够模拟请求获取数据。

精通从web网站上获取各种数据 
●熟练掌握Python，掌握1种或多种爬虫库（如Requests, BeautifulSoup, Scrapy等），并精通一种。
●动态内容抓取：了解如何处理AJAX和JavaScript渲染的内容，使用Selenium、Puppeteer或Playwright等工具来模拟浏览器环境获取动态生成的数据。
●反反爬虫技术：熟悉常见的反爬虫措施（如IP限制、用户代理检测、验证码等）及其应对策略（如使用代理服务器、旋转用户代理、处理CAPTCHA等）。
●能够在爬虫程序中应用多线程技术，实现高效爬虫