Csdn开源爬虫项目

简介

• 本项目基于WebMagic爬虫框架，灵活运用爬虫技术实现对CSDN信息的爬取，在移动端进行数据的展示，服务于广大开发人员。

• 本项目包括三大模块

  • 爬虫模块（CsdnSpider）
  • 服务器接口模块（CsdnService）
  • 客户端模块（CsdnAndroid、CsdnIos）

• 爬虫模块主要负责CSDN各种信息的爬取、更新、过滤；定时任务的执行等。服务器接口模块主要负责为客户端提供所需各种API数据接口、模拟登陆、分词等。客户端模块主要负责数据的展示等。

说明

• 本项目提供所需要的图标资源
• 本项目提供接口文档
• 本项目目前提供最新版Android CSDN+.apk下载
• UI设计需要完善，如果想要完善UI设计可以联系
• 提供测试接口：139.199.19.59（将接口文档中的localhost替换即可，不保证一直可用）

爬虫模块

已开发，暂不提供

服务器接口模块

https://github.com/scsfwgy/CsdnService

Android端

https://github.com/scsfwgy/CsdnAndroid

Ios端

待开发，欢迎加入

支持

• 所有赞赏都将用于测试服务器和正式服务器的购买

声明

• 本项目仅用于学习交流使用，禁止进行商业目的的开发、发布、运营等。数据所有权归http://www.csdn.net/所有。