k1995的博客

原创 百度云盘搜索引擎【升级版】

之前我也做过百度云盘搜索功能，使用的是搜索引擎的的站内搜索功能site:pan.baidu.com，看了现在绝大大多数的网盘搜索都是使用的这个技巧。这次升级的版本是自己独立开发的网盘爬虫，2天爬取了60W搜索（实际上还可以能多，因为瞬时爬取频率太高，百度会封IP，考虑分布式的爬虫或代理IP能很好解决这个问题）。使用到的技术：前台：PHP（thinkphp框架），后台爬虫:Python，前端