python爬取知网论文_爬取知网,万方数据思路，等传完数据再开贴！

本帖最后由 为人生而奋斗 于 2019-9-26 13:35 编辑

从毕业那天开始，一直开发到现在已经历经三个月时间，总算打造好了可以承受千万级的学习门户站点。分享完这个以后就归隐回农村种地了，再见亲爱的吾爱朋友们！网站用python爬取的数据，数据+代码共1300GB，值得一提是爬取了万方数据论文26万篇，(全站资源不仅包括论文这单一资源，全站资源包括各个方面，所以建议某人不要那样见缝插针乱喷，很反感这种人)论文可以用于参考。源码上传百度云，自己的网龟速，上传慢，大家需要搭建的话可以搞个大的服务器。

源码下载：（目前还在上传，共1300GB数据+源码，百度云盘速度太慢！等传完，再开一帖吧）

要奔溃了，上传速度200KB，何时上传完

，有什么好办法嘛？

最厌恶某些人，自己不分享，还说这说那！

可能上传不完，我先说方法吧，免得被人说！

说说如何爬取知网和万方数据（难点）

具体思路是参考github上：https://github.com/tom523/crawlCnki

爬取万方数据（借鉴吾爱论文朋友提供的：浙江图书馆（http://www.zjlib.cn/），注册账号，里面有提供万方镜像，我们就能从这里入手！）

TIM图片20171207150242.png (164.17 KB, 下载次数: 1)

万方数据

2017-12-7 15:02 上传

TIM图片20171207150324.png (68.05 KB, 下载次数: 0)

2017-12-7 15:03 上传

里面是万方镜像，浙江图书馆挺给力的，可以破除万方数据账号权限问题！

下一步是，pdf转文字,python的pdf转文字api可以做到。

最后是选择系统框架，我这用的thinkphp，你可以选用其它框架。他们说帝国cms，生成静态速度快，大家可以研究从帝国入手框架，我这个TP框架不行

我这个程序是死的，所以不能单一上传程序源码，我是全部生成静态的，很奔溃.........都是泪