由于需要一些语料做研究,语料要求是知网上的论文摘要,但是目前最新版的知网爬起来有些麻烦,所以我利用的是知网的另外一个搜索接口
比如下面这个网页:
http://search.cnki.net/Search.aspx?q=肉制品
搜索出来的结果和知网上的结果几乎一样
在这个基础上,我简单看了些网页的结构,很容易就能写出爬取得代码(是最基础的,相当不完善,增加其他功能可自行增加)
网页的结构还是很清晰的
摘要信息也很清晰
我使用的是 pymysql 连接的数据库,效率也还可以
下面直接贴代码:
在学习过程中有什么不懂得可以加我的
python学习扣扣qun,784758214
群里有不错的实战教程、开发工具与电子书籍
与你分享python企业当下人才需求及怎么从零基础学习好python,和学习什么内容
# -*- coding: utf-8 -*-
i