python 批量下载知网(cnki)论文_Python 实现 CNKI批量下载 和FireFox Extension 入门学习笔记...

‍Python 实现 CNKI批量下载 和FireFox Extension 入门学习笔记‍

由于需要也是为了督促自己学习新的东西，我原本想要尝试着写一个爬虫程序，能够在cnki上自动得将论文进行批量下载，学习过程中遇到了诸多情况，cnki也真是专业，不得不佩服cnki的强大。

下面进入正题：

学习、实验环境：ubuntu 14.04

工具：Eclipse，FireFox，FireBug，HttpFox

编程语言：python,   js,   XUL

由于我是中山大学学生，使用校园网进入cnki进行下载是不用登录的，所以我也就没进行模拟登录等方面的实现，有需要的朋友可以使用splinter进行模拟登录，也算快速便捷哈。

首先我们要实现使用python对cnki的论文实现批量下载，我们首先要对客户端和服务器之间相互传递的信息进行了解，这里我第一次使用的是wireshark，但是这个工具虽然强大，但是真不利于我们进行分析，它抓取的是我们电脑端口的信息，而不能只抓取当前网页的，在多次尝试之后我选择了HttpFox进行数据包抓取：

如图我们可以发现cnki对一个下载进行了3此redirect，我们通过对获得的数据和再一次发送的数据对比可以发现：前一次获得的url就是下一次get的url，所以我们就可以写出下载部分的核心代码，只有一点点是自己写的，许多网上一搜就有。

# -*- coding: UTF-8 -*-

import sys

import urllib2

import cookielib

import string

import re

import time

cj = cookielib.CookieJar()

cookie_support = urllib2.HTTPCookieProcessor(cj)

opener = urllib2.build_opener(cookie_support, urllib2.HTTPHandler)

urllib2.install_opener(opener)

url = 'http://epub.cnki.net/kns/download.aspx?filename=MBnRwcDMudGaItiamtScHVzb2Y0ZrVWRCBjaykEVXRTOjV0QHxUcTh3KNFXbHBDTyQVMNR2cP9kYGh1SXZnQnp3b3I2YqBnbUJ3KSNnRvpEUwhWTVJjNKBDcXVnSmZUayMkRVJUdytCe1AjT1ImTYdWdth1RtlGb&tablename=CMFDLAST2013'

h &