基于 requests 的全能扫描王爬虫实践

投稿人：Alan

摘要：全能扫描王是文件扫描留档的重要工具，本文利用requests爬虫将手机客户端的扫描文件，同步至电脑端。

一、背景

在审计工作中，需要大批量扫描文件留档，全能扫描王成为主流的手机端扫描工具。由于网页端的全能扫描王无法大批量下载的扫描文件，在一定的限制环境下，使用将手机端同步至电脑成为一大需求，本文利用requests爬虫下载扫描文件，tkinter设计交互界面，pyinstaller打包封装exe实现脱机使用。

二、Fiddler抓包

Fiddler安装及证书信任设置不在此赘述。

（1）user/login请求

利用火狐浏览器访问扫描王网页（https://www.camscanner.com/user/login），并输入用户名和密码点击登录。在Fiddler中观察执行情况，发现第247号POST请求user/login下webform包含上传参数，返回结果json为URL，且在Fiddler抓取的URL中已经访问（第249号），故应为跳转的网址（如图2-1）。

图2-1

（2）files/holder请求

该请求为登录后的界面，在Fiddler中仅执行请求返回为0，未获取登录后网页，故可能需要模拟请求头部和Cookie。在执行带header和cookie的请求后成功获取登录界面，其中cookie包含_csc、 _csl、Hm_lvt_8f0191b1f1b207d4f6e0d42e771d6fde、_oa、_cdn、 JSESSID、Hm_lpvt_8f0191b1f1b207d4f6e0d42e771d6fde、_ct、 _isus、 _cslt、 S2、 _cssu、_csste等参数。登录后的界面包含了用户已经同步至云端的所有文件列表，但请求结果中未发现文件清单的信息，故猜测可能存在别的网址。在Fiddler抓取结果中，发现图2-1中第270号请求中返回文件列表（如图2-2）。

图2-2

（3）doc/list请求

该请求获取文件列表，在Fiddler中执行带header和cookie的doc/list请求，结果与抓取一致。

（4）doc/downloadpdf请求

在火狐浏览器中下载某一个文件，Fiddler中发现请求doc/downloadpdf和stat/download与下载相关，其中doc/downloadpdf根据提供的文件的唯一标识doc_id返回对应的下载地址（如图2-3），而stat/download是确认文件下载状态，故主要关注doc/downloadpdf请求。

图2-3

三、requests爬虫实现

在第二节的抓包后，着手进行代码实现，考虑到程序为工作的需求，故脱离python环境也能执行，故暂不考虑selenium，而采用requests。程序主要分为登录（login_page）、获取文件列表（get_file_list）、下载文件（get_downloadfile_url_one）三块。

（1）程序初始化

设置requests.session、headers等变量，并应用logger包将在程序中打log，代码如下：

class downloadscan(object):
    def __init__(self,username,password):
        self.session = requests.session()
        self.url = "https://www.camscanner.com/user/login"
        self.username,self.password =username,password
        self.respage = None
        self.headers = {"Host": "www.camscanner.com",\
                        "User-Agent": "Mozilla/5.0 (Windows NT 10.0; WOW64; rv:58.0) Gecko/20100101 Firefox/58.0",\
                        "Accept":"text/plain, */*; q=0.01",\
                        "Accept-Language":"zh-CN,zh;q=0.8,zh-TW;q=0.7,zh-HK;q=0.5,en-US;q=0.3,en;q=0.2",\
                        "Accept-Encoding":"gzip, deflate, br",\
                        "Content-Type": "application/x-www-form-urlencoded",\
                        "X-Requested-With":"XMLHttpRequest",\
                        "Connection":"keep-alive",\
                        "Cache-Contro":"max-age=0, no-cache",\
                        "Pragma":"no-cache"}
        self.file_list = None
        self.tmp_cookie = None
        self.download_res = {"filename":None,"address":None}
        self.status = True
        self.logger = logging.getLogger(__name__)
        self.logger.setLevel(level = logging.INFO)
        handler = logging.FileHandler("./camscanner/log/log")
        handler.setLevel(logging.INFO)
        formatter = logging.Formatter('%(asctime)s - %(name)s - %(levelname)s - %(message)s')
        handler.setFormatter(formatter)
        self.logger.addHandler(handler)

（2）登录login_page

利用requests.session.post实现user/login请求，并设置status获取登录状态（成功or失败），详见login_page函数, 在登录后实现files/holder请求跳转，详见redirect_to_holder函数，并更新登录状态，代码如下：

    def login_page(self):
        #登录
        params = {"act":"submit","redirect_uri":"","area_code":"86","username":self.username,"password":self.password,"rememberme":False}
        self.respage = self.session.post(self.url,data=params,headers = self.headers)
        self.logger.info(self.url+" status_code: "+ str(self.respage.status_code))
        self.generate_header("login")
        if str(self.respage.status_code) =="200" and self.status ==True:
            self.logger.info("++++++++oh my god, login succeed!++++++")
        else:
            self.status = False
    def redirect_to_holder(self):
        #跳转
        if "data" in json.loads(self.respage.text):
            self.url = json.loads(self.respage.text)["data"]
            self.respage = self.session.get(self.url,headers = self.headers)
            self.logger.info(self.url+" status_code: "+ str(self.respage.status_code))
            self.status = True
        else:
            self.status = False
        if str(self.respage.status_code) =="200" and self.status == True:
            self.logger.info("++++++++oh my god, redirect login succeed!++++++") 
        else:
            self.status = False

（3）请求headers设置

    def generate_header(self,action):
        if action=="login":        
            self.headers["Referer"] = self.url
            self.headers["Accept"]  ="text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8"
            self.headers["Upgrade-Insecure-Requests"] = "1"
            self.tmp_cookie = requests.utils.dict_from_cookiejar(self.respage.cookies)
            if "_csc" in self.tmp_cookie and "JSESSID" in self.tmp_cookie and "S2" in self.tmp_cookie and "_cssu" in self.tmp_cookie:
                self.headers["Cookie"]  ="_csc=%s;_csl=zh-cn;_oa=86,%s;JSESSID=%s;Hm_lvt_8f0191b1f1b207d4f6e0d42e771d6fde=%s;_ct=1;_isus=1;_cslt=1;S2=%s;_cssu=%s;_csste=%s;Hm_lvt_8f0191b1f1b207d4f6e0d42e771d6fde=%s;_cssrd=1"%(self.tmp_cookie["_csc"],self.username,self.tmp_cookie["JSESSID"],int(time.time()),self.tmp_cookie["S2"],self.tmp_cookie["_cssu"],int(time.time()),int(time.time()))
            else:
                self.status = False
                self.logger.warning(self.url+"登陆失败，headers设置失败")
        else:
            self.headers["Cache-Contro"] ='no-cache'
            self.headers["Content-Type"] = "application/x-www-form-urlencoded;charset=utf-8"
            self.headers["Accept"]  = "text/plain, */*; q=0.01"
            self.headers["Referer"] = 'https://www.camscanner.com/files/holder'
            if "Upgrade-Insecure-Requests" in self.headers:
                self.headers.pop("Upgrade-Insecure-Requests")
            if "_csc" in self.tmp_cookie and "JSESSID" in self.tmp_cookie and "S2" in self.tmp_cookie and "_cssu" in self.tmp_cookie:
                self.headers["Cookie"]  ="_csc=%s;_csl=zh-cn;_oa=86,%s;JSESSID=%s;Hm_lvt_8f0191b1f1b207d4f6e0d42e771d6fde=%s;_ct=1;_isus=1;_cslt=1;S2=%s;_cssu=%s;_csste=%s;Hm_lvt_8f0191b1f1b207d4f6e0d42e771d6fde=%s;_cssrd=1"%(self.tmp_cookie["_csc"],self.username,self.tmp_cookie["JSESSID"],int(time.time()),self.tmp_cookie["S2"],self.tmp_cookie["_cssu"],int(time.time()),int(time.time()))
            else:
                self.status = False
                self.logger.warning(self.url+"登陆失败，headers设置失败")

（4）获取文件列表

    def get_file_list(self):
        self.url = "https://www.camscanner.com/doc/list"
        self.respage = self.session.post(self.url,headers = self.headers)
        #self.save_all()
        self.logger.info(self.url+" status_code: "+ str(self.respage.status_code))
        self.file_list = eval(self.respage.text)["data"]["list"]
        self.logger.info("++++++++enheng, get file list succeed+++++++++++")
           （5）下载文件
    def get_downloadfile_url_one(self,doc_id,title):
        self.generate_header("get download url")
        self.url = "https://www.camscanner.com/doc/downloadpdf"
        self.params = {"json_download":json.dumps({"docs":["%s.jdoc"%doc_id]})}
        times = 0
        tmp = None
        while (times<5 and tmp == None):
            self.respage = self.session.post(self.url,data = self.params,headers = self.headers)
            times +=1
            if "data" in self.respage.json():
                tmp = self.respage.json()["data"]
        self.download_res["address"] = tmp
        self.download_res["filename"] = title + tmp[tmp.rfind("."):]
        self.logger.info("get %s address is : %s"%(title,tmp))
        urllib.request.urlretrieve(self.download_res["address"],self.download_res["filename"])
        self.logger.info("%s，下载完成"%self.download_res["filename"])

四、tkniter交互、pyinstaller封装exe

为方便程序可以脱离python环境使用，利用tkniter包设计简单的交互界面，主要设置登录界面（图4-1），若登录网页版全能版扫描王后成功后，跳转同步界面（图4-2），并在本地生成user_info文件，下次直接自动登录，跳过登录界面，点击开始同步（图4-3），将本地已经下载的文件跳过，直接下载未下载的文件，并更新本地文件列表，针对同步失败、切换账号、密码更改的需求，设置重新登录功能，将删除原有user_info文件，重新生成（图4-4），运行结果如图4-1至4-4：

4-1登录界面

4-2登录成功

4-3开始同步

4-4重新登录

将测过的代码进行封装，本文运行较为简单的命令：

pyinstaller -F -w downloadscan.py -i camscanner.ico

五、结语

下载本文全部代码(downloadscan.py)实现及封装程序(downloadscan.exe)，请扫描下方二维码关注公众号后回复“抓包”获取