python中的utils模块_python常用方法utils

always

目录里主要封装了一些自己常用的方法

1. doc2txt

** 本函数主要目的是方便在写爬虫的时候遇到word附件，下载后直接提取出文本文件。

注意：需要安装antiword

mac下: brew install antiword

2. find_path_in_json

** 本函数主要目的是方便在遇到大json时候，查找value是否存在于json中，返回其在json里的路径。

3. pyheader

** 本模块主要是方便写爬虫的时候，将fiddler里的raw也就是原始请求，转换成python字典（目前只支持mac、win7、win10）。

比如fiddler里抓到的原始请求是：

GET https://test.com/address/address?callback=jQuery1102092&v=0.43041341799949273&areaid=0&_=1523927277183 HTTP/1.1

Host:test.com

Connection: keep-alive

User-Agent: Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/65.0.3325.181 Safari/537.36

Accept: */*

Referer: https://myi.vip.com/address.html?ff=103|2|2|4

Accept-Encoding: gzip, deflate, br

Accept-Language: zh-CN,zh;q=0.9

Cookie: cps=adp%3Auopxvvef%3A%3A%3A%3A; vip_first_visitor=1;

直接copy原始请求（command+c）

先安装pyheader

python setup.py install

安装成功之后

执行

pyheader

然后随便找个文本编辑器粘贴（command+v）

{

"callback": "jQuery110209262651116238236_1523927277176",

"areaid": "0",

"_": "1523927277183",

"v": "0.43041341799949273"

}

{

"Accept-Language": "zh-CN,zh;q=0.9",

"Accept-Encoding": "gzip,deflate,br",

"Connection": "keep-alive",

"Accept": "*/*",

"User-Agent": "Mozilla/5.0(WindowsNT6.1;WOW64)AppleWebKit/537.36(KHTML,likeGecko)Chrome/65.0.3325.181Safari/537.36",

"Host": "test.com",

"Referer": "https://myi.vip.com/address.html?ff=103|2|2|4"

}

请求参数和header都出来了

4. download_with_progress

** 本模块主要是方便使用requests下载一些比较大的文件的时候。加个友好的进度条如下：

fetch baidu python img [####################################] 100%