相关文件
源码分享,问题解答!!
关注小编,私信小编领取哟!
当然别忘了一件三连哟~~
对了大家可以关注小编的公众号哟~~
有很多资源可以领取的哟!!
Python日志
开发工具
Python版本:3.7.8
相关模块:
一些python自带的模块,其他的在正文里随缘安装吧
环境搭建
安装Python并添加到环境变量,pip安装需要的相关模块即可。
盘点的小技巧
1.Unicode乱码
这个是我最开始写爬虫的时候经常遇到的问题,返回的网页数据经常是这样子的:
很明显这是unicode编码后的数据,类似于:
正常情况下你直接解码就行:
b'\\u516c\\u4f17\\u53f7, Charles\\u7684\\u76ae\\u5361\\u4e18'.decode('unicode_escape')
但是写爬虫的时候返回的数据是str类型的,所以你必须这样解码:
2.如何在终端实现进度条
之前有不少小伙伴留言问我进度条咋实现的,以前我一般都是用的click,代码片段如下:
with session.get(songinfo['download_url'], headers=headers, stream=True, verify=False) as response:
if response.status_code == 200:
total_size, chunk_size = int(response.headers['content-length']), 1024
label = '[FileSize]: %0.2fMB' % (total_size / 1024 / 1024)
with click.progressbar(length=total_size, label=label) as progressbar