- 博客(3)
- 收藏
- 关注
RSS订阅原创 WSL:轻量构建开发环境的良好实践
WSL 开发过程中，windows的办公便利性无可厚非，但是麻烦的是其工具链实在是无法恭维，系统环境跟实际生产环境（linux）大相径庭不说，配置更是相当繁琐（从环境变量配置到特立独行的shell、编译工具链等），让人头疼。 作为传统的这种解决办法：hyper-v / virtualbox / vmware等虚拟化技术本地起一个虚拟机，ssh到虚拟机作为开发环境。但是这种方法的弊端也很明显，vm manager进程资源占用都比较大，且虚拟化较重 —— 需要懂得网卡映射、clipboard共享、磁盘共
2020-10-25 22:49:09
367
原创 爬虫爬取公众号内容
*不涉及具体代码具体步骤获取移动端内容列表AVD模拟器(Discarded)经过实际尝试，算力占用过多，不予考虑。adb USB debugadb调试 + appium server + python appium-client 控制脚本点击/滑动获取所有内容列表、发送移动端页面访问请求。移动端流量请求劫持调查发现，所有移动端访问公众号内容发起的流量请求跟实际内容URI均保持统一格式：[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-mhRAOmnn-
2020-10-17 09:59:37
495
原创 python requests编码类型推断错误导致乱码
问题描述今天在教别人一些爬虫基础遇到一个从来没有出现过的现象：中文网站奇怪的乱码，经过多种编码尝试，均不能还原：import requestsfrom bs4 import BeautifulSoupres = requests.get('http://www.xinhuanet.com/')bs = BeautifulSoup(res.text, 'lxml')for item in bs.select('.dataList01 a')[:3]: print(item.text)
2020-10-15 01:10:58
2401
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人