爬虫
文章平均质量分 73
北海大大
这个作者很懒,什么都没留下…
展开
-
新版本appnium安装及使用过程
文章目录前言一,全部环境安装全部环境1,安装jdk2,安装node.js3,安装android studio环境配置4,安装appium-doctor(这个是检测环境用的,对自己自信可不用)5,appium6,appium-inspector7,确定环境都正确(1),直接cmd运行:(2) appium环境配置(3)直接运行2,appium-inspector使用获取app关键信息:deviceName可在cmd运行 adb devices获取名称appPackage和appActivity获取注意事项:.原创 2021-12-14 17:09:20 · 4818 阅读 · 1 评论 -
使用requests进行网络请求,返回信息是乱码
报错:UnicodeDecodeError: ‘utf-8’ codec can’t decode byte 0x83 in position 0: invalid start byte问题:使用requests进行网络请求,返回信息使用decode进行各种解码,但是无法成功。测试:然后使用fiddler进行代理,返回信息正确。原因:不详做法:使用requests进行本地fiddler代理ip = '127.0.0.1:8888'proxies = { "http": "原创 2021-09-28 11:04:58 · 1117 阅读 · 2 评论 -
可爬取上亿条数据的网络框架设计及注意事项
文章目录前言程序整体设计(重点!!!决定程序扩展性)1. 当程序过大,应拆分为各个部分,分为各个层面,程序可分为如下几层:2,除分层以外,有其他辅助模块:错误信息的处理(重点!!!决定程序稳定性)1,网络请求出错,这是大型爬虫错误信息最多也是最关键的问题。同时也分为如下几种情况。2,数据库连接失败:3,处理response的content失败,有如下几种情况:4,程序莫名停止,死亡问题:初步猜测是因为内存溢出使用代理问题及解决程序打印信息问题创建数据库必须加入信息出现js解析问题程序待优化程序总体设计不足.原创 2021-08-05 15:52:33 · 209 阅读 · 0 评论