爬虫
qhd1994
这个作者很懒,什么都没留下…
展开
-
re正则表达式match和search函数的区别
转载:https://blog.csdn.net/weixin_38819889/article/details/938465791.re.match()re.match()的概念是从头匹配一个符合规则的字符串,从起始位置开始匹配,匹配成功返回一个对象,未匹配成功返回None。包含的参数如下:pattern: 正则模型 string : 要匹配的字符串 falgs : 匹配模式match() 方法一旦匹配成功,就是一个match object对象,而match object对象有以下方法:转载 2020-11-26 11:11:59 · 444 阅读 · 0 评论 -
scrapy爬虫时遇到Couldnt bind Too many open files
使用代理的时候,每次请求切换会有代理发生异常,在高并发的情况下,会产生许多由于代理连接异常导致的半连接假死连接,这些连接系统在进行keepalive探测后会进行回收,如果回收速度过慢的话,达到最大文件句柄数后所有request请求就无法建立连接,就会报出Too many open files。sudo netstat -natep | grep 代理端口 或爬虫进程ID #可以查看爬虫程序占用的ESTABLISHED的连接解决办法:修改系统最大文件句柄数:vim /etc/secu.原创 2020-06-10 14:14:02 · 470 阅读 · 0 评论 -
获取App包里的appPackage和appActivity的几种方式
基本概念: appPackage:App开发者提供的名称。 appActivity:App提供的各种不同的功能。准备工作: 安装android sdk并配置环境变量方式一: 1. 连接手机选择usb调试,我使用的是华为手机,可以在设置->系统->关于手机,连续点击版本号开启; 2. win+R打开运行窗口,然后输入cmd,进入命令行模式,输入adb devices,可以查看目前可...原创 2020-07-17 15:02:23 · 2136 阅读 · 0 评论