![](https://img-blog.csdnimg.cn/20201014180756928.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
笔记
风云路上想改名
简单的事情做好就是极致
展开
-
scrapy使用并发送email
scrapy两种方法构建发送器发送email原创 2018-08-17 22:52:13 · 1892 阅读 · 4 评论 -
agoda获取酒店数据
最近改了改代码,正好解决了一些报错问题,更新出来。个别处会加蜜数据库以及线程控制from DBUtils.PooledDB import PooledDBimport requestsimport demjsonimport timeimport randomimport jsonimport pymysqlimport datetimeimport threadingb ...原创 2018-11-20 17:00:06 · 1237 阅读 · 3 评论 -
python进行大量sql报错(非连接池问题)
MySQL超过最大进程报错结局python实现解决问题分析MySQL阻塞原因#就报错原创 2018-11-26 22:10:55 · 730 阅读 · 0 评论 -
python数据结构与算法---数组(线性数组)
线性表一维数组到n维数组原创 2018-12-18 20:59:23 · 848 阅读 · 0 评论 -
app爬虫appium获取借贷宝,无忧等等(配置文件)
python,appium模拟器的交互appium模拟用户部分通用函数多开appium和模拟器连接原创 2019-03-01 16:09:10 · 1492 阅读 · 5 评论 -
app爬虫appium获取借贷宝,无忧等等(控制文件)
appium多开控制连接切换app原创 2019-03-01 17:20:59 · 1570 阅读 · 7 评论 -
记录一次糟心的appium启动篇
adb 连接模拟器UI代码开始app包名active获取原创 2019-03-14 18:52:14 · 319 阅读 · 1 评论 -
python分布任务celery(笔记1)
python 分布celery初步解读celery配置原创 2019-03-18 20:59:54 · 581 阅读 · 0 评论 -
由appium capabilities(cpas) 衍生的标签定位不到的解决方案
1,autoWebview:#autoWebviewTimeout可以给webview定一个超时时间#直接切到webview上下文(context)在一些文档中基本都是类似的解释,在学习selenium的前提下你可能真的不知道##appium是由selenium封装而来的。webview就相当于web页面上的一个frame表单,不仅仅如此。在appium当中可以由driver.conten...原创 2019-04-01 15:04:13 · 245 阅读 · 0 评论 -
python进阶collections.namedtuple延伸
py的collections.namedtuple详解,python关于魔术方法的调用迭代器生成器原创 2019-04-01 18:33:31 · 350 阅读 · 0 评论 -
python数据结构之树形结构
python数据结构二叉树树的查询,遍历,存储原创 2019-04-09 17:19:01 · 4450 阅读 · 0 评论 -
微博简单的免登陆获取
这个记录一下,简单web端的登陆有空贴上来。此处是从浏览器手机一面走的。仅供参考phone_url="***********&page={0}".format(h) header={ "User-Agent":"*********", } req=requests.get(url=phone_url,headers=...原创 2019-04-15 14:39:24 · 7735 阅读 · 0 评论 -
Python爬虫踩坑之随机数种子的问题
在看一本数据库产生了一个关于离散的问题,由于本人对离散还不懂。在大佬的建议下研究了下随机数种子的问题(和此问题类似吧)由于随机数种子的概念有些文章已经有了就不在赘述:随机数种子概述在此主要通过Python当中random来研究这个问题:random模块进入模块源码:比较看重翻译的同学请忍耐 def seed(self, a=None, version=2): """...原创 2018-11-08 10:04:50 · 3230 阅读 · 0 评论 -
Python爬虫踩坑之二分查找,数值按位相加,
Python实现二分Python实现两个数按位数相加原创 2018-11-13 15:27:23 · 376 阅读 · 0 评论 -
python3爬虫踩坑记录篇(一)
最近在写代码的时候经常报错,能力有限,再此只提供解决办法,如有错误请及时纠正1:scrapy做post提交data键值都是字符串,如有汉字或数值类型先转字符串yield scrapy.FormRequest(url=start_url,headers=headers,method = 'POST',formdata=data,callback=self.parse,dont_filter=...原创 2018-08-25 14:09:51 · 965 阅读 · 0 评论 -
python3爬虫踩坑记纪录篇(二)
python线程锁python列表推导式简单文件操作代理使用计算地图两点距离分词原创 2018-09-05 14:30:17 · 361 阅读 · 0 评论 -
scrapy0.24文档解读之setting配置(二)
上一篇写了setting的一部分设置,继续 1:DOWNLOAD_MAXSIZE#设置response大小 设置将要下载的response最大size,如果想禁用设置为0 #Default:1073741824 (1024MB) 也可以在爬虫中使用download_maxsize属性设置2:DOWNLOAD_WARNSIZE #警告还是预告??的大小...原创 2018-09-08 23:24:57 · 715 阅读 · 0 评论 -
scrapy0,24文档解读之setting配置(一)
文档解读setting设置请求和下载以及底层设置原创 2018-09-05 23:43:04 · 472 阅读 · 0 评论 -
python同程爬取之sql连接池,多线程锁
同程爬取sql连接池使用多线程锁机制的简单使用原创 2018-09-15 18:24:08 · 756 阅读 · 0 评论 -
scrapy0.24文档解读之spider文件
spider文件Spider基类crawlspiderxmlfeedspidercsvfeedspidersitemapspider原创 2018-09-23 18:14:00 · 592 阅读 · 0 评论 -
booking爬取之反扒斗争
try it原创 2018-09-26 16:03:29 · 1493 阅读 · 4 评论 -
Redis和MySQL命令封装,连接池以及特殊场景下的封装
MySQL连接池,redis连接池,MySQL与redis连接池互动原创 2018-10-28 17:10:54 · 491 阅读 · 0 评论 -
App抓取之工具配置初篇
app爬取了从原理上来讲和web爬虫区别不大。主要是寻找数据接口和部分解析情况略有不同,接下来的博文只是写部署成功抓包的部分。下一篇可能会写实际代码安卓模拟器:不用ios是因为window下更方便市面上的安卓模拟器 当然谷歌官方的AVD也是一款很强大的模拟器,适用很多机型,但是 调适难度大,只能ADB(后面在使用阶段会详写)安装,不...原创 2018-10-28 19:17:47 · 505 阅读 · 0 评论 -
Python爬虫踩坑之json报错,json包比较
json.loads()报错simplejson,demjson,json性能比较原创 2018-11-06 16:48:51 · 3186 阅读 · 0 评论 -
python3爬虫采坑记录片之oss文件和字符串连接的学问
上传oss字符串拼接原创 2018-11-02 09:07:46 · 775 阅读 · 0 评论 -
python进阶之Fraction,pil,Counter,BytesIO,eval妙用......
Franction分数库pil Image图片简单处理io BytesIOeva函数用来执行一个字符串表达式,并返回表达式的值。原创 2019-05-10 13:51:07 · 625 阅读 · 1 评论