风云路上想改名-CSDN博客

原创 python进阶之Fraction,pil,Counter，BytesIO，eval妙用......

Franction分数库pil Image图片简单处理io BytesIOeva函数用来执行一个字符串表达式，并返回表达式的值。

2019-05-10 13:51:07 614 1

原创微博简单的免登陆获取

这个记录一下，简单web端的登陆有空贴上来。此处是从浏览器手机一面走的。仅供参考phone_url="***********&page={0}".format(h) header={ "User-Agent":"*********", } req=requests.get(url=phone_url,headers=...

2019-04-15 14:39:24 7505

原创 python数据结构之树形结构

python数据结构二叉树树的查询，遍历，存储

2019-04-09 17:19:01 4437

原创 python进阶collections.namedtuple延伸

py的collections.namedtuple详解，python关于魔术方法的调用迭代器生成器

2019-04-01 18:33:31 346

原创由appium capabilities(cpas) 衍生的标签定位不到的解决方案

1,autoWebview：#autoWebviewTimeout可以给webview定一个超时时间#直接切到webview上下文(context)在一些文档中基本都是类似的解释，在学习selenium的前提下你可能真的不知道##appium是由selenium封装而来的。webview就相当于web页面上的一个frame表单，不仅仅如此。在appium当中可以由driver.conten...

2019-04-01 15:04:13 235

原创 python分布任务celery(笔记1)

python 分布celery初步解读celery配置

2019-03-18 20:59:54 575

原创记录一次糟心的appium启动篇

adb 连接模拟器UI代码开始app包名active获取

2019-03-14 18:52:14 308 1

原创 app爬虫appium获取借贷宝，无忧等等(控制文件)

appium多开控制连接切换app

2019-03-01 17:20:59 1548 7

原创 app爬虫appium获取借贷宝，无忧等等(配置文件)

python，appium模拟器的交互appium模拟用户部分通用函数多开appium和模拟器连接

2019-03-01 16:09:10 1463 5

原创 python数据结构与算法---数组(线性数组)

线性表一维数组到n维数组

2018-12-18 20:59:23 842

原创 python进行大量sql报错(非连接池问题)

MySQL超过最大进程报错结局python实现解决问题分析MySQL阻塞原因#就报错

2018-11-26 22:10:55 724

原创 agoda获取酒店数据

最近改了改代码，正好解决了一些报错问题，更新出来。个别处会加蜜数据库以及线程控制from DBUtils.PooledDB import PooledDBimport requestsimport demjsonimport timeimport randomimport jsonimport pymysqlimport datetimeimport threadingb ...

2018-11-20 17:00:06 1220 3

原创 Python爬虫踩坑之二分查找，数值按位相加，

Python实现二分Python实现两个数按位数相加

2018-11-13 15:27:23 370

原创 Python爬虫踩坑之随机数种子的问题

在看一本数据库产生了一个关于离散的问题，由于本人对离散还不懂。在大佬的建议下研究了下随机数种子的问题（和此问题类似吧）由于随机数种子的概念有些文章已经有了就不在赘述:随机数种子概述在此主要通过Python当中random来研究这个问题:random模块进入模块源码：比较看重翻译的同学请忍耐 def seed(self, a=None, version=2): """...

2018-11-08 10:04:50 3223

原创 Python爬虫踩坑之json报错，json包比较

json.loads()报错simplejson，demjson，json性能比较

2018-11-06 16:48:51 3165

原创 python3爬虫采坑记录片之oss文件和字符串连接的学问

上传oss字符串拼接

2018-11-02 09:07:46 772

原创 App抓取之工具配置初篇

app爬取了从原理上来讲和web爬虫区别不大。主要是寻找数据接口和部分解析情况略有不同，接下来的博文只是写部署成功抓包的部分。下一篇可能会写实际代码安卓模拟器:不用ios是因为window下更方便市面上的安卓模拟器当然谷歌官方的AVD也是一款很强大的模拟器，适用很多机型，但是调适难度大，只能ADB(后面在使用阶段会详写)安装，不...

2018-10-28 19:17:47 500

原创 Redis和MySQL命令封装,连接池以及特殊场景下的封装

MySQL连接池，redis连接池，MySQL与redis连接池互动

2018-10-28 17:10:54 482

原创 booking爬取之反扒斗争

try it

2018-09-26 16:03:29 1485 4

原创 scrapy0.24文档解读之spider文件

spider文件Spider基类crawlspiderxmlfeedspidercsvfeedspidersitemapspider

2018-09-23 18:14:00 585

原创 python同程爬取之sql连接池，多线程锁

同程爬取sql连接池使用多线程锁机制的简单使用

2018-09-15 18:24:08 722

原创 scrapy0.24文档解读之setting配置（二）

上一篇写了setting的一部分设置，继续 1：DOWNLOAD_MAXSIZE#设置response大小设置将要下载的response最大size，如果想禁用设置为0 #Default:1073741824 (1024MB) 也可以在爬虫中使用download_maxsize属性设置2：DOWNLOAD_WARNSIZE #警告还是预告？？的大小...

2018-09-08 23:24:57 710

原创 scrapy0,24文档解读之setting配置（一）

文档解读setting设置请求和下载以及底层设置

2018-09-05 23:43:04 463

原创 python3爬虫踩坑记纪录篇（二）

python线程锁python列表推导式简单文件操作代理使用计算地图两点距离分词

2018-09-05 14:30:17 355

原创 python3爬虫踩坑记录篇（一）

最近在写代码的时候经常报错，能力有限，再此只提供解决办法，如有错误请及时纠正1：scrapy做post提交data键值都是字符串，如有汉字或数值类型先转字符串yield scrapy.FormRequest(url=start_url,headers=headers,method = 'POST',formdata=data,callback=self.parse,dont_filter=...

2018-08-25 14:09:51 961

原创 scrapy使用并发送email

scrapy两种方法构建发送器发送email

2018-08-17 22:52:13 1860 4

wc199422的博客