- 博客(164)
- 收藏
- 关注
RSS订阅原创 Django由数据库中的某个表生成models
一般网上的教程在用到Django的反向生成model时都是用到下边几步：1.生成模型文件：python3 manage.py inspectdb2.生成模型apppython3 manage.py startapp'app名字'3.将模型导入创建的app中python3 mange.py inspectdb > app/models.py但是这样反向生成会存在一个问题：如果数据库中有多个数据表的时候，会生成多个models，但是我这里只需要对某一个数据表生成models，那.
2020-05-14 15:32:11
665
转载 svn环境搭建（不同目录、设置不同的权限）
对于svn，有时候需要根据不同角色的权限，访问不同的文件夹，这个时候配置就有一些配置技巧了，我看网上了很多，之前测试多次不成功，主要因为是目录层级搞错了，感觉这个是最容易错的。简单整理了一下步骤，如下:1、安装svn软件subversion（yun –y install subversion）2、指定一个目录（在操作系统跟目录创建/sec-all文件夹），启动svn服务：svnserve -d -r /sec-all/ --listen-port 80803、创建仓库：进入/sec...
2020-05-14 14:33:47
1516
1
转载 mysql事务管理及python操作
在用户操作MySQL过程中，对于一般简单的业务逻辑或中小型程序而言，无需考虑应用MySQL事务。但在比较复杂的情况下，往往用户在执行某些数据操作过程中，需要通过一组SQL语句执行多项并行业务逻辑或程序，这样，就必须保证所用命令执行的同步性。使执行序列中，产生依靠关系的动作能够同时操作成功或同时返回初始状态。在此情况下，就需要用户优先考虑使用MySQL事务处理。在MySQL中，事务由单独单元的一...
2019-05-08 20:29:23
2900
转载 mysql事务，select for update，及数据的一致性处理
在MySQL的InnoDB中，预设的Tansaction isolation level 为REPEATABLE READ（可重读）在SELECT 的读取锁定主要分为两种方式： SELECT ... LOCK IN SHARE MODE SELECT ... FOR UPDATE 这两种方式在事务(Transaction) 进行当中SELECT 到同一个数据表时，都必须等待...
2019-05-08 16:21:26
300
转载 Appium+python自动化23-Android夜神模拟器操作app(2)
前言 前面两篇环境已经搭建好了，接下来就是需要启动APP，如何启动app呢？首先要获取包名，然后获取launcherActivity。获取这两个关键东西的方法很多，这里就不一一多说，小伙伴们可以各显神通。小编这里主要给大家推荐一个sdk自带的实用工具aapt. aapt即Android Asset Packaging Tool，在SDK的build-tools目录下。该工具可以查...
2019-04-26 15:27:38
673
转载 Appium+python自动化23-Android夜神模拟器操作app
前言Android SDK虽然也自带了模拟器，但是那速度会让你怀疑人生，并且不稳定经常卡死异常。夜神模拟器可以说是android模拟器里面的一个神器。环境安装1.官网下载地址：https://www.yeshen.com/2.夜神安卓模拟器（夜神模拟器），是全新一代的安卓模拟器，与传统安卓模拟器相比，基于android4.4.2,兼容X86/AMD,在性能、稳定性、兼容性等方面...
2019-04-26 14:55:45
816
转载 python利用appium实现手机APP自动化
写这个东西也是自己喜欢研究些自动化的东西，以下全是自己的经验所得，由于开源的软件对于各版本以及操作系统要求很高，会经常碰到一些不兼容的问题，这个都属于正常的，换版本就对了。如果你感觉学不会？莫慌，小编推荐大家加入群，前面548中间377后面875，群里有志同道合的小伙伴，互帮互助，还可以拿到许多视频教程！本人的环境搭建都是在win10 64位上搭建的1、环境准备1.jdk1...
2019-04-26 14:08:40
18755
1
转载 windows环境下Appium的安装与配置
Appium中文文档：https://github.com/appium/appium/tree/master/docs/cnAppium的安装比较复杂，网上的教程也比较多，但是好多都不全，按照那些教程一般都会安装失败，我是看了好多教程及评论才安装成功了，所以在此总结一下。如果安装java版就不用安装Python了，跳过步骤3：一、 安装并配置JDK，，建议1.7，Java SDK的安装...
2019-04-26 10:48:44
5212
3
转载 使用celery的backend异步获取结果
惯例先贴出相关参考的文档：http://docs.celeryproject.org/en/stable/getting-started/next-steps.htmlhttp://docs.celeryproject.org/en/stable/userguide/tasks.html#task-result-backends这篇紧接上篇。其实我们一般对这种异步任务需求是可能需要...
2019-04-25 17:26:53
6040
转载 celery实现任务统一收集、分发执行
首先解释下目标的概念：celery任务消息会由各种途径（比如手动通过python shell触发、通过tornado触发等）发往统一的一个celery broker，然后任务消息会由不同server上的worker去获取并执行。具体点说就是，借助celery消息路由机制，celery broker中开不同的消息队列来接收相应类型的任务消息，然后不同server上开启worker来处...
2019-04-25 16:03:06
1242
1
转载 pyppeteer的使用实例
首先，一切使用自动化框架的项目，或者说代码，或者说爬虫都会碰到某些网站刚刚打开页面就被判定为：非人类行为。为啥？？----------因为很多网站有对selenium的js监测机制。比如：navigator.webdriver，navigator.languages，navigator.plugins.length......很多很多。比如美团，大众，淘宝这些'无良'商家。。就有对...
2019-04-17 14:49:24
1082
转载 selenium启动chrome时，加载配置文件
下边是收集的一些配置信息： 一些Chrome的地址栏命令（这些命令会不停的变动，所有不一定都是好用的） 在Chrome的浏览器地址栏中输入以下命令，就会返回相应的结果。这些命令包括查看内存状态，浏览器状态，网络状态，DNS服务器状态，插件缓存等等。 about:version - 显示当前版本 about:memory - 显示本机浏览器内存使用状况 about:pl...
2019-04-17 09:08:21
368
转载 Pyppeteer 的简单使用
如果大家对Python爬虫有所了解的话，想必你应该听说过Selenium这个库，这实际上是一个自动化测试工具，现在已经被广泛用于网络爬虫中来应对JavaScript渲染的页面的抓取。但Selenium用的时候有个麻烦事，就是环境的相关配置，得安装好相关浏览器，比如Chrome、Firefox等等，然后还要到官方网站去下载对应的驱动，最重要的还需要安装对应的PythonS...
2019-04-17 09:03:55
2565
转载 Fiddler抓取https设置详解（图文）
本文主要说明了自己在设置fiddler抓取https过程中所遇到的问题及解决步骤，特别是fiddler在设置证书的环节遇到的各种奇葩问题，特此分享！转：https://www.cnblogs.com/joshua317/p/8670923.html很多使用fiddler抓包，对于http来说不需太多纠结，随便设置下就能用，但是抓取https就死活抓不了，出现诸如以下问题：creat...
2018-12-05 13:42:17
450
转载 Python 线程,with的作用(自动获取和释放锁Lock)
import threadingimport time num=0 #全局变量多个线程可以读写，传递数据mutex=threading.Lock() #创建一个锁 class Mythread(threading.Thread): def run(self): global num with mutex: #with Lock的作用相当于...
2018-11-23 12:40:21
891
转载 Selenium：利用select模块处理下拉框
在利用selenium进行UI自动化测试过程中，经常会遇到下拉框选项，这篇博客，就介绍下如何利用selenium的Select模块来对标准select下拉框进行操作。。。首先导入Select模块：1 # coding=utf-82 from selenium import webdriver3 from selenium.webdriver.support.select import...
2018-11-20 09:58:58
624
转载 python调度框架APScheduler使用详解（非阻塞模式）
# coding=utf-8"""Demonstrates how to use the background scheduler to schedule a job that executes on 3 secondintervals."""from datetime import datetimeimport timeimport osfrom apscheduler.s...
2018-11-19 10:45:33
6647
1
转载 python中的APScheduler模块（定时任务1）
在平常的工作中几乎有一半的功能模块都需要定时任务来推动，例如项目中有一个定时统计程序，定时爬出网站的URL程序，定时检测钓鱼网站的程序等等，都涉及到了关于定时任务的问题，第一时间想到的是利用time模块的time.sleep()方法使程序休眠来达到定时任务的目的，虽然这样也可以，但是总觉得不是那么的专业，^_^所以就找到了python的定时任务模块APScheduler：APScheduler...
2018-11-17 13:39:11
391
转载 python中time类型,datetime类型的关系与互相转换
一.time模块time模块提供各种操作时间的函数 一般有两种表示时间的方式: 第一种是时间戳的方式(相对于1970.1.1 00:00:00以秒计算的偏移量),时间戳是惟一的 Python代码 #当前时间的时间戳 In [9]: time.time() Out[9]: 1376102328.536908 第二种以数组的形式表...
2018-11-16 17:48:29
369
转载 python+selenium中快捷键的操作
Keys()类提供了快捷键的方法经常是用到的快捷键操作send_keys(Keys.BACKSPACE) 删除键send_keys(keys.ENTER) 回车键send.keys(Keys.SPACE) 空格键send.keys(Keys.CONTROL,'a') 快捷键control+Asend.keys(Keys.CON...
2018-11-11 16:59:19
1053
转载 python Selenium chromedriver 自动化超时报错：你需要使用多标签保护罩护体
在使用selenium + chrome 作自动化测试的时候，有可能会出现网页连接超时的情况如果出现网页连接超时，将会导致 webdriver 也跟着无法响应，不能继续进行任何操作即时是去打开新的连接也会报Time out错误那么如果有很多连接要去做弹窗抓取，却不想因为其中一两个页面超时而中断进程该怎么办呢？这时候你需要一个备用标签做金刚保护罩来护体！具体的思路是在打开需求页面...
2018-11-07 10:56:23
2939
1
转载 selenium driver.get(url) 页面加载时间太长
在执行自动化测试用例过程中，发现因为网络慢或其他原因导致driver.get(url) 时，页面一直在加载，页面没有加载完成就不会去继续执行下面的动作，但是实际上需要操作的元素已经加载出来了。解决方法第一步：使用 set_script_timeout() 设置等待最大时间。第二步：到了最大等待时间后页面如果仍然没有加载完成，执行js代码， driver.execute_script("...
2018-11-06 15:40:35
19878
1
转载 python中ADSL拨号
# -*- coding: utf-8 -*-import osimport timeg_adsl_account = {"name": "adsl", "username": "0512...", "password": "..."}class Adsl(object): #__init__ : na
2018-11-01 11:08:32
2130
转载 python实现屏幕截图
由于在我的一个程序中想要添加一个截图功能，今天看一下利用Python怎样截图，功能实现都挺简单了，直接上代码from PIL import ImageGrabim = ImageGrab.grab()im.save(addr,'jpeg')很简单的几行代码就实现了我要的功能，PIL（Python Image Library）是Python的一个图形库，需要自己下载安装，im = I...
2018-10-31 12:31:32
4900
1
转载 Python：文件的读取、创建、追加、删除、清空
一、用Python创建一个新文件，内容是从0到9的整数, 每个数字占一行：#python>>>f=open('f.txt','w') # r只读，w可写，a追加>>>for i in range(0,10):f.write(str(i)+'\n'). . .>>> f.close()二、文件内容追加，从0到9的10个随机整...
2018-10-31 09:02:07
279
转载 Python之日志处理（logging模块）
本节内容日志相关概念 logging模块简介 使用logging提供的模块级别的函数记录日志 logging模块日志流处理流程 使用logging四大组件记录日志 配置logging的几种方式 向日志输出中添加上下文信息 参考文档一、日志相关概念日志是一种可以追踪某些软件运行时所发生事件的方法。软件开发人员可以向他们的代码中调用日志记录相关的方法来表明发生了某些事情。一个事...
2018-10-29 12:54:27
156
转载 python中的uuid
1. 背景知识: UUID: 通用唯一标识符 ( Universally Unique Identifier ), 对于所有的UUID它可以保证在空间和时间上的唯一性. 它是通过MAC地址, 时间戳, 命名空间, 随机数, 伪随机数来保证生成ID的唯一性, 有着固定的大小( 128 bit ). 它的唯一性和一致性特点使得可以无需注册过程就能够产生一个新的UUID. UUID可以被用作多种...
2018-10-25 12:42:26
173
转载 python自动化鼠标和键盘PyUserInput(pymouse和pykeyboard)
引在使用电脑的时候，偶尔有需求要模拟鼠标键盘，进行一些机械重复的操作（刷新网页、抢票、某些小游戏等）。如果为此专门下载一个按键精灵，总感觉杀鸡用牛刀，所以就开始探索一些轻量级解决方案。本人电脑上配置了Python，自然就想到那句名言方案参考网上的各种例子后，发现了PyUserInput这个项目。在配置完成后，调用非常简便。准备进入项目主页，可以看到这个Python库是跨平台支持...
2018-10-25 09:14:50
15451
4
转载 自动化鼠标和键盘操作pyautogui
一 pyautogui模块简要说明## 使用 pyautogui 模块相关函数，可以模拟鼠标及键盘操作， 完整说明文档见: http://pyautogui.readthedocs.org/# pip install pyautogui# 要注意的是，模拟移动鼠标与击键可能太快，导致其他程序跟不上，并且程序可能失去控制，# 需要掌握如何从问题中恢复，至少要能中止它。# 防止或恢复G...
2018-10-25 08:54:03
2079
2
转载 Python version 2.7 required, which was not found 注册表问题解决方法
最近在windows下用exe文件安装python中的numpy,scipy等模块时经常会发现跳出以上的问题，解决方法网上有很多，可行的并不多。这里我采取直接修改注册表键值的方法：1. 打开注册表：win+R调出运行模块，输入regedit 打开注册表编辑器2.python的第三方安装模块一般默认在HKEY_LOCAL_MACHINE\SOFTWARE\Wow6432Node\Pyth...
2018-10-23 20:20:38
232
转载 python 调用pyautogui 实时获取鼠标的位置、移动鼠标
PyAutoGUI是一个纯Python的GUI自动化工具，其目的是可以用程序自动控制鼠标和键盘操作，利用它可以实现自动化任务本章介绍了许多不同函数，下面是快速的汇总参考：moveTo（x，y）将鼠标移动到指定的 x、y 坐标。moveRel （xOffset，yOffset）相对于当前位置移动鼠标。dragTo（x，y）按下左键移动鼠标。dragRel （xOffset，yOffset...
2018-10-23 17:58:34
13019
转载 mitmproxy突破网站对selenium的屏蔽(2)
# coding: utf-8 # modify_response.py import re from mitmproxy import ctx def response(flow): """修改应答数据 """ if '/js/yoda.' in flow.request.url: # 屏蔽selenium检测 ...
2018-10-23 17:15:02
5307
6
转载 mitmproxy的安装
mitmproxy是一个支持HTTP和HTTPS的抓包程序，类似Fiddler、Charles的功能，只不过它通过控制台的形式操作。此外，mitmproxy还有两个关联组件，一个是mitmdump，它是mitmproxy的命令行接口，利用它可以对接Python脚本，实现监听后的处理；另一个是mitmweb，它是一个Web程序，通过它以清楚地观察到mitmproxy捕获的请求。本节中，我们就...
2018-10-23 14:44:45
754
原创 关于selenium中chrome被反扒的问题(1)
问题描述: 比如一个网站,我们在浏览器可以正常打开,但是使用selenium模拟器却不可以,这是被反扒了,或许尝试,添加代理插件的方法,可以解决这一问题.代码如下:定义一个获取代理插件zip文件的函数from selenium import webdriverimport osimport reimport zipfiledef get_chrome_pr...
2018-10-23 10:42:21
1735
转载 Xpath高级用法
xpath速度比较快，是爬虫在网页定位中的较优选择，但是很多网页前端代码混乱难以定位，而学习定位也较为不易（主要是全面的教程较少），这里列出一点编程过程中可能有用的东西，欢迎共同学习批评指正。试验环境：Python环境，lxml.etree试验所使用的html代码 <!DOCTYPE html><html><head> <...
2018-10-13 12:35:27
143
转载 让你的python代码更优雅（pythonic）—— 基于PEP8
写出优雅的代码，自己调试bug更加容易，也便于别人查看，下面谈谈一下让代码更加优雅的写法，主要是基于 PEP8。 1，缩进与换行，每级缩进使用4个空格。# yes:# 续行与其包裹元素要对齐foo = long_function_name(var_one, var_two, var_three, var_four)# No...
2018-10-11 13:54:05
225
转载 Scrapy-django将爬好的数据直接存入django模型中
项目整体结构：├── django+scrapy│ ├── example_bot│ │ ├── __init__.py│ │ ├── items.py│ │ ├── pipelines.py│ │ ├── settings.py│ │ └── spiders│ │ ├── __init__.py│ │ ...
2018-10-10 18:37:13
874
1
转载 Python中的JSON模块
（一）什么是json：JSON(JavaScript Object Notation) 是一种轻量级的数据交换格式。易于人阅读和编写。同时也易于机器解析和生成。它基于JavaScript Programming Language, Standard ECMA-262 3rd Edition - December 1999的一个子集。JSON采用完全独立于语言的文本格式，但是也使用了类似于C语言...
2018-10-10 12:25:54
1200
1
转载 Django完成异步工具——celery
情景：用户发起request，并等待response返回。在本些views中，可能需要执行一段耗时的程序，那么用户就会等待很长时间，造成不好的用户体验，比如发送邮件、手机验证码等 使用celery后，情况就不一样了 解决：将耗时的程序放到celery中执行 点击查看celery官方网站 点击查看celery中文文档 celery名词 任务task：就是一个Python函数 队列qu...
2018-10-09 22:06:49
115
转载 异步任务队列Celery在Django中的使用
前段时间在Django Web平台开发中，碰到一些请求执行的任务时间较长（几分钟），为了加快用户的响应时间，因此决定采用异步任务的方式在后台执行这些任务。在同事的指引下接触了Celery这个异步任务队列框架，鉴于网上关于Celery和Django结合的文档较少，大部分也只是粗粗介绍了大概的流程，在实践过程中还是遇到了不少坑，希望记录下来帮助有需要的朋友。一、Django中的异步请求...
2018-10-09 21:53:50
121
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人