- 博客(58)
- 收藏
- 关注
RSS订阅原创 SMART司马他法则(目标管理)
指绩效指标是数量化或者行为化的，验证这些绩效指标的数据或者信息是可以获得的；，指绩效指标在付出努力的情况下可以实现，避免设立过高或过低的目标；，指绩效考核要切中特定的工作指标，不能笼统；，指绩效指标是实实在在的，可以证明和观察；，注重完成绩效指标的特定期限。
2023-08-09 15:19:20
187
1
原创 V2MOM工作法
• 注意缺陷障碍（ADD）- 焦点在发布和冲刺之间不断切换，会扼杀团队的生产力和精力。• 过度分析 - 模糊的产品backlog和延迟决策将阻碍团队速率。• 团队 - 提高乐趣因素达到75%的员工（享受美好或最好的时光）• 团队 - 团队追求卓越（相对于个人），并有权做出决定。• 卓越 - 75%的员工在一个团队中（与多个团队相比）• 团队技能 - 缺乏团队专注技能将降低潜在交付和质量。• 冷漠 - 忽视阻碍和障碍将降低团队速率和团队士气。• 卓越 - 专业的敏捷教练来指导团队的卓越和学习。
2023-08-09 15:14:34
191
原创 PDCA、4Y（循环质量管理）
PDCA是由英语单词Plan(计划)、Do(执行)、Check(检查)和Act(修正)的第一个字母组成的，PDCA是按照这样的顺序进行质量管理的循环。
2023-08-09 15:11:28
548
原创 5W2H分析法模版
怎样做省力，怎样做最快，怎样做效率最高，怎样改进，怎样得到，怎样避免失败，怎样求发展，怎样增加销路，怎样达到效率，怎样才能使产品更加美观大方，怎样使产品用起来方便。何时是最佳营业时间？何时工作人员容易疲劳？条件是什么，哪一部分工作要做，目的是什么，重点是什么，与什么有关系，功能是什么，规范是什么，工作对象是什么。（7）HOW MUCH——多少，做到什么程度，数量如何，质量水平如何，费用产出如何。（6）HOW ——怎么做，如何提高效率，如何实施，方法是什么。（1）WHAT——是什么，目的是什么，做什么工作。
2023-08-09 15:03:28
243
转载 XposedHook框架安装
转发：https://blog.csdn.net/lemisky/article/details/100103941
2021-02-24 17:57:02
164
1
转载 python操作Redis
redis是一个基于内存的高效的键值型非关系数据库，接下来我们就来看看这些操作是如何具体使用的吧数据库连接操作from redis import StrictRedis #数据库连接方式 因为就算我自己使用的，所有没有设置密码redis=StrictRedis(host='localhost',port=6379,db=0,password=None)#redis.set('age',20)print(redis.get('name')) print(redis.exists('na
2020-12-25 10:28:15
481
1
转载 Python MySQL数据库连接池组件封装
以前一直在用Java来开发,数据库连接池等都是有组件封装好的,直接使用即可,最近在尝试Python的学习,碰到了和数据库打交道的问题,和数据库打交道我们都知道,数据库连接池必不可少,不然要么就是程序异常不稳定,要么就是数据库莫名其妙挂了,本篇博客主要是对数据库操作的简单封装,相当于一个DBHelper操作类组件Python中的数据库连接操作所需组件pymysql:mysql的Python连接包DBUtils:连接池组件configparser：配置文件模块mysql-connector-
2020-12-15 18:29:49
588
转载 Python数据抓取——多线程，异步
本文主要是为了加快数据抓取任务，考虑使用多进程、多线程、异步原理，相关概念可以参考https://www.liaoxuefeng.com/wiki/001374738125095c955c1e6d8bb493182103fac9270762a000/0013868322563729e03f6905ea94f0195528e3647887415000操作系统可以同时运行多个任务。首先，考虑单核CPU是如何执行多任务的：操作系统轮流让各个任务交替执行，任务1执行0.01秒，切换到任务2，任务2执行0.01.
2020-08-12 17:35:03
262
转载 用GREQUESTS实现并发HTTP请求
起因要用http请求探测服务的有效性，多进程，多线程，感觉似乎没有必要，看看有没有协程的方案1. 简单用法grequests 利用 requests和gevent库，做了一个简单封装，使用起来非常方便import grequestsimport timeimport requestsurls = [ 'https://docs.python.org/2.7/library/index.html', 'https://docs.python.org/2.7/librar
2020-08-12 17:32:08
575
1
转载 Python爬虫的N种姿势，异步，并发，scrapy效率比较
问题的由来 前几天，在微信公众号（Python爬虫及算法）上有个人问了笔者一个问题，如何利用爬虫来实现如下的需求，需要爬取的网页如下（网址为：https://www.wikidata.org/w/index.php?title=Special:WhatLinksHere/Q5&limit=500&from=0）： 我们的需求为爬取红色框框内的名人（有500条记录，图片只展示了一部分）的 名字以及其介绍，关于其介绍，点击该名人的名字即可，如下图：这就意味着我们需要爬取5
2020-08-12 17:29:32
2333
4
转载 深入了解生产消费者模型中task_done()具体作用
直奔主题tase_done()的作用：只有消费者把队列所有的数据处理完毕，queue.join()才会停止阻塞代码解释# -*- coding: utf-8 -*-# 关于tase_done()的作用：只有消费者把队列所有的数据处理完毕，queue.join()才会停止阻塞import timefrom queue import Queuefrom threading import Threadq = Queue()def produce(): for i in ra
2020-07-23 23:56:38
1010
1
转载 JS逆向——破解百度翻译参数（sign）爬虫 超级详细
一、分析请求参数打开地址：https://fanyi.baidu.com/打开Chrome调试工具，然后随意输入一段文字，查看抓包结果。post请求 Form data 参数 如上图所示，Form Date中只有两项是会变化的：query：我们要翻译的内容 sign：本文的BOSS出现了，一串意义不明的浮点数值。token是不变的，先给查找出来，全局搜索 全局搜索发现 token 的值 token：13508e550366f3004701d561721e12bd
2020-07-08 14:51:05
5584
2
原创 关于银行等带有安全控件插件的输入selenium无法sendkeys的解决方案
前言最近在做与银行等第三方交互的UI测试发现，selenium对带有安全控件的输入框senkeys不起作用，此时需要换思路解决。放弃selenium的输入。以下是自己整理的解决方案，供大家参考，如有不对，请指正。解决方案采用第三方虚拟键盘DD XOFT（完美解决），这种方案持续集成不方便，或者暂未找到解决方案（待研究）；采用autoi调用银行插件，最后转成可执行.exe文件，在代码中直接调用，前提是每次都需要安装安全控件，目前，我所在项目只需要安装一次；场景描述再利用seleniu
2020-05-31 16:30:38
2866
转载 GitHub 一万多 Star，一个可视化学算法的好工具
程序员学算法和数据结构时，如果从纯文本和静态图来学，挺枯燥的。相反，可视化动画工具，真是一个非常棒的帮手。这类工具/网站，我们曾介绍过 3 个： 旧金山大学数据结构和算法的可视化学习工具 http://hao.jobbole.com/visualizing-algorithms-and-data-structure/ VisuAlgo：通过动画学习算法和数据结构 http://hao.jobbole.com/visualgo/ Algomation：查...
2020-05-31 15:44:05
867
转载 python sqlalchemy 针对数据库json的查询 及 Exists
sqlalchemy存在功能描述names = ["aaa", "bbb", "hjuhyg",...]session.query(User).filter(User.name.in_(names)) 当数据量很大时，查询速度会很慢，所以想要优化mysql 的 in 查询时，可以使用exists,在 python中,一种方便的方法如下：可以将查询转换为EXISTS格式的EXISTS子查询（SELECT 1 FROM ... WHERE ...）。例如：q = session.q...
2020-05-19 18:28:01
6002
原创 Python 执行 JS 代码 —— PyExecJS、PyV8、Js2Py
一、Python执行JS代码--PyExecJS、PyV8、Js2Py1.1、PyExecJS PyExecJS的优点是您不需要照顾JavaScript环境。特别是，它可以在Windows环境中运行，而无需安装额外的库。PyExecJS的缺点之一是性能。PyExecJS通过文本传达JavaScript运行时，并且运行缓慢。另一个缺点是它不完全支持运行时特定的功能。对于某些用例，PyV8可...
2020-04-18 23:17:50
981
原创 python解决SQLAlchemy+MySQL插入数据时报警告Warning: (1366, "Incorrect string value: '\\xD6\\...' for column ...
问题描述在插入数据的时候抛出以下异常：Warning: (1366, "Incorrect string value: '\\xD6\\xD0\\xB9\\xFA\\xB1\\xEA...' for column 'VARIABLE_VALUE' at row 484")result = self._query(query)相关代码from sqlalchemy import ...
2020-04-05 03:02:30
819
1
原创 关于ORM，以及Python中SQLAlchemy的sessionmaker，scoped_session
orm（object relational mapping）：对象关系映射。python面向对象，而数据库是关系型。orm是将数据库关系映射为Python中的对象，不用直接写SQL。缺点是性能略差。通过sessionmaker，我们得到一个类，一个能产生session的工厂。我们可以用这个类的对象来操作数据库。example：from sqlalchemy i...
2020-04-05 02:15:24
526
原创 python函数传参是传值还是传引用？
首先还是应该科普下函数参数传递机制，传值和传引用是什么意思？ 函数参数传递机制问题在本质上是调用函数（过程）和被调用函数（过程）在调用发生时进行通信的方法问题。基本的参数传递机制有两种：值传递和引用传递。 值传递（passl-by-value）过程中，被调函数的形式参数作为被调函数的局部变量处理，即在堆栈中开辟了内存空间以存放由主调函数放进来的实参的值，从而成为了实参...
2020-04-03 15:48:52
151
转载 scrapy 中 COOKIES_ENABLED 设置
当COOKIES_ENABLED是注释的时候scrapy默认没有开启cookie当COOKIES_ENABLED没有注释设置为False的时候scrapy默认使用了settings里面的cookie当COOKIES_ENABLED设置为True的时候scrapy就会把settings的cookie关掉，使用自定义cookie也就是如果使用自定义cookie就把COOKIES_ENA...
2020-04-02 23:18:10
6599
4
原创 python实现并发爬虫
阅读目录一.顺序抓取 二.多线程抓取 三.gevent并发抓取 四.基于tornado的coroutine并发抓取在进行单个爬虫抓取的时候，我们不可能按照一次抓取一个url的方式进行网页抓取，这样效率低，也浪费了cpu的资源。目前python上面进行并发抓取的实现方式主要有以下几种：进程，线程，协程。进程不在的讨论范围之内，一般来说，进程是用来开启多个spider，比如我们开启了4进程...
2020-03-02 13:31:53
797
原创 Redprint红图实现
先把蓝图注册到app上面，在传进去蓝图包的模块名作为参数穿进去因为蓝图实例写在**init模块上面，所以是一个是传包名v1**#在app注册蓝图对象def registe_blueprint(app): from app.api.v1 import create_blueprint_v1 app.register_blueprint(create_blueprint_v1...
2020-01-20 09:19:45
307
原创 python定时任务框架APScheduler
APScheduler简介在平常的工作中几乎有一半的功能模块都需要定时任务来推动，例如项目中有一个定时统计程序，定时爬出网站的URL程序，定时检测钓鱼网站的程序等等，都涉及到了关于定时任务的问题，第一时间想到的是利用time模块的time.sleep()方法使程序休眠来达到定时任务的目的，虽然这样也可以，但是总觉得不是那么的专业，^_^所以就找到了python的定时任务模块APScheduler...
2019-12-16 18:33:35
108
转载 Python __call__ 用法 作用
当一个对象为可被调用对象时，callable(object)返回为True，否则为False：Python中的对象有可被调用和不可被调用之分。def func_test(): print("func_test run") class class_test(): def __init__(self): pass # func_test is call...
2019-11-25 16:56:39
296
转载 Flask 创建app 时候传入的 static_folder 和 static_url_path参数理解
Flask 在创建app的时候是用app = Flask(__name__)来创建的，不传入 static_folder参数的话 ，默认的静态文件的位置是在 static目录下我们可以进入 Flask的源码里面查看 ctrl+鼠标左键进入这是Flask的 __init__源码（后面还有一些，我就选了需要的代码） def __init__( s...
2019-11-19 15:46:26
1008
转载 表单验证（WTF）
官方文档在Flask项目开发中针对提交表单的校验，可以使用Flask-WTF扩展库进行快速的字段校验，也可以进行页面快速渲染，并提供跨站请求伪造的保护功能。安装Flask-WTFpip install flask-wtf实现注册功能注册表单模型定义在定义的表单类中定义需要验证的username、password和password2字段，并实现如下校验:校验密码pass...
2019-11-14 14:45:14
535
转载 Windows 开启 mysql 日志
一、找到my.ini文件：右键我的电脑-》管理二、更改my.ini:首先在相应位置建立好相关文件！！！！这个设置后会出错，因为log不是variable应该为：三、重启mysql服务：show variables like 'log%';show variables like 'log%';...
2019-08-01 16:59:19
851
转载 用Python如何操作Oracle
Python没有自带oracle驱动，cx_Oracle可以实现Python访问oracle的目的，如果要访问Oracle，首先要下载安装cx_Oracle。下载地址：https://oracle.github.io/python-cx_Oracle/需要注意的是，最近版本（6.0、5.3）的驱动都是针对Oracle11、12的，所以，如果你的Oracle版本比这低的话，只能下载安装以前的版本...
2019-03-07 15:16:42
3836
转载 如何通过 Scrapyd + ScrapydWeb 简单高效地部署和监控分布式爬虫项目
来自 Scrapy 官方账号的推荐需求分析初级用户：只有一台开发主机 能够通过 Scrapyd-client 打包和部署 Scrapy 爬虫项目，以及通过 Scrapyd JSON API 来控制爬虫，感觉命令行操作太麻烦，希望能够通过浏览器直接部署和运行项目专业用户：有 N 台云主机，通过 Scrapy-Redis 构建分布式爬虫 希望集成身份认证 希望在页面...
2019-02-12 17:38:34
1846
转载 Python yield 使用浅析
您可能听说过，带有 yield 的函数在 Python 中被称之为 generator（生成器），何谓 generator ？我们先抛开 generator，以一个常见的编程题目来展示 yield 的概念。如何生成斐波那契數列斐波那契（Fibonacci）數列是一个非常简单的递归数列，除第一个和第二个数外，任意一个数都可由前两个数相加得到。用计算机程序输出斐波那契數列的前 N 个数是一...
2019-02-01 17:31:43
97
转载 selenium用法详解
selenium用法详解selenium主要是用来做自动化测试，支持多种浏览器，爬虫中主要用来解决JavaScript渲染问题。模拟浏览器进行网页加载，当requests,urllib无法正常获取网页内容的时候一、声明浏览器对象注意点一，Python文件名或者包名不要命名为selenium，会导致无法导入from selenium import webdriver#webdrive...
2019-01-20 23:33:05
134
转载 selenium的webdriver三种等待方式(显式等待WebDriverWait+implicitly_wait隐式等待+sleep强制等待)
隐式等待是等页面加载，不是等元素！！！1、显式等待 一个显式等待是你定义的一段代码，用于等待某个条件发生然后再继续执行后续代码。显式等待是等元素加载！！！from selenium import webdriverfrom selenium.webdriver.common.by import Byfrom selenium.webdriver.support.ui import...
2019-01-08 17:23:08
975
1
转载 BloomFilter——大规模数据处理利器
Bloom Filter是由Bloom在1970年提出的一种多哈希函数映射的快速查找算法。通常应用在一些需要快速判断某个元素是否属于集合，但是并不严格要求100%正确的场合。 一. 实例 为了说明Bloom Filter存在的重要意义，举一个实例： 假设要你写一个网络蜘蛛（web crawler）。由于网络间的链接错综复杂，蜘蛛在网络间爬行很可能会形成“环”。为了避免形...
2019-01-07 18:11:07
116
转载 Scrapy的简单使用教程
Scrapy，Python开发的一个快速,高层次的屏幕抓取和web抓取框架，用于抓取web站点并从页面中提取结构化的数据。Scrapy用途广泛，可以用于数据挖掘、监测和自动化测试。在这篇入门教程中，我们假定你已经安装了python。如果你还没有安装，那么请参考安装指南。首先第一步：进入开发环境，workon article_spider进入这个环境：安装Scrapy，在安装的过...
2018-11-26 11:11:00
165
Fiddler 编程猫专用插件 1.0.8 预览版
2023-05-13
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人