RUN IT-CSDN博客

原创 Python报错后重试模块

Python报错后,重试模块import timefrom retrying import retryclass RetryClient(object): @retry(stop_max_attempt_number=3, wait_random_min=1000, wait_random_max=5000) def sum_retry(self, a, b): print(time.time()) print(a + b) try

2021-07-29 11:59:02 198

原创 RUN__IT # Python 发钉钉消息

Python 发钉钉消息import timeimport datetimeimport requestsimport smtplibimport dingtalkchatbot.chatbot as cbimport hmacimport hashlibimport base64import urllib.parseclass DingRobot: def __init__(self): self.timestamp = str(round(time.tim

2021-03-13 10:02:47 179

原创 RUN__IT #flask项目搭建和常用方法和扩展

一.flask项目立项所需要的基本内容flask_appmanage.pyimport redisfrom flask import Flaskfrom flask_sqlalchemy import SQLAlchemyfrom flask_wtf.csrf import CSRFProtectfrom flask_session import Sessionfrom flask_script import Managerfrom flask_migrate import Migra

2021-02-08 23:11:02 123

原创 RUN__IT # Charles 手机抓包设置流程

1.设置端口proxy --> proxy settings 设置端口为8888,其余默认即可2.下载证书help --> ssl proxying --> install charles root certifica…Device or Remote…(最长的那个自己翻译下就知道什么意思了)3.电脑上信任下载的证书钥匙串访问—>证书信任下载的证书4.设置ssl代理设置proxy --> ssl proxying settings…—> ssl pro

2021-01-30 18:22:51 162

原创 RUNJ__IT # locust创建压测脚本

压测脚本locust的使用# coding=utf-8import requestsfrom locust import HttpUser as HttpLocust, TaskSet, taskfrom urllib3.exceptions import InsecureRequestWarning# 禁用安全请求警告requests.packages.urllib3.disable_warnings(InsecureRequestWarning)class MyBlogs(TaskSe

2020-12-23 09:37:38 183

原创 RUN__IT # Python操作MongoDB的方法-增删改查

Python操作MongoDB的方法# -*- coding: utf-8 -*-# @Time : 2020/12/16 13:40# @Author : adminfrom pymongo import MongoClientfrom bson.objectid import ObjectIdclass Mongo_DB: def __init__(self): conn = MongoClient('xxx.xx.241.245', 27017)

2020-12-19 18:10:01 141 2

原创 RUN__IT # python线程池的使用模板

import timeimport threading# 子线程要执行的方法def test(value1, value2=5): print("%s threading is printed %s, %s" % (threading.current_thread().name, value1, value2)) time.sleep(2) return 'finished'# 回调方法,线程执行完成要执行的方法,此方法必须接受future这个参数,固定写法def

2020-08-20 14:38:25 160

原创 RUN__IT # 性能测试指标及含义--jmeter性能测试优化

负载测试（Load Testing）：负载测试是一种主要为了测试软件系统是否达到需求文档设计的目标，譬如软件在一定时期内，最大支持多少并发用户数，软件请求出错率等，测试的主要是软件系统的性能。压力测试（Stress Testing）：强度测试也就是压力测试，压力测试主要是为了测试硬件系统是否达到需求文档设计的性能目标，譬如在一定时期内，系统的cpu利用率，内存使用率，磁盘I/O吞吐率，网络吞吐量等，压力测试和负载测试最大的差别在于测试目的不同。容量测试（Volume Testing）：确定系统最大承受量

2020-08-10 23:54:33 247

原创 RUN__IT # jmeter在GUI模式下运行, 并生成HTML报告

1.在GUI模式下添加一个监听器(聚合报告)2.填写保存文件路径,保存到一个不存在的目录下的test.jtl文件3.运行压测, 会看到jtl文件生成4.结束后,命令运行jtl文件, 生成HTML报告C:\soft\apache-jmeter-5.3\bin\jmeter.bat -g C:\Users\admin\Desktop\movie.jtl -o C:\Users\admin\Desktop\bg.html其实就是压测前写个保存jtl文件的路径, 有了这个文件, 其实就和非GUI运行

2020-08-08 20:32:29 471

原创 RUN__IT # Python的日志----logging的使用

方法1 最普通的日志import loggingimport time# 定义loggerlogger = logging.getLogger('mylogger')# 日志等级logger.setLevel(logging.INFO)f_handler = logging.FileHandler('./log/log.log')f_handler.setFormatter(logging.Formatter("%(asctime)s - %(levelname)s - %(filen

2020-08-05 23:41:49 125

原创 RUN__IT # python发送邮件工具包

发送邮件1.可用直接用拿来使用,一个工具类修改邮箱密码后,在需要发邮件的地方直接调用import smtplibfrom email.mime.text import MIMETextfrom email.header import Headerclass SendEmailTask(object): """发送邮件""" def __init__(self): self.mail_host = "smtp.qq.com" self.mail_u

2020-08-01 15:26:38 216

原创 RUN__IT # pytthon操作Excel进行接口测试的脚本

流程介绍:1.读取excel中的用例2.判断内容,进行发送请求3.拿到相应,和Excel中的结果进行比较4.把结果写入Excel中话不多说直接看代码,需要交流的 vx:RUN_IT_LOCALconf.py# 主要进行配置路径和cookiesData_Path = r"C:\Users\admin\Desktop\api_test.xls"Cookies = ""excel_read_write.pyimport jsonimport xlrdfrom xlutils.co

2020-07-30 10:03:01 163

原创 RUN__IT # 非GUI运行jmeter的jmx脚本，并生成报告--Linux和Windows

wx:15737890232jmter是一款轻量级的压力测试软件，非常方便使用。首先在我们本地编写完脚本之后。上传到服务器。注意修改host和一些csv的路径，因为本地和服务器上肯定是不一样的。保证一切正常之后，就可以执行命令我喜欢cd 到jmeter的bin目录下执行命令sh jmeter.sh -n -t 脚本名称.jmx（带路径的，要不然服务器找不到你的文件，除非你就放在当前执行命令的地方，比如我的是jmeter的bin目录) -l jtl名称.jtl (同样需要带路径，原理如上)说一

2020-07-20 14:20:57 160

原创 websocket的介绍

websocket的介绍WebSocket是一种在单个TCP连接上进行全双工通讯的协议。WebSocket通信协议于2011年被IETF定为标准RFC 6455，并由RFC7936补充规范。WebSocket API也被W3C定为标准。WebSocket使得客户端和服务器之间的数据交换变得更加简单，允许服务端主动向客户端推送数据。在WebSocket API中，浏览器和服务器只需要完成一次握手...

2020-04-01 19:09:33 253

原创 RUN__IT @ 一台新的服务器的环境安装

1.创建用户1.useradd -m -g 组新建用户名2.passwd 用户名3.usermod -s /bin/bash 用户名4.给用户添加sudo权限 chmod +w /etc/sudoers vi /etc/sudoers 添加权限，类似root用户那样格式用户名 ALL=(ALL:ALL) ALL2.更新源sudo apt-get update3...

2019-11-28 15:35:42 229

原创 RUN__IT # mysql远程连接问题

mysql远程连接问题服务器端口开放1.mysql默认端口是 3306，所以要开放此端口编辑 mysql 的配置文件 mysqld.cnf1.执行 sudo vi /etc/mysql/mysql.conf.d/mysqld.cnf2.把 bind-address = 127.0.0.1 注释掉1.在装有MySQL的机器上登录MySQL mysql -u root -p密码...

2019-11-28 15:30:52 108

原创 RUN__IT # MongoDB常用方法

MongoDB1. MongoDB的启动服务 1.开启服务 sudo mongod 2.开启客户端 mongo 2.MongoDB的数据库操作 1.查看默认的数据库 db 2.查看所有的数据库 show dbs 3.查看所有的集合(表) db.crea...

2019-11-25 11:13:35 175

原创 RUN__IT # Ubuntu下使用crontab创建定时任务

Ubuntu下使用crontab创建定时任务安装：apt-get install cron启动：service cron start重启：service cron restart停止：service cron stop检查状态：service cron status查询cron可用的命令：service cron检查Cronta工具是否安装：crontab -l如果cron工作正...

2019-11-07 15:51:29 115

原创 RUN__IT # 爬虫gerapy的部署

爬虫部署scrapyd1. 服务端安装 pip install scrapyd 2. 客户端安装 pip install scrapyd-client 3. 服务端有个设置文件 :conf配置文件 bind_address = 0.0.0.0; 允许所有的IP访问 4. 项目配置: 原始样子 [deploy] ...

2019-10-11 23:30:34 187

原创 RUN__IT # selenium定位截图

selenium定位截图from selenium import webdriverimport timefrom PIL import Image driver = webdriver.Chrome()driver.get('https://www.baidu.com/')time.sleep(3) # 演示一：全网页截图# driver.save_screenshot('...

2019-09-02 22:12:13 177

原创 RUN__IT # 服务器上安装selenum及其出现的问题

一：首先在服务器上安装chrome和其对应的chromedriver。这个非常重要，一定要下载和安装其一一对应的版本。安装chromesudo apt-get install libxss1 libappindicator1 libindicator7wget https://dl.google.com/linux/direct/google-chrome-stable_current_am...

2019-09-01 21:44:04 160

原创 RUN__IT# pipeline管道的使用

pipeline中常用的方法：process_item(self,item,spider):实现对item数据的处理open_spider(self, spider): 在爬虫开启的时候仅执行一次close_spider(self, spider): 在爬虫关闭的时候仅执行一次import jsonfrom pymongo import MongoClientclass xxxFi...

2019-08-28 10:46:52 401

原创 RUN__IT # 定时任务操作

# 1.crontab安装服务器自带 mac brew install cronolog unbutu apt-get install cron winows .exe下载# 2.编辑任务 crontab -e 任务格式分时日月星期命令 m h d m week command 30 * * * * l...

2019-08-28 10:06:41 189

原创 RUN__IT # scrapyd爬虫部署操作

1.scrapyd爬虫部署操作 1. 服务端安装 pip install scrapyd 2. 客户端安装 pip install scrapyd-client 3. 服务端有个设置文件 :conf配置文件 bind_address = 0.0.0.0; 允许所有的IP访问 4. 项目配置: 原始样子 [d...

2019-08-28 10:03:00 131

原创 RUN__IT # scrapy改分布式

scrapy改分布式1. spider 1.from scrapy_redis.spiders import RedisSpider 2.修改继承关系 3.redis_key = 'api:start_urls' 4. allow_domains 域名范围 4.1 allow_domains = [写死的] 4.2 自动获取2...

2019-08-28 10:00:50 118

原创 RUN__IT # scrapy-redis配置文件setting

BOT_NAME = 'redisPro'SPIDER_MODULES = ['redisPro.spiders']NEWSPIDER_MODULE = 'redisPro.spiders'# Crawl responsibly by identifying yourself (and your website) on the user-agent# USER_AGENT = 'red...

2019-08-27 23:29:43 160 1

原创 RUN__IT # scrapy的配置文件

#项目名称，默认的USER_AGENT由它来构成，也作为日志记录的日志名BOT_NAME = 'jianshu_spider' # Scrapy搜索spider的模块列表默认: [xxx.spiders]SPIDER_MODULES = ['jianshu_spider.spiders']#使用 genspider 命令创建新spider的模块。默认: 'xxx.spiders'NE...

2019-08-27 23:06:28 164

原创 RUN__IT # scrapy中间件

scrapy中间件1.1 scrapy中间件的分类根据scrapy运行流程中所在位置不同分为：下载中间件爬虫中间件1.2 scrapy中间的作用主要功能是在爬虫运行过程中进行一些处理，如对非200响应的重试（重新构造Request对象yield给引擎）也可以对header以及cookie进行更换和处理其他根据业务需求实现响应的功能但在scrapy默认的情况下两种中间件都在mid...

2019-08-09 15:27:20 167

原创 RUN__IT # scrapy框架添加IP代理池反反爬

国内的免费IP代理网站参考: http://www.xicidaili.com/wt https://www.kuaidaili.com/free/ http://www.youdaili.net/Daili/guonei/ http://ip.zdaye.com/FreeIPlist.html 米扑一丶通过中间件添加代理...

2019-08-09 15:03:52 688

原创 RUN__IT # pycharm设置

pycharm常用快捷键1、编辑（Editing）Ctrl + Space 基本的代码完成（类、方法、属性）Ctrl + Alt + Space 快速导入任意类Ctrl + Shift + Enter 语句完成Ctrl + P 参数信息（在方法中调用参数）Ctrl + Q 快速查看文档F1 外部文档Shift + F1 外部文档，进入web文档主...

2019-07-31 13:41:23 591

原创 RUN__IT # selery异步任务与定时任务

1、简介1、异步任务耗时操作异步执行2、定时任务类似crontab2、安装1、安装pyhton版本管理工具pyenv pyenv-virtualenv2、安装虚拟环境管理工具virtualenv virtualenvwrapper3、安装模块pip install celery[redis]4、安装消息中间件RabbitMQ / Redis3、单文件使用1、编写函...

2019-07-17 21:41:36 284

原创 RUN__IT # CSDN编辑器markdown字体、颜色与字号的设置

首先我们需要明白markdown里面的标记语言可以使用标签对来实现对文本文字颜色大小信息的控制。下面给出几个实例：黑体字示例微软雅黑示例华文彩云示例<font ...

2019-07-17 21:17:41 200

原创 RUN__IT # HTTP状态码解析

HTTP状态码（HTTP Status Code）是用以表示网页服务器HTTP响应状态的3位数字代码。它由 RFC 2616 规范定义的，并得到RFC 2518、RFC 2817、RFC 2295、RFC 2774、RFC 4918等规范扩展。一、1xx（临时响应）表示临时响应并需要请求者继续执行操作的状态码。100（继续）请求者应当继续提出请求。服务器返回此代码表示已收到请求的第一部分，...

2019-07-17 21:09:11 307

原创 RUN__IT #虚拟环境的创建和使用

创建虚拟环境与使用1.sudo pip3 install virtualenv2.sudo pip3 install virtualenvwrapper3.ll看一下有没有这个 .virtualenvs没有就创建mkdir $HOME/.virtualenvs4.打开~/.bashrc 文件,并添加如下sudo vim ~/.bashrc添加一下配置在最后export WORK...

2019-06-29 17:36:22 263

原创 RUN__IT # python中不可不知的collections

基本介绍我们都知道，Python拥有一些内置的数据类型，比如str, int, list, tuple, dict等， collections模块在这些内置数据类型的基础上，提供了几个额外的数据类型：namedtuple(): 生成可以使用名字来访问元素内容的tuple子类deque: 双端队列，可以快速的从另外一侧追加和推出对象Counter: 计数器，主要用来计数OrderedDic...

2019-06-28 13:52:23 170

原创 RUN__IT # Mysql高性能优化规范

数据库命令规范所有数据库对象名称必须使用小写字母并用下划线分割所有数据库对象名称禁止使用mysql保留关键字（如果表名中包含关键字查询时，需要将其用单引号括起来）数据库对象的命名要能做到见名识意，并且最后不要超过32个字符临时库表必须以tmp_为前缀并以日期为后缀，备份表必须以bak_为前缀并以日期(时间戳)为后缀所有存储相同数据的列名和列类型必须一致（一般作为关联列，如果查询时关联列类...

2019-06-25 15:22:55 213

原创 RUN__IT # 除了负载均衡，Nginx还可以做很多

Nginx应该是现在最火的web和反向代理服务器，没有之一。她是一款诞生于俄罗斯的高性能web服务器，尤其在高并发情况下，相较Apache，有优异的表现。那除了负载均衡，她还有什么其他的用途呢，下面我们来看下。一、静态代理Nginx擅长处理静态文件，是非常好的图片、文件服务器。把所有的静态资源的放到nginx上，可以使应用动静分离，性能更好。二、负载均衡Nginx通过反向代理可以实现服务...

2019-06-25 14:49:35 265

原创 RUN__IT # python安装PIL包的方法

PIL名称已经换成了Pillow。。。。所以使用：pip3 install pil会报错。正确方法是：pip3 install pillow

2019-06-07 15:01:50 373

原创 RUN__IT # 从windows不能复制文件到ubuntu？

复制过来的东西会在此路径下： /var/run/vmblock-fuse/blockdir/sZiUaA/若果此路径下文件过多多大，都会有影响，可以 rm 这个路径下的文件。然后复制下试试。如果不行，可以试试如下命令：第一步： sudo apt-get autoremove open-vm-tools第二步：sudo apt-get install open-vm-tools-de...

2019-06-07 00:34:09 1879

原创 RUN__IT # Redis

Redisredis是nosql的一种数据库，是以key-value形式保存在内存中的，并且支持数据持久化存储的一种非关系型数据库。内存中：读取和写入速度非常快持久化存储：写入磁盘或者文件（两种本分数据的方式.aof RDB）支持主从配置应用场景：图片验证码，手机验证码保存在redis中，session保存在redisredis的安装- step1:下载> wget &...

2019-06-04 13:43:55 317

空空如也

空空如也