RUN IT-CSDN博客

原创 Python报错后重试模块

Python报错后,重试模块 import time from retrying import retry class RetryClient(object): @retry(stop_max_attempt_number=3, wait_random_min=1000, wait_random_max=5000) def sum_retry(self, a, b): print(time.time()) print(a + b) try

2021-07-29 11:59:02 293

原创 RUN__IT # Python 发钉钉消息

Python 发钉钉消息 import time import datetime import requests import smtplib import dingtalkchatbot.chatbot as cb import hmac import hashlib import base64 import urllib.parse class DingRobot: def __init__(self): self.timestamp = str(round(time.tim

2021-03-13 10:02:47 264

原创 RUN__IT #flask项目搭建和常用方法和扩展

一.flask项目立项所需要的基本内容 flask_app manage.py import redis from flask import Flask from flask_sqlalchemy import SQLAlchemy from flask_wtf.csrf import CSRFProtect from flask_session import Session from flask_script import Manager from flask_migrate import Migra

2021-02-08 23:11:02 228

原创 RUN__IT # Charles 手机抓包设置流程

1.设置端口 proxy --> proxy settings 设置端口为8888,其余默认即可 2.下载证书 help --> ssl proxying --> install charles root certifica…Device or Remote…(最长的那个自己翻译下就知道什么意思了) 3.电脑上信任下载的证书钥匙串访问—>证书信任下载的证书 4.设置ssl代理设置 proxy --> ssl proxying settings…—> ssl pro

2021-01-30 18:22:51 254

原创 RUNJ__IT # locust创建压测脚本

压测脚本locust的使用 # coding=utf-8 import requests from locust import HttpUser as HttpLocust, TaskSet, task from urllib3.exceptions import InsecureRequestWarning # 禁用安全请求警告 requests.packages.urllib3.disable_warnings(InsecureRequestWarning) class MyBlogs(TaskSe

2020-12-23 09:37:38 261

原创 RUN__IT # Python操作MongoDB的方法-增删改查

Python操作MongoDB的方法 # -*- coding: utf-8 -*- # @Time : 2020/12/16 13:40 # @Author : admin from pymongo import MongoClient from bson.objectid import ObjectId class Mongo_DB: def __init__(self): conn = MongoClient('xxx.xx.241.245', 27017)

2020-12-19 18:10:01 247 2

原创 RUN__IT # python线程池的使用模板

import time import threading # 子线程要执行的方法 def test(value1, value2=5): print("%s threading is printed %s, %s" % (threading.current_thread().name, value1, value2)) time.sleep(2) return 'finished' # 回调方法,线程执行完成要执行的方法,此方法必须接受future这个参数,固定写法 def

2020-08-20 14:38:25 232

原创 RUN__IT # 性能测试指标及含义--jmeter性能测试优化

负载测试（Load Testing）：负载测试是一种主要为了测试软件系统是否达到需求文档设计的目标，譬如软件在一定时期内，最大支持多少并发用户数，软件请求出错率等，测试的主要是软件系统的性能。压力测试（Stress Testing）：强度测试也就是压力测试，压力测试主要是为了测试硬件系统是否达到需求文档设计的性能目标，譬如在一定时期内，系统的cpu利用率，内存使用率，磁盘I/O吞吐率，网络吞吐量等，压力测试和负载测试最大的差别在于测试目的不同。容量测试（Volume Testing）：确定系统最大承受量

2020-08-10 23:54:33 367

原创 RUN__IT # jmeter在GUI模式下运行, 并生成HTML报告

1.在GUI模式下添加一个监听器(聚合报告) 2.填写保存文件路径,保存到一个不存在的目录下的test.jtl文件 3.运行压测, 会看到jtl文件生成 4.结束后,命令运行jtl文件, 生成HTML报告 C:\soft\apache-jmeter-5.3\bin\jmeter.bat -g C:\Users\admin\Desktop\movie.jtl -o C:\Users\admin\Desktop\bg.html 其实就是压测前写个保存jtl文件的路径, 有了这个文件, 其实就和非GUI运行

2020-08-08 20:32:29 563

原创 RUN__IT # Python的日志----logging的使用

方法1 最普通的日志 import logging import time # 定义logger logger = logging.getLogger('mylogger') # 日志等级 logger.setLevel(logging.INFO) f_handler = logging.FileHandler('./log/log.log') f_handler.setFormatter(logging.Formatter("%(asctime)s - %(levelname)s - %(filen

2020-08-05 23:41:49 197

原创 RUN__IT # python发送邮件工具包

发送邮件 1.可用直接用拿来使用,一个工具类修改邮箱密码后,在需要发邮件的地方直接调用 import smtplib from email.mime.text import MIMEText from email.header import Header class SendEmailTask(object): """发送邮件""" def __init__(self): self.mail_host = "smtp.qq.com" self.mail_u

2020-08-01 15:26:38 301

原创 RUN__IT # pytthon操作Excel进行接口测试的脚本

流程介绍: 1.读取excel中的用例 2.判断内容,进行发送请求 3.拿到相应,和Excel中的结果进行比较 4.把结果写入Excel中话不多说直接看代码,需要交流的 vx:RUN_IT_LOCAL conf.py # 主要进行配置路径和cookies Data_Path = r"C:\Users\admin\Desktop\api_test.xls" Cookies = "" excel_read_write.py import json import xlrd from xlutils.co

2020-07-30 10:03:01 235

原创 RUN__IT # 非GUI运行jmeter的jmx脚本，并生成报告--Linux和Windows

wx:15737890232 jmter是一款轻量级的压力测试软件，非常方便使用。首先在我们本地编写完脚本之后。上传到服务器。注意修改host和一些csv的路径，因为本地和服务器上肯定是不一样的。保证一切正常之后，就可以执行命令我喜欢cd 到jmeter的bin目录下执行命令 sh jmeter.sh -n -t 脚本名称.jmx（带路径的，要不然服务器找不到你的文件，除非你就放在当前执行命令的地方，比如我的是jmeter的bin目录) -l jtl名称.jtl (同样需要带路径，原理如上) 说一

2020-07-20 14:20:57 258

原创 websocket的介绍

websocket的介绍 WebSocket是一种在单个TCP连接上进行全双工通讯的协议。WebSocket通信协议于2011年被IETF定为标准RFC 6455，并由RFC7936补充规范。WebSocket API也被W3C定为标准。 WebSocket使得客户端和服务器之间的数据交换变得更加简单，允许服务端主动向客户端推送数据。在WebSocket API中，浏览器和服务器只需要完成一次握手...

2020-04-01 19:09:33 326

原创 RUN__IT @ 一台新的服务器的环境安装

1.创建用户 1.useradd -m -g 组新建用户名 2.passwd 用户名 3.usermod -s /bin/bash 用户名 4.给用户添加sudo权限 chmod +w /etc/sudoers vi /etc/sudoers 添加权限，类似root用户那样格式用户名 ALL=(ALL:ALL) ALL 2.更新源 sudo apt-get update 3...

2019-11-28 15:35:42 307

原创 RUN__IT # mysql远程连接问题

mysql远程连接问题服务器端口开放 1.mysql默认端口是 3306，所以要开放此端口编辑 mysql 的配置文件 mysqld.cnf 1.执行 sudo vi /etc/mysql/mysql.conf.d/mysqld.cnf 2.把 bind-address = 127.0.0.1 注释掉 1.在装有MySQL的机器上登录MySQL mysql -u root -p密码...

2019-11-28 15:30:52 166

原创 RUN__IT # MongoDB常用方法

MongoDB 1. MongoDB的启动服务 1.开启服务 sudo mongod 2.开启客户端 mongo 2.MongoDB的数据库操作 1.查看默认的数据库 db 2.查看所有的数据库 show dbs 3.查看所有的集合(表) db.crea...

2019-11-25 11:13:35 235

原创 RUN__IT # Ubuntu下使用crontab创建定时任务

Ubuntu下使用crontab创建定时任务安装：apt-get install cron 启动：service cron start 重启：service cron restart 停止：service cron stop 检查状态：service cron status 查询cron可用的命令：service cron 检查Cronta工具是否安装：crontab -l 如果cron工作正...

2019-11-07 15:51:29 183

原创 RUN__IT # 爬虫gerapy的部署

爬虫部署 scrapyd 1. 服务端安装 pip install scrapyd 2. 客户端安装 pip install scrapyd-client 3. 服务端有个设置文件 :conf配置文件 bind_address = 0.0.0.0; 允许所有的IP访问 4. 项目配置: 原始样子 [deploy] ...

2019-10-11 23:30:34 280

原创 RUN__IT # selenium定位截图

selenium定位截图 from selenium import webdriver import time from PIL import Image driver = webdriver.Chrome() driver.get('https://www.baidu.com/') time.sleep(3) # 演示一：全网页截图 # driver.save_screenshot('...

2019-09-02 22:12:13 245

原创 RUN__IT # 服务器上安装selenum及其出现的问题

一：首先在服务器上安装chrome和其对应的chromedriver。这个非常重要，一定要下载和安装其一一对应的版本。安装chrome sudo apt-get install libxss1 libappindicator1 libindicator7 wget https://dl.google.com/linux/direct/google-chrome-stable_current_am...

2019-09-01 21:44:04 214

原创 RUN__IT# pipeline管道的使用

pipeline中常用的方法： process_item(self,item,spider):实现对item数据的处理 open_spider(self, spider): 在爬虫开启的时候仅执行一次 close_spider(self, spider): 在爬虫关闭的时候仅执行一次 import json from pymongo import MongoClient class xxxFi...

2019-08-28 10:46:52 494

原创 RUN__IT # 定时任务操作

# 1.crontab安装服务器自带 mac brew install cronolog unbutu apt-get install cron winows .exe下载 # 2.编辑任务 crontab -e 任务格式分时日月星期命令 m h d m week command 30 * * * * l...

2019-08-28 10:06:41 258

原创 RUN__IT # scrapyd爬虫部署操作

1.scrapyd爬虫部署操作 1. 服务端安装 pip install scrapyd 2. 客户端安装 pip install scrapyd-client 3. 服务端有个设置文件 :conf配置文件 bind_address = 0.0.0.0; 允许所有的IP访问 4. 项目配置: 原始样子 [d...

2019-08-28 10:03:00 212

原创 RUN__IT # scrapy改分布式

scrapy改分布式 1. spider 1.from scrapy_redis.spiders import RedisSpider 2.修改继承关系 3.redis_key = 'api:start_urls' 4. allow_domains 域名范围 4.1 allow_domains = [写死的] 4.2 自动获取 2...

2019-08-28 10:00:50 172

原创 RUN__IT # scrapy-redis配置文件setting

BOT_NAME = 'redisPro' SPIDER_MODULES = ['redisPro.spiders'] NEWSPIDER_MODULE = 'redisPro.spiders' # Crawl responsibly by identifying yourself (and your website) on the user-agent # USER_AGENT = 'red...

2019-08-27 23:29:43 252 1

原创 RUN__IT # scrapy的配置文件

#项目名称，默认的USER_AGENT由它来构成，也作为日志记录的日志名 BOT_NAME = 'jianshu_spider' # Scrapy搜索spider的模块列表默认: [xxx.spiders] SPIDER_MODULES = ['jianshu_spider.spiders'] #使用 genspider 命令创建新spider的模块。默认: 'xxx.spiders' NE...

2019-08-27 23:06:28 227

原创 RUN__IT # scrapy中间件

scrapy中间件 1.1 scrapy中间件的分类根据scrapy运行流程中所在位置不同分为：下载中间件爬虫中间件 1.2 scrapy中间的作用主要功能是在爬虫运行过程中进行一些处理，如对非200响应的重试（重新构造Request对象yield给引擎）也可以对header以及cookie进行更换和处理其他根据业务需求实现响应的功能但在scrapy默认的情况下两种中间件都在mid...

2019-08-09 15:27:20 238

原创 RUN__IT # scrapy框架添加IP代理池反反爬

国内的免费IP代理网站参考: http://www.xicidaili.com/wt https://www.kuaidaili.com/free/ http://www.youdaili.net/Daili/guonei/ http://ip.zdaye.com/FreeIPlist.html 米扑一丶通过中间件添加代理...

2019-08-09 15:03:52 759

原创 RUN__IT # pycharm设置

pycharm常用快捷键 1、编辑（Editing） Ctrl + Space 基本的代码完成（类、方法、属性） Ctrl + Alt + Space 快速导入任意类 Ctrl + Shift + Enter 语句完成 Ctrl + P 参数信息（在方法中调用参数） Ctrl + Q 快速查看文档 F1 外部文档 Shift + F1 外部文档，进入web文档主...

2019-07-31 13:41:23 692

原创 RUN__IT # selery异步任务与定时任务

1、简介 1、异步任务耗时操作异步执行 2、定时任务类似crontab 2、安装 1、安装pyhton版本管理工具 pyenv pyenv-virtualenv 2、安装虚拟环境管理工具 virtualenv virtualenvwrapper 3、安装模块 pip install celery[redis] 4、安装消息中间件 RabbitMQ / Redis 3、单文件使用 1、编写函...

2019-07-17 21:41:36 394

原创 RUN__IT # CSDN编辑器markdown字体、颜色与字号的设置

首先我们需要明白markdown里面的标记语言可以使用标签对来实现对文本文字颜色大小信息的控制。下面给出几个实例： 黑体字示例 微软雅黑示例 华文彩云示例 <font ...

2019-07-17 21:17:41 270

原创 RUN__IT # HTTP状态码解析

HTTP状态码（HTTP Status Code）是用以表示网页服务器HTTP响应状态的3位数字代码。它由 RFC 2616 规范定义的，并得到RFC 2518、RFC 2817、RFC 2295、RFC 2774、RFC 4918等规范扩展。一、1xx（临时响应）表示临时响应并需要请求者继续执行操作的状态码。 100（继续）请求者应当继续提出请求。服务器返回此代码表示已收到请求的第一部分，...

2019-07-17 21:09:11 431

原创 RUN__IT #虚拟环境的创建和使用

创建虚拟环境与使用 1.sudo pip3 install virtualenv 2.sudo pip3 install virtualenvwrapper 3.ll看一下有没有这个 .virtualenvs 没有就创建 mkdir $HOME/.virtualenvs 4.打开~/.bashrc 文件,并添加如下 sudo vim ~/.bashrc 添加一下配置在最后 export WORK...

2019-06-29 17:36:22 329

原创 RUN__IT # python中不可不知的collections

基本介绍我们都知道，Python拥有一些内置的数据类型，比如str, int, list, tuple, dict等， collections模块在这些内置数据类型的基础上，提供了几个额外的数据类型： namedtuple(): 生成可以使用名字来访问元素内容的tuple子类 deque: 双端队列，可以快速的从另外一侧追加和推出对象 Counter: 计数器，主要用来计数 OrderedDic...

2019-06-28 13:52:23 240

原创 RUN__IT # Mysql高性能优化规范

数据库命令规范所有数据库对象名称必须使用小写字母并用下划线分割所有数据库对象名称禁止使用mysql保留关键字（如果表名中包含关键字查询时，需要将其用单引号括起来）数据库对象的命名要能做到见名识意，并且最后不要超过32个字符临时库表必须以tmp_为前缀并以日期为后缀，备份表必须以bak_为前缀并以日期(时间戳)为后缀所有存储相同数据的列名和列类型必须一致（一般作为关联列，如果查询时关联列类...

2019-06-25 15:22:55 294

原创 RUN__IT # 除了负载均衡，Nginx还可以做很多

Nginx应该是现在最火的web和反向代理服务器，没有之一。她是一款诞生于俄罗斯的高性能web服务器，尤其在高并发情况下，相较Apache，有优异的表现。那除了负载均衡，她还有什么其他的用途呢，下面我们来看下。一、静态代理 Nginx擅长处理静态文件，是非常好的图片、文件服务器。把所有的静态资源的放到nginx上，可以使应用动静分离，性能更好。二、负载均衡 Nginx通过反向代理可以实现服务...

2019-06-25 14:49:35 332

原创 RUN__IT # python安装PIL包的方法

PIL名称已经换成了Pillow。。。。所以使用： pip3 install pil 会报错。正确方法是： pip3 install pillow

2019-06-07 15:01:50 439

原创 RUN__IT # 从windows不能复制文件到ubuntu？

复制过来的东西会在此路径下： /var/run/vmblock-fuse/blockdir/sZiUaA/ 若果此路径下文件过多多大，都会有影响，可以 rm 这个路径下的文件。然后复制下试试。如果不行，可以试试如下命令：第一步： sudo apt-get autoremove open-vm-tools 第二步：sudo apt-get install open-vm-tools-de...

2019-06-07 00:34:09 1993

原创 RUN__IT # Redis

Redis redis是nosql的一种数据库，是以key-value形式保存在内存中的，并且支持数据持久化存储的一种非关系型数据库。内存中：读取和写入速度非常快持久化存储：写入磁盘或者文件（两种本分数据的方式.aof RDB）支持主从配置应用场景：图片验证码，手机验证码保存在redis中，session保存在redis redis的安装 - step1:下载 > wget &...

2019-06-04 13:43:55 376

空空如也

空空如也