- 博客(77)
- 收藏
- 关注
RSS订阅原创 docker清理空间资源
在工作中经常遇到构建docker服务时，显示磁盘空间不足，这是发现以前的docker镜像占用了大量的空间。可以使用下列方法清理一部分磁盘：1. docker system prune -a 清理无用的容器和镜像2. 删除镜像后，空间还是不足，可能是docker容器中服务报错，产生大量的core文件去docker目录下查看哪里占用空间大cd /mnt/var/lib/docker/overlay2/du -sh ./*进入占用空间大的目录里cd 容器目录删除core 文件rm -if co
2021-07-02 14:37:24
555
2
原创 go-zero 的使用笔记
1. go run 时连接失败$ go run add.go -f etc/add.yamlpanic: context deadline exceeded原因：机器上没有安装etcd包， sudo apt install etcd-server，安装好etcd后启动etcd，在终端输入etcd即可2. 更新api文件后重新生成进入api文件所在目录，然后执行：goctl api go -api appname.api -dir .3. model生成goctl model mysql
2021-07-02 14:27:45
1551
原创 python 使用hmac模块做密钥验证
hmac模块（仅在python3中可以使用）简介：HMAC是密钥相关的哈希运算消息认证码，HMAC运算利用哈希算法，以一个密钥和一个消息为输入，生成一个消息摘要作为输出。典型应用：HMAC的一个典型应用是用在“质疑/应答”（Challenge/Response）身份认证中。认证流程：(1) 先由客户端向服务器发出一个验证请求。(2) 服务器接到此请求后生成一个随机数并通过网络传输给客户端（此为质疑）。(3) 客户端将收到的随机数提供给ePass，由ePass使用该随机数与存储在eP
2020-05-24 22:43:50
870
原创 fastapi草稿
from fastapi import FastAPI, Query, Path, Body, Cookie, Header, Form, File, UploadFile, HTTPExceptionfrom pydantic import BaseModel, Fieldfrom typing import Listfrom uuid import UUIDfrom datetime ...
2020-04-27 20:08:21
303
原创 FastAPI框架学习笔记
目录结构主目录下database.py (创建数据库连接)from sqlalchemy import create_enginefrom sqlalchemy.ext.declarative import declarative_basefrom sqlalchemy.orm import sessionmakerSQLALCHEMY_DATABASE_URL = "mysql+...
2020-04-27 20:05:12
2081
1
原创 windows10安装mysql-workbench报错VS C++ 2015依赖没有安装
workbench下载地址：https://dev.mysql.com/downloads/workbench/点击下载之后的安装包，开始安装之后，提示如下错误MySQL Workbench requires the Visual C++ 2015 Redistributable Package to be installed. Click the Download-Button on t...
2020-04-12 16:03:14
5036
1
原创 python使用第三方库gevent模拟高并发请求
因为工作中有个测试场景需要在1s内发送100个请求，需要并发，本来想用多线程或协程实现的，但最后发现gevent这个第三方库，真的很好用。gevent简介:gevent在python后台开发中是必不可少的工具库，它的强大在于它能使同步的python代码在IO等待时间挂起，并执行其它任务，达到异步的运行效果，从而提高程序的运行效率，达到高并发的功能。PS: 期待我后面的文章讲解如何在生产环境正...
2020-04-11 15:05:37
1945
原创 Django项目需求分析和详细设计
1 需求分析1.1 需求分析组成部分 需求分析的内容是针对待开发软件提供完整、清晰、具体的要求，确定软件必须实现哪些任务。具体分为功能性需求、非功能性需求与设计约束三个方面. (1)．功能性需求 功能性需求即软件必须完成哪些事，必须实现哪些功能，以及为了向其用户提供有用的功能所需执行的动作。功能性需求是软件需求的主体。开发人员需要亲自与用户进行交流，核实用户需求，...
2020-03-30 22:25:41
850
原创 Jenkins中上游项目并行后再触发下游项目，并传递参数
在使用jenkins执行自动化脚本，因为用例过多，所以决定并行job执行来提高效率，当然这个在之前的一篇文件介绍就可以做到，先配置一个job_A，然后用job_B触发两个下游job来实现并行。一开始我也是这样设计的，后面出现了问题，因为我需要把并行执行的结果合并，这个合并需要在两个并行job执行后来完成，所以就卡在这里。后来经过google查询，了解到jenkins的另一个插件可以完成这个操作。...
2019-10-24 20:30:58
3936
1
原创 Python关于requests库的整理
r=requests.get(url,params=None,**kwargs)使用get函数会内部生成一个Request对象，以及一个Response对象（也就是 r ）；Response对象®包含了Request对象发送的全部信息以及爬虫返回的全部内容；URL:全称为Uniform Resource Locator统一资源定位符，包含了协议，服务器名称，路径和文件名等信息。API：全称...
2019-10-14 20:08:29
212
转载 彻底解决Virtualbox共享粘贴板不可使用问题
一.在虚拟机设置界面->常规 中选择双向二.在虚拟机设置界面->存储 中进行如下勾选三.在虚拟机设备选项中选择’安装增强功能’如果有挂载错误Could not mount the media/drive ‘C:\Program Files\Oracle\VirtualBox/VBoxGuestAdditions.iso’可以直接在驱动盘用运行autorun.sh即可解...
2019-10-14 19:50:07
2116
1
原创 用MYSQLworkbench导出数据excel
步骤：1、先从数据库中将表导出，右键需要导出的表格——>Table Data Export Wizard勾选要导出的字段2、点击Next，选择你需要把数据存放的文件路径、导出的数据格式（表格的话就默认选择CSV）、导出数据内容格式3、点击Next直到结束4、在存放路径找到导出的文件，打开是只有一列的数据格式，还有中文会是乱码5、换成记事本打开，另存为文件，选用用ANSI...
2019-08-23 21:55:46
4076
原创 python multiprocessing遇到Can’t pickle instancemethod问题
遇到一个坑，Can’t pickle instancemethod …前言:今天写了一个小脚本，因为涉及到cpu运算的事件，所以用了多进程. 因为大量复用了以前的类，就遇到了奇怪的问题。 我这里就不暴露我的业务代码，临时写了个小demo供大家测试下。#blog: xiaorui.cc import timeimport multiprocessing class Go(): ...
2019-08-23 21:15:45
770
原创 python进程池
当需要创建的子进程数量不多时，可以直接利用multiprocessing中的Process动态成生多个进程，但如果是上百甚至上千个目标，手动的去创建进程的工作量巨大，此时就可以用到multiprocessing模块提供的Pool方法。初始化Pool时，可以指定一个最大进程数，当有新的请求提交到Pool中时，如果池还没有满，那么就会创建一个新的进程用来执行该请求；但如果池中的进程数已经达到指定的最...
2019-08-23 21:10:02
151
原创 python中sorted方法和列表的sort方法使用详解
一、基本形式列表有自己的sort方法，其对列表进行原址排序，既然是原址排序，那显然元组不可能拥有这种方法，因为元组是不可修改的。排序，数字、字符串按照ASCII，中文按照unicode从小到大排序x = [4, 6, 2, 1, 7, 9]x.sort()print (x) # [1, 2, 4, 6, 7, 9]如果需要一个排序好的副本，同时保持原有列表不变，怎么实现呢？x = ...
2019-08-13 21:37:50
441
转载 CSRF攻击与防御（写得非常好）
转载地址：http://www.phpddt.com/reprint/csrf.htmlCSRF概念：CSRF跨站点请求伪造(Cross—Site Request Forgery)，跟XSS攻击一样，存在巨大的危害性，你可以这样来理解：攻击者盗用了你的身份，以你的名义发送恶意请求，对服务器来说这个请求是完全合法的，但是却完成了攻击者所期望的一个操作，比如以你的名义发送邮件、发消息，盗取你的账号...
2019-08-12 22:07:32
199
原创 python中defaultdict的用法
初识defaultdict之前在使用字典的时候, 用的比较随意, 只是简单的使用dict.然而这样在使用不存在的key的时候发生KeyError这样的一个报错, 这时候就该defaultdict登场了.如何使用defaultdict可以这样from collections import defaultdictd1 = defaultdict(int)或者这样import col...
2019-08-07 22:59:07
263
原创 Failed opening the RDB file dump.rdb
运行redis数据库是，打印日志 Failed opening the RDB file dump.rdb (in server root dir C:\Program Files\redis) for saving: Permission denied原因:我在搭建好主从节点后,重新启动两个redis实例,发现主节点一直提示如下这个错误:[4664] 22 Jul 22:54:39.122...
2019-07-22 23:00:28
4475
原创 React ant design表格导出数据为EXCEL表格数据
一、由于公司项目需要,需要将表格数据导出为EXCEL表格数据。环境React+Ant Design二、安装插件js-export-excelyarn安装-记得以管理员身份执行yarn add js-export-excelnpm安装npm install js-export-excel三、代码事例页面先引入安装的插件import ExportJsonExcel from 'js...
2019-06-25 21:23:57
4319
8
原创 Django中间件的应用
中间件的应用我们在用户登录成功后通过session保留了用户信息，要求在查看时必须要先登录，登录过的用户可以投票，否则就将用户引导到登录页面，为此我们可以这样修改视图函数。def praise_or_criticize(request: HttpRequest): """投票""" if 'username' in request.session: try: ...
2019-06-16 18:31:50
425
原创 go语言学习
go语言入门指南：https://www.kancloud.cn/kancloud/the-way-to-go/72432写的比较不错的个人博客http://blog.studygolang.com/
2019-04-17 23:06:22
108
原创 高并发下接口幂等性解决方案
一、幂等性概念在编程中.一个幂等操作的特点是其任意多次执行所产生的影响均与一次执行的影响相同。幂等函数，或幂等方法，是指可以使用相同参数重复执行，并能获得相同结果的函数。这些函数不会影响系统状态，也不用担心重复执行会对系统造成改变。例如，“getUsername()和setTrue()”函数就是一个幂等函数. 更复杂的操作幂等保证是利用唯一交易号(流水号)实现.我的理解：幂等就是一个操作，不论...
2019-04-11 18:13:42
532
原创 django查询中extra的应用
今天有个需求需要查询到数据库resc_metadata字段(是一个json类型的值)中job_group去重后的值放入一个列表一、通过pymysql完成def set_cluster_id_value(data, hirer, resc_dict): db = MySQLdb.connect(SQLConf["ipAddr"], SQLConf["userName"], SQLConf...
2019-04-01 19:39:13
2088
转载 django-haystack全文检索详细教程
一：使用的工具haystack是django的开源搜索框架，该框架支持Solr,Elasticsearch,Whoosh, Xapian搜索引擎，不用更改代码，直接切换引擎，减少代码量。搜索引擎使用Whoosh，这是一个由纯Python实现的全文搜索引擎，没有二进制文件等，比较小巧，配置比较简单，当然性能自然略低。中文分词Jieba，由于Whoosh自带的是英文分词，对中文的分词支持不是太好...
2019-03-17 18:59:40
835
原创 Django 中的国际化的使用
Django 国际化使用的翻译模块是使用 Python 自带的 gettext 标准模块。通过一个到 GNU gettext 消息目录库的接口，这个模块为 Python 程序提供了国际化 (I18N) 和本地化 (L10N)。开发人员和翻译人员需要完成一下 3 个步骤：第一步：在 Python 代码和模板中嵌入待翻译的字符串，第二步：把那些字符串翻译成需要支持的语言，并进行相应的编译第三步...
2019-03-08 16:01:03
333
原创 前后端分离djangorestframework——解决跨域请求
使用中间件解决跨域问题中间件.py:from django.utils.deprecation import MiddlewareMixinclass CorsMiddle(MiddlewareMixin): def process_response(self, request, response): response['Access-Control-Allow-O...
2019-03-07 15:34:53
389
原创 django 模型 choices 详解
choices用于页面上的选择框标签，需要先提供一个二维的二元元组，第一个元素表示存在数据库内真实的值，第二个表示页面上显示的具体内容。在浏览器页面上将显示第二个元素的值。例如： YEAR_IN_SCHOOL_CHOICES = ( ('FR', 'Freshman'), ('SO', 'Sophomore'), ('JR', 'Junior...
2019-03-07 13:31:41
1066
原创 djangorestframework序列化时一同返回外键关联表的数据信息
models.pyclass Snippet(models.Model): created = models.DateTimeField(default=ytime) title = models.CharField(max_length=100, blank=True, default='') code = models.TextField() linenos ...
2019-03-07 10:31:23
1798
1
原创 mysql数据备份与恢复
mysql数据备份与恢复（1）备份：从数据库导出数据：格式：mysqldump -h链接ip -P(大写)端口 -u用户名 -p密码数据库名>d:XX.sql(路劲)示例：mysqldump -h132.72.192.432 -P3307 -uroot -p8888 htgl > bak.sql;（2）备份导出示例：1、导出数据和表结构——将特定数据库特定表中的数据和表格结构...
2019-03-05 16:53:54
117
原创 django rest framework使用django-filter实现过滤和搜索
首先创建一个models.pyfrom django.db import modelsLANGUAGE_CHOICES = ( ('0' , 'python'), ('1' , 'java'))STYLE_CHOICES =( ('0' , 'friendly'), ('1' , 'lovely'))class Snippet(models.Mode...
2019-03-04 16:55:56
2787
1
转载 面对现有的数据库，Django如何写models.py文件？
问题阐述以往Django开发都是先写models.py，然后完成命令“python manage.py magemigrations && python manage.py migrate”完成数据库的建立。现在，正好相反：已有现存的数据库，这个models.py怎么写？问题解决关键命令： python manage.py inspectdb$ python manage...
2019-02-28 14:36:29
455
原创 django解决跨域请求的问题
解决方案1.安装django-cors-headerspip3 install django-cors-headers2.配置settings.py文件INSTALLED_APPS = [ ... 'corsheaders'， ... ] MIDDLEWARE_CLASSES = ( ... 'corsheaders.middleware.Co...
2019-02-26 17:12:06
201
原创 使用sqlalchemy往已有的数据库表插入数据
网上使用sqlalchemy进行数据库操作的，大部分都是新建表进行增删改查，而在工作中，经常遇到的是，项目已经运行很久了，表也都建立了，现在产品经理需要你插入一些别的地方获取的数据，而数据一般是保存在ｅｘｃｅｌ中，需要将ｅｘｅｃｌ中的每行记录，保存到数据中，并自动执行某个接口的调用，此代码是执行了generatebettle()，下面主要介绍如何将数据通过ＯＲＭ保存到已有的数据库中，且是同时保...
2019-01-18 10:32:06
3800
原创 爬虫之CookieJar和session
我们在使用爬虫的时候，经常会用到cookie进行模拟登陆和访问。在使用urllib库做爬虫，我们需要借助http.cookiejar库中的CookieJar来实现。CookieJar类有一些子类，分别是FileCookieJar，MozillaCookieJar，LWPCookieJar。CookieJar：管理HTTP cookie值、存储HTTP请求生成的cookie、向传出的HTTP请求...
2018-12-18 22:31:16
900
1
原创 python爬虫基础-urllib, urllib2
最简单的爬虫import urllibimport urllib.request# 爬虫时候，url最后加上反斜杠url = 'http://www.baidu.com/'response = urllib.request.urlopen(url = url)# 打印response中的数据content = response.read().decode('utf-8')print...
2018-12-18 22:26:47
158
原创 Python 实例方法、类方法、静态方法的区别与作用
Python中至少有三种比较常见的方法类型，即实例方法，类方法、静态方法。它们是如何定义的呢？如何调用的呢？它们又有何区别和作用呢？且看下文。首先，这三种方法都定义在类中。下面我先简单说一下怎么定义和调用的。（PS：实例对象的权限最大。）实例方法定义：第一个参数必须是实例对象，该参数名一般约定为“self”，通过它来传递实例的属性和方法（也可以传类的属性和方法）；调用：只能由实例对象调用...
2018-12-11 18:03:55
151
原创 ＨＴＭＬ弹框跳转到新的页面
新系统上线，旧的系统还在用，想在旧系统页面添加一个弹框，提示用户跳转到新页面添加到ＨＴＭＬ页面中ｃｏｎｆｉｒｍ弹框，效果类似于ａｌｔｅｒ弹框，有确定和取消按钮<script type="text/javascript"> var msg = confirm("旧版资源中心即将下线，请点击确定按钮去新版本页面"); if (msg) { window...
2018-12-06 16:45:53
10086
原创 利用pymysql同时修改两张表的数据
使用pymysql操作数据库中相关联的两张表需求：两张表中分别有一个字段是ｊｓｏｎ格式，需要往ｊｓｏｎ中再插入一个属性值’container_cloud’＝’fasle’。import pymysqlimport jsondb = pymysql.connect("host","user","password","dbname")cursor1 = db.cursor() ＃操作第一...
2018-11-29 11:19:20
1886
原创 django rest framework mixins小结
引言 本篇对drf中的mixins进行简要的分析总结。 mixins在drf中主要配合viewset共同使用，实现http方法与mixins的相关类与方法进行关联。关于viewset可以看我另外一篇博客，这里不过多介绍。from rest_framework import viewsets在这个viewset中，主要有5类Minxin，他们与http方法对应如下： 下面，我们...
2018-11-23 09:55:31
193
转载 django rest framework 通用 view
引言 官方文档：http://www.django-rest-framework.org/ drf为我们提供强大的通用view的功能，本博客对这些view进行简要的总结分析。 首先，我们看一下主要的几种view以及他们之间的关系。 这其中，还涉及了mixins，主要也分为5类：下面我们以课程（course）作为一个例子，对view进行一个总结。django View ...
2018-11-22 10:42:54
172
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人