- 博客(30)
- 收藏
- 关注
RSS订阅原创 ubuntu下git版本升级
由于安装了最新的goland 居然说我git版本过低，因此要升级本地git版本，然后网上找参考文章，发现到处写着要下载文件，还要make编译，整的复杂了，我就想简单升级下git而已1，如果源有最新的直接apt-get install git会自动安装更新的，2， 如果允许了发现没有更新- 添加对应的源add-apt-repository ppa:git-core/ppa- 更新下本地源apt update- 在更新git同1apt-get instal
2021-10-07 01:41:15
3223
原创 multiprocessing 在linux 和windows 的区别
python官方文档Depending on the platform,multiprocessingsupports three ways to start a process. Thesestart methodsarespawnThe parent process starts a fresh python interpreter process. The child process will only inherit those resources necessary to ...
2021-04-07 20:13:49
716
原创 multiproccessing.Process subprocess.Popen os.popen 关系
相同点： 都是启动了一个进程去执行任务。 其中os.popen内部实现是调用了subprocess.Popen，只是对subproccess.Popen的简单封装不同点: proccess.Proccess侧重和外部程序交互，执行一段命令，这个命令可以是启动一个程序，跑一个脚本，所以会有stdin stdout stderr这样的信息，是和当前进程的代码做不一样的东西multiproccessing.Proccess 侧重当前进程中的一段代码逻辑 多开...
2021-04-01 14:33:26
385
原创 git和pylint结合自动检测规范 (git-pylint-commit-hook）
本来不想写这篇文章，因为感觉没什么技术含量，但是在尝试装的时候发现搜到的帖子内容大部分都一模一样，关键按照步骤一步一步装 运行不下去了，所以写一遍实践通过的帖子供参考。 本内容只是用来尝试体验用，没有讲更细致配置策略。一、背景 git作为当前编程最流行的版本管理工具大部分团队或个人都会安装使用； pylint作为python的代码规范检查工具能有效检查出python代码中不符合规范的代码，用pylint进行约束能提高个人的代码质量，也能较少团队开发...
2020-11-25 19:06:39
1140
原创 python 私有仓库作为三方包 递归依赖 解决方法
情况描述： python的私有仓库module_A作为第三方包，同时A依赖于另一个第三方私有仓库包module_B，使用module_A包的时候常常发现module_B不在环境中，导致运行出现问题原因： 制作包的setup.py没有用好 一般setup.py示例:from setuptools import setup, find_packagessetup( name='module_A', packages=find_pac...
2020-06-16 19:49:28
604
2
原创 自建日志系统-sentry
一、 简介 sentry也是一个比较流行，开源可自己搭建的在线版日志系统。相较于graylog，其部署比较复杂，sentry的要运行的容器服务差不多是18个，而graylog只有3个。但是从使用来讲，sentry更贴合使用者使用习惯，而且文档完备而规范，有组、邮件等功能比graylog强大不少。二、部署 sentry的部署其官方有一键部署方案，详细参照 htt......
2020-02-20 18:24:17
1018
原创 自建日志系统-graylog
一、 简介 graylog是一个比较流行，自己搭建比较方便的在线版日志系统。二、 部署 部署graylog有很多方式， 推荐用docker安装，安装的文档参见 https://docs.graylog.org/en/3.2/pages/installation/docker.html 推荐用里面的docker-compose文件安装，只要安装好docke...
2020-02-20 17:51:39
968
原创 kubernetes 安装 kubelet、kubectl、kubeamd
在在实验k8s时，很多文档都一笔带过要安装kubelet等软件， 至于怎么装都不说 或说的过时。最近在网上找到一个方法亲测非常适用，不管ubuntu 还是centos应该都可以。方法:1，直接下载文件curl -LO https://storage.googleapis.com/kubernetes-release/release/$(curl -s https://storage....
2019-12-23 14:44:02
412
原创 python ppt xlsx等文档转图片
文档转jpg 一般两步 先转成pdf 再由pdf转jpg*-*本过程基于 ubuntu系统 python3.6 *-*文档转pdf文档转pdf，这里用到 libreoffice，通过命令去调libreoffice 执行转换。网上很多用到 openoffice，注意到 libreoffice是从openoffice 分出来的， 另外 openoffice 在13年就不更新了， 所以没有选o...
2019-12-03 11:40:01
910
原创 socketio with flask
一，websocket 和 socketio是一样吗 这是socketio官方文档里的说明：socketio可以说是个框架(要使用注意前后端都要用socketio)。websocket指双向通信的技术，也有同名实现原始websocket功能的框架(很多人比较喜欢 说这样自由度高)。二、flask socketio的运用 1，简单搭建from flask imp...
2019-11-05 19:01:48
423
原创 异步实现 multiprocess|blinker
一、如何异步实现调用功能，并马上返回信息给用户 不用等功能执行结束，类似celery功能 通过multiprocess 启多线程，当父进程退出后，子进程也会终止。 这个时候 如果想父进程退出时子进程继续执行，可以通过在父进程最后加上os._exit(0) 不走正常退出。 在flask中 在一次请求过程中调用多线程，调用返回后， 子进程仍然工作。其实是因为flask请求完成并...
2019-10-25 11:59:42
543
转载 flask_alchemy model的一种数据校验方法
https://stackoverflow.com/questions/54430924/how-to-catch-an-exception-in-flask-from-sqlalchemy-validate-decoratormodels.py:from sqlalchemy.orm import validates class Apiusers(db.Model): ...
2019-10-16 14:57:41
495
转载 SQLAlchemy session 使用问题
转自：https://pdf-lib.org/Home/Details/7406在更改 SQLAlchemy Session 从每次请求都创建到共享同一个 Session 之后遇到了如下问题：StatementError: (sqlalchemy.exc.InvalidRequestError) Can’t reconnect until invalid transaction is r...
2019-10-12 11:09:05
4469
原创 权限控制
RBAC权限控制一般是主要涉及功能控制（了解RBAC参见https://docs.microsoft.com/zh-cn/exchange/understanding-role-based-access-control-exchange-2013-help）而对数据级控制很少有设计Ralasafe是一个开源的实现数据级控制中间件http://www.blogjava.net/met...
2019-09-03 17:34:28
247
原创 golang.org/x ...golang包无法安装问题
1，问题： 在用govendor get 或 go get安装三方包的时候，有些包会报错如下unrecognized import path "golang.org/x/net/http/httpguts"2，原因： 这些包在golang.org不是在github下，从国内访问可能被限制了，不让下3，解决方法： a,自己在相应路径上建文件夹，如在gopa...
2019-02-27 12:32:11
2635
原创 python多线程、多进程、顺序执行在密集计算方面的表现差异示例
运行的函数，简单的计算程序：def count(name, n): for i in range(n): a = 1 + 1 b = a * 2 print('{} finished!'.format(name))分别通过多线程、多进程、顺序执行计算5次，比较差异，同时增加循环次数n，看随着循环增多，各种方式的表现多进线程调用： ...
2019-02-11 17:12:17
353
原创 flask_jwt 机制
在前后端分离的趋势下，csrf防护变得越来越困难， 而jwt认证机制正好能避开这个问题。1,实例化from flask_jwt import JWTjwt = JWT()2,设置必要参数JWT_SECRET_KEY=xxx3,实现jwt最基本功能，authenticate 、identity，通过钩子实现def configure_jwt(jwt): """...
2019-01-09 15:54:35
4720
原创 flask_wtf CSRFProtect机制
一，使用实例化from flask_wtf import CSRFProtectcsrf = CSRFProtect()初始化from flask import Flaskapp = Flask(__name__)...WTF_CSRF_SECRET_KEY=xxx #设置token 生成salt...csrf.init_app(app) csrf默认对[...
2019-01-09 14:29:26
1864
1
原创 Python type hints 之 Optional，Union
1，前言 type hint 在pep484加入，我个人觉得这种类似于类型约束的（机制）有点违背了python简单、简洁的初衷，在慢慢向c# java 这种强类型语言看齐的节奏。 不过好在不强制使用，个人觉得依照规则编码也有点好处，一方面，因为输入输出的类型进行定义的过程中，推动个人对输入输出进行详细的思考，个人的思路也会更清晰， 写的函数不容易飘。 另一...
2018-12-13 18:12:57
22560
6
转载 jupyter notebook 更改工作环境和浏览器
详细内容：https://blog.csdn.net/tigerking1017/article/details/78782280自己补充内容：对于windows 10 想修改jupyter启动的浏览器，可以通过设置系统配置‘web浏览器项’进行更改：...
2018-11-18 22:57:28
597
原创 alipay支付宝支付的python实现（flask）
1，环境 ubuntu16.04，python3.6， alipay-sdk-python(3.20)2，安装包 alipay提供了python包，封装了很多api调用、签名验证等功能，直接 pip install alipay-sdk-python 因为该包依赖其他几个包，在安装pycrypto包时在我这环境下报错‘fatal err...
2018-10-29 11:11:03
7573
6
原创 不想重复定义或拷贝Model定义，用ORM方式操作已经存在的数据表(table的反射)
1，建立本地与数据库表的映射引用库from sqlalchemy import create_engine, Table, MetaDatafrom sqlalchemy.orm import sessionmakerfrom sqlalchemy.ext.declarative import declarative_base建立与数据库的连接，以及表的映射# 创建连接数...
2018-10-11 18:12:07
468
原创 virtualbox 不能安装64位系统以及VMWare 硬件虚拟化（hv）
1，直接在电脑上装virtualbox 如果在virtualbox中装系统会发现列表里面只能选32位的系统，此种情况只需要电脑开机的时候进bios设置界面把virtualization打开就可以了（不同电脑位置不一样）2，在VMWare里面装virtualbox(不要问为什么这么绕。。。) 在VMWare里面的系统里装virtualbox，然后virtualbox要装6...
2018-09-04 14:33:47
2820
原创 supervisor部署
1,安装supervisor，（sudo apt-get supervisor）2,配置supervisor要操作的应用，到etc/supervisor/conf.d文件夹建一个.conf文件配置对应服务的如 [program:wx-xcx]directory=/home/tankunroot/xcx-backend/wx-xcx/command=/home/tankunroot/xcx-back...
2018-05-31 18:43:29
466
原创 初始程序发布服务器配置
1,下载代码第一次从github下载代码 需要clone 后面修改用pull即可，默认在当前目录创建一个reposity同名文件夹（因此不必手动创建一个文件夹）git clone https://github.com/RSbnu/wx-xcx.git2,配置运行环境a,安装virtualenv sudo pip install virtualenvb,创建虚拟环境 cd到要创建...
2018-05-31 18:42:09
201
原创 微信小程序支付
一，开发参见官方文档二，沙箱测试坑1，测试金额要为101/102等，不能随意填2，签名sign用的数据要和发送给沙箱获取sandbox_signkey的xml内容要一致，否则微信用xml的sign 验证其他内容会不通过，返回{'return_code': 'FAIL', 'return_msg': '获取沙箱密钥失败，确认交易密钥是否正确'}的结果 同样上面所说的内容也要与发送给微信预支付的xml...
2018-05-31 18:41:07
859
原创 ubuntu jenkins 安装部署
一，安装官方推荐 1,在本地添加对应posity的key。（注意key是有时效性，久了对应网站不认的）wget -q -O - https://pkg.jenkins.io/debian-stable/jenkins.io.key | sudo apt-key add -2,到安装工具的资源目录/etc/apt/sources.list中添加任务配置 deb ht...
2018-05-31 18:40:11
1162
原创 python数据挖掘入门与实践---作者归属问题
问题：通过对文本中的信息分析，找到文章对应的作者用到的算法模型：SVM，支持向量机。 SVM可以简单看着一种二类分类器（画一条线，使两边类别的点到线的距离最大化），扩展后可以是多类分类 器，但实际也是A类和非A类的二类分类，只是进行多次，将A B C D....类分别分出来。解决问题两种思路：1、功...
2018-03-25 23:46:39
830
原创 python数据挖掘入门与实践---用图挖掘找到感兴趣的人
问题：找出一个班级中兴趣爱好相近的人思路：将每个人的兴趣爱好（足球、篮球、美剧。。。）都列出来，看看那两个或几个人的兴趣爱好重合度高评价标准：杰卡德相似性系数(Jaccard Similarity);计算公式：A同学与B同学共同的兴趣爱好数量/A同学与B同学所有的兴趣爱好数量。（可见系数不可能大于1）图：个体间关系的直观表示，根据要表达的内容分为有向图、无向图等，端点表示个体，端点...
2018-03-18 23:00:29
1473
4
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人