2021年03月_普通网友

12月 11月 10月 09月 08月 07月 06月 05月 04月 03月 02月 01月

原创 git+pylint实现python提交代码格式校验

环境：win10(64)，python3.7.1，git2.7.2，pylint-2.3.1，git_pylint_commit_hook-2.5.1以上为当期搭建所用到的版本，有异常时方便查找问题。安装pylint，pylint是一个单独可以对python文件进行格式校验的模块，https://www.pylint.org/官网地址有各个电脑环境的安装说明，Windows下，使用：pip install pylint安装完成之后，就可以直接使用pylint对python文件进行格式的检.

2021-03-31 18:53:37 548

原创 kubernetes 实战使用 nfs 作为动态 storageClass 存储

kubernetes 实战使用 nfs 作为动态 storageClass 存储概述之前有介绍过 Kubernetes 实战 pv and pvc，相信使用过的pv和pvc的同学或者有过虚拟化经验的人来说肯定会想到很多问题，比如每次申请 pvc 都需要手动添加pv，这岂不是太不方便了。那我们如何实现类似于公有云或者私有云的共享存储模式呢？kubernetes 提供了 storageclass 的概念，接下来我们来一探究竟。本文通过 nfs 来讲解，首先需要注意的是 nfs默认不支持动态存储，使用了

2021-03-31 16:45:03 972

原创 JENKINS使用DOCKER运行PYTEST并且出ALLURE报告

背景最近想做一个简单的pytest 测试，用allure出报告，结果发现网上的方法都是在windows上装jenkins,然后用jenkins跑一个本地的运行环境。这种做法明显很不2019年。于是我决定做一个在jenkins上使用docker运行pytest，然后再出allure报告的文章。思路在一台电脑上安装jenkins,可以参考我的文章https://www.yinyubo.cn/?p=268 准备python代码，放到git上，jenkins通过git拉取代码。代码中包含Dockerf

2021-03-30 11:48:22 1261

原创 jenkins用ssh agent插件在pipeline里实现scp和远程执行命令

现在ssh agent的认证，已不支持明文用户密码，而只能用加密方式实现。所以我先在jenknis和nginx服务器之后，实现ssh免密码rsa证书登陆。私钥放jenkins，公钥放nginx。然后，将私钥拿出来，后面要写入jenkins凭据的。有了这个操作前提之后，安装完成ssh agent，pipeline的样例里就有它的写法了。但我又发现一个问题：使用jenkins的生成样例代码放到pipeline里是不行的。sshagent(['70563f04-cd7a-49a9-b73

2021-03-30 11:45:53 4406 1

原创 Centos7.x Hadoop 3.x HDFS 写入文件

操作目的1、在Linux环境下编写HDFS写文件程序的java文件2、编译并打包HDFS的写程序3、执行HDFS的写程序环境、工具说明1、先搭建一个 Hadoop 的基础集群环境参考：Hadoop集群搭建2、JDK版本：jdk1.8安装配置过程3、工具：xshell54、VMware 版本：VMware Workstation Pro155、Hadoop：3.3.0在clinet节点上编写HDFS写程序1、在将要编写 java 程序的节点上配置环境变量此处我选择了 slav

2021-03-27 22:30:57 402

原创 Hadoop 副本存储策略的源码修改和设置

Table of ContentsBlockPlacementPolicy Hadoop 提供的 BlockPlacementPolicy 实现 BlockPlacementPolicyDefault 源码阅读首先处理favoredNodes 三副本选择再到具体的选择源码阅读的几个注意修改HDFS默认的副本放置机制 RackAwareness 机架感知大多数的叫法都是副本放置策略，实质上是HDFS对所有数据的位置放置策略，并非只是针对数据的副本。因此Hadoop的

2021-03-27 22:30:04 1081

原创 2021最新Python量化A股投资必赚策略

一、板块信息：1、每隔30分钟后台自动采集一个开盘啦的板块信息（9:15开始到15:00是股票开市时间，如果15点以后已经采集过数据，就不需要重复采集，避免频繁采集被网站屏蔽）。按照codelist.txt列表，替换网址后面的id2、采集开盘啦所有股票信息。每隔30分钟后台自动采集一个开盘啦的个股信息（9:15开始到15:00是股票开市时间，如果15点以后已经采集过数据，就不需要重复采集，避免频繁采集被网站屏蔽）。按照codelist.txt列表，替换网址后面的id红色圈起来的为采集的信

2021-03-21 10:40:36 1180

原创 L-BFGS算法/Broyden族/BFGS算法/阻尼牛顿法的Python实现代码

下面定义了三个Python语言编写的函数：函数表达式fun，梯度向量gfun，和海森矩阵hess。这三个表达式在后面各个算法的实现中会用到。# 函数表达式funfun = lambda x:100*(x[0]**2-x[1])**2 + (x[0]-1)**2# 梯度向量 gfungfun = lambda x:np.array([400*x[0]*(x[0]**2-x[1])+2*(x[0]-1), -200*(x[0]**2-x[1])])# 海森矩阵 hesshess = lamb

2021-03-21 09:15:04 5251

原创 python调用cv2.findContours时报错：ValueError: not enough values to unpack (expected 3, got 2)

python调用cv2.findContours时报错：ValueError: not enough values to unpack (expected 3, got 2)OpenCV旧版，返回三个参数：im2, contours, hierarchy = cv2.findContours(mask, cv2.RETR_TREE, cv2.CHAIN_APPROX_SIMPLE)要想返回三个参数：把OpenCV 降级成3.4.3.18 就可以了，在终端输入pip install ope.

2021-03-19 13:57:09 199

原创使用IPFS集群搭建创建私有IPFS网络

基本介绍IPFS 网络分两类:公有私有对于大多数商用应用尤其是企业级解决方案而言，需要对自身数据有完全的控制，这种场合公有IPFS网络并不适用，搭建私有IPFS往往是这类应用的必要需求。本文我们讲解创建一个私有 IPFS 网络的过程：创建一个 IPFS集群的私有 IPFS网络用于数据复制。IPFS 本身不提供节点间数据复制，为了在 IPFS网络中复制数据有两个选择：Filecoin IPFS-Cluster。本文中我们使用 IPFS-Cluster 。我们通过三个虚

2021-03-15 13:27:49 2714

原创 Python-Pandas之两个Dataframe的差异比较

昨天在外网找到一个比较dataframe的好库，叫datacompy，它的优点有：1、可以把对比后的信息详情打印出来，比如列是否相等，行是否相等；2、在数据中如果有不相等列，那么就只比较相同的列；3、可以设置绝对差值和相对差值，比如我们比较有浮点数的数据时，设置下绝对差值为0.01，后面的一系列微小的值就忽略了；4、在数据报告中，每一列的数据类型、不相等数量、最大差值和空值都详细列出来了；5、可以把不相等的列单独取出来，取出来就是一个dataframe，可以查看具体哪些是不一样的；下

2021-03-15 13:24:38 19708

原创 Python遍历文件夹下所有文件及目录

遍历文件夹中的所有子文件夹及子文件使用os.walk()方法非常简单。语法格式大致如下：os.walk(top[, topdown=True[, onerror=None[, followlinks=False]]])top – 根目录下的每一个文件夹(包含它自己), 产生3-元组 (dirpath, dirnames,filenames)【文件夹路径, 文件夹名字, 文件名】。topdown –可选，为True或者没有指定, 一个目录的的3-元组将比它的任何子文件夹的3-元组先产生(目

2021-03-14 00:26:31 2768 1

原创【TensorFlow】基于视频时序LSTM的行为动作识别

简介本文基于LSTM来完成用户行为识别。数据集来源：https://archive.ics.uci.edu/ml/machine-learning-databases/00240/此数据集一共有6种行为状态：行走；站立；躺下；坐下；上楼；下楼；以上6种行为数据是通过传感器进行采集的。.\data\UCI HAR Dataset\train\Inertial Signals实现本次实验实现的是6分类任务。import tensorflow as tfimp.

2021-03-13 20:40:18 2521 1

原创常用的学术论文图表（折线图、柱状图）matplotlib python代码模板

最终选用了python+Matplotlib。Matplotlib是著名Python的标配画图包，其绘图函数的名字基本上与 Matlab 的绘图函数差不多。优点是曲线精致，软件开源免费，支持Latex公式插入，且许多时候只需要一行或几行代码就能搞定。然后小编经过了几天的摸索，找了几个不错的python代码模板，供大家简单修改就能快速上手使用。建议使用Wing Personal 作为PythonIDE，生成的图片能上下左右进行调整：NO.1 # -*- coding: utf-8 -*.

2021-03-12 00:09:28 5186

原创学术论文SCI、期刊、毕业设计中的图表专用软件

OriginOrigin是由OriginLab公司开发的一个科学绘图、数据分析软件，支持在Microsoft Windows下运行。Origin支持各种各样的2D/3D图形。Origin中的数据分析功能包括统计，信号处理，曲线拟合以及峰值分析。Origin中的曲线拟合是采用基于Levernberg-Marquardt算法（LMA）的非线性最小二乘法拟合。Origin强大的数据导入功能，支持多种格式的数据，包括ASCII、Excel、NI TDM、DIADem、NetCDF、SPC等等。图形输出格式多

2021-03-12 00:04:44 3329

原创 VOC数据集格式转化成COCO数据集格式

VOC数据集格式转化成COCO数据集格式一、唠叨之前写过一篇关于coco数据集转化成VOC格式的博客COCO2VOC，最近读到CenterNet的官方代码，实现上则是将voc转化成coco数据格式，这样的操作我个人感觉很不习惯，也觉得有些奇葩，可能是每个人习惯不一样吧，我们知道有时候我们会采用labelImg标注数据，标注出来的格式就是voc，如果直接训练就可以用来训练是不是更加友好。为了不大规模修改原始训练代码（虽然自己修改了一个版本的voc...

2021-03-11 23:47:15 9780 4

原创 Error processing line 1 of vision-1.0.0-py3.6-nspkg.pth AttributeError: ‘NoneType‘ object has no

最近调试代码不知道安装什么包导致代码运行的时候出现报错AttributeError: 'NoneType' object has no attribute 'loader' ，虽然代码也能运行通过，但是报错还是很不舒服。Remainder of file ignoredError processing line 1 of D:\Anaconda3\envs\fastrcnn\lib\site-packages\vision-1.0.0-py3.6-nspkg.pth: Traceback (m..

2021-03-11 23:45:52 2607 9

原创实时手势识别【手部跟踪】Mediapipe中的hand

# pip3 install mediapipeimport mediapipe as mpimport cv2images={}images["image"]=cv2.imread("hand.jpg")mp_hands = mp.solutions.handsmp_drawing = mp.solutions.drawing_utils with mp_hands.Hands( static_image_mode=True, max_num_hands=2,...

2021-03-10 13:32:44 4350 7

原创 Pytorch torchvision完成Faster-rcnn目标检测demo及源码详解

Torchvision更新到0.3.0后支持了更多的功能，其中新增模块detection中实现了整个faster-rcnn的功能。本博客主要讲述如何通过torchvision和pytorch使用faster-rcnn，并提供一个demo和对应代码及解析注释。目录如果你不想深入了解原理和训练，只想用Faster-rcnn做目标检测，请看这里torchvision中Faster-rcnn接口一个demo使用方法如果你想深入了解原理，并训练自己的模型环境搭建准备训练数据模型训练

2021-03-10 13:17:37 2052

原创宝塔LNMP使用步骤nginx+php 7.2

安装BT面板yum install -y wget && wget -O install.sh http://download.bt.cn/install/install.sh && sh install.sh安装LAMP / LNMP推荐 PHP7.3(最低要求7.0) + MySQL5.7(最低要求5.5)PHP 5.6.x即将停止安全支持面板新建网站进入面板, 网站, 新建域名: demo.anfaka.com (改成你的)数据库: My

2021-03-10 00:09:59 794

原创 C语言实现AES加密解密

AES加密是美国联邦政府采用的一种块加密标准，如今已经被全世界广为使用。嵌入式开发中我们也经常会用到加密解密算法，如果没有硬件模块来实现，就需要用到C代码软件实现。下面介绍调用mbedTLS中的AES加密解密函数实现AES算法。mbedTLS是一个开源TLS协议栈，主要用于嵌入式开发，其源代码网址为https://tls.mbed.org/aes-source-code。在该页面上点击downloadmbedTLS即可下载最新的协议栈，解压该压缩包就可以得到协议栈源代码。协议栈中的各种算法都独立封装在C

2021-03-09 23:54:07 3520

原创 Javascript实现AES加密解密(ECB/CBC)

环境配置js文件https://code.google.com/archive/p/crypto-js/downloads 在线AES加密解密地址http://tool.chacuo.net/cryptaes 下载完成后在页面中引入 rollups/aes.js components/mode-ecb.js components/pad-nopadding.js 引入后页面 image.png ECB加密解密var key = CryptoJS.enc.Utf8.pars

2021-03-09 23:52:50 19740 1

原创 C++或C 实现AES ECB模式加密解密，支持官方验证

本文主要介绍 AES 算法的加解密方法。本文使用的语言为 C++，调用的 AES 库为：cryptopp。1 概述AES 加密算法的介绍如下（摘自 WikiPedia）：高级加密标准（英语：Advanced Encryption Standard，缩写：AES），在密码学中又称 Rijndael 加密法，是美国联邦政府采用的一种区块加密标准。这个标准用来替代原先的 DES，已经被多方分析且广为全世界所使用。经过五年的甄选流程，高级加密标准由美国国家标准与技术研究院（NIST）于2001年11月26

2021-03-09 20:48:29 4306

原创 Windows10安装ubuntu18.04双系统教程

Windows10安装ubuntu18.04双系统教程写在前面：本教程为windows10安装ubuntu18.04（64位）双系统教程，是我多次安装双系统的经验总结，安装方法同样适用于ubuntu16.04（64位）。为了直观和易于理解，我会尽量图文并茂，并用最通俗的语言完成这篇教程。虽然安装ubuntu18.04和ubuntu16.04的方法一模一样，但为了满足强迫症患者，我特意将教程内容复制之后重新发了一篇，需要的进：Windows10安装ubuntu16.04双系统教程友情提示：如果你参照教

2021-03-05 22:42:56 1651

原创 python opencv过滤红色

OpenCV简易视频处理框架OpenCV主要色彩空间OpenCV的位操作方法找出视频中红色物体import cv2import numpy as npdef filter_out_black(src_frame): if src_frame is not None: hsv = cv2.cvtColor(src_frame, cv2.COLOR_BGR2HSV) lower_red = np.array([0, 0, 0]) upper

2021-03-02 19:18:01 2271

原创 python List中元素两两组合

python List中元素两两组合importitertoolsaa = ['a', 'b', 'c']bb = list(itertools.permutations(aa, 2))print(bb)print("######################")cc = list(itertools.combinations(aa, 2))print(cc)话不多说，运行结果解释一些

2021-03-02 00:11:36 9065 2