自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(35)
  • 资源 (2)
  • 问答 (2)
  • 收藏
  • 关注

转载 centos7安装桌面环境,并安装easy connect来连接VPN

背景:想要在centos7服务器上安装easy connect来连接vpn前言:需要安装使用easy connect,需要有图形化界面,如果你的centos7是最小化安装的那默认都是不带X WINDOWS的,那在安装图形化界面之前,你得先安装一下X WINDOWS,这个控制功能。

2024-04-26 17:29:55 561

原创 DataFrame,数据列筛选代替遍历每一行数据去判断,大大提高数据过滤速度

运行时间 900s+,时间太长了,查资料说用pandas2.0之后的,可以用pyarrow来提高速率,但是2.0很多方法不适用了,影响到之前的一些脚本运行,后来仔细想了想,是遍历那里的时间复杂度太大了,提取出结果的数据,大概要遍历10亿次,决定从这里的循环逻辑做改善。在一张接近45M的csv表格,63.7w行数据,从中提取符合时间段范围的(每天20到第二天9点的数据),并且信号数值小于一定范围的数据,接着按每天为一份,去重统计和提取这些数据的原始详细信息。pandas1.3.5

2023-10-26 15:18:07 368

原创 python2用nohup挂起运行时发生UnicodeEncodeError: ‘ascii‘ codec can‘t encode character中文输出错误

但是前面print("目录存在: " + str(33)),不带u在前面就能正常运行,按理说带u是对字符串进行unicode编码,习惯中文都带u来print的,结果到这就不行了,很奇怪!这样就不用在代码中加入那三行sys代码了(因为本来不加也能正常运行的,不知道nohup啥问题)python3正常运行。命令行加上PYTHONIOENCODING=utf-8即可

2023-09-25 18:50:13 189

原创 centos7下mysqldump定时备份数据库

单节点的MySQL定时备份,crontab定时执行,忽略特定的表--ignore-table

2023-08-29 10:29:41 688

原创 Grafana+Prometheus监控Flume

其中-Dflume.monitoring.type=http -Dflume.monitoring.port=36001 就是开启的被监听端口,给flume_exporter监控。修改flume_exporter下的config.yml文件,端口号改成自己设置的,如上36001,可监控多个flume,但也需在prometheus增加对应的配置参数。下载完成后,再次执行go install,如果没有go get输出,就会开始编译了。把结果中含有go get …如果下载过程中出现网络错误,go添加国内镜像源。

2022-10-26 16:26:12 2553 2

原创 服务器磁盘配额,限制目录占用磁盘空间

硬限是用户或组群可以使用的磁盘空间的绝对最大值。过渡期可以用秒钟、分钟、小时、天数、周数、或月数表示。如果以上值中的任何一个被设置为0,那个限度就不会被设置)6、建立磁盘配额的配置文件,它会扫描我们上面有设置的quota的分区(生成每个启用了配额的文件系统的当前磁盘用量表)只需要设置soft和hard,第一组为磁盘容量的软硬限制(单位为kb);7、设置用户的配置限额(可以设置多个不同用户)用配置的用户进行传输,到达设置的限制时会传输失败。9、设置完成,查询磁盘配额是否和配置的一致。...

2022-07-27 18:03:14 548

原创 web平台安全测试方案

收集测试的资料平台网页的URL,用户名以及密码(最好不是超级用户,可以测试越权),Web服务器的IP(可以提供服务器的远程登录账号,以便观察测试过程中对服务器的性能影响)。需要告知开发此次测试的时间,沟通好后才能进行安全测试,并且将测试的范围,方法和相关风险提前告知,及时做好相关数据代码、环境的备份。可以选择自定义,点击”完全扫描配置“可手动修改/自定义你的测试策略,自定义后,点击应用和确定,然后点击下一步。点击“报告”按钮,选择报告模板、报告内容、布局等内容(按照需求选择),点击“保存报告”按钮,...

2022-07-27 13:56:10 6442

原创 编译和部署Mongodb5.0.5的arm64版本

因为centos7用yum安装的python3版本是3.6.8,我们需要升级到3.7.x版本。上面我们加了DESTDIR=/opt/software/mongodb,构建好的mongodb就在这个目录下了。在mongo源码目录下。解压后切换到解压包目录,进行预编译->编译->编译安装。 编译过程报错,error: 'char* __builtin_strncpy(char*, const char*, long unsigned int)' specified boun,编译出的mongo过大,用strip

2022-07-22 15:53:46 3433 1

原创 hbase不能使用hadoop的压缩算法

hbase不能使用hadoop的压缩算法用hadoop checknative命令如果显示有自己要用算法,但是hbase不能调用,注意要在hbase配置软连接到hadoop的lib

2022-07-21 19:32:53 467

原创 鲲鹏arrch64系统编译安装Hadoop3.2.2

yum install protobuf protobuf-devel如果看到是2.5.0就直接安装就好一开始没用yum安装,下载了网上的tgz包,比较坑的一个地方是protobuf2.5.0这个,因为下载的版本不支持arm64的,后来上网找了一圈,原来要打补丁,这里传一个打好补丁的protobuf链接安装好的hbase2.4.8不能使用hadoop的LZ4压缩算法,hadoopchecknative检查所有的算法都是false,x86下安装是支持这些的。还有一些其他的包我们也可以根据需要来装。....

2022-07-19 12:51:58 1488 2

原创 shell递归复制文件夹(年月日结构)下的所有txt文件

把备份目录下的所有txt文件全部复制到一个目录下,现在备份文件的目录结构是按时间划分的分割指定长度字符串的方法${date_str:0:4}date_str变量的从第0位开始,4位长度

2022-06-30 18:19:05 660

原创 shell脚本初始化mysql

这里mysql的安装方式是解压缩包的形式非交互改mysql密码免登录直接在命令行导入sql文件mysql安装包形式安装离线安装rpm出现依赖问题

2022-05-26 16:30:30 697

转载 解决tk打包的exe文件运行时出现的叶子图标问题

问题:使用pyinstaller将.py文件编译成.exe文件时,想要使用自己心仪的图标(.ico)比较麻烦。在使用pyinstaller时,用参数:--i可以给生成的可执行文件设定自定义图标,但这只是给程序文件一个图标,而在程序开启后,窗口左上角的图标以及任务栏显示的却依旧是默认的tk图标(羽毛)。用pyinstaller编译成.exe文件之后,程序窗口可能组件呈现不出来或者干脆程序无法执行

2021-11-18 18:26:25 840 1

原创 将print通过stdout重定向到tkinter的text组件上

本来模块的输出信息都是print,显示到控制台中的,现在用tk做了一个简单的界面,就想把print的信息都打印到text文本框组件上遇到一个tkinter的小坑,本人也不知道为啥先了解一下stdout的概念吧Python 标准输出 sys.stdout 重定向简单来说就是:print 会调用 sys.stdout 的 write 方法以下两行在事实上等价:sys.stdout.write('hello'+'\n')print 'hello'现在的想法就是自己构造一个函数来顶替writ

2021-11-17 16:20:31 2293

原创 记一下pyinstaller打包文件过大的处理方法

本人的环境,Win10,anaconda安装的Python3.8现在写了一个数据处理的脚本,用到了pandas,easygui这些,想打包成exe文件最终解决办法是虚拟机安装系统,在里面安装官方Python,打包试一下直接在conda默认的base环境运行pyinstaller -Fc xxx.py运行半天,结果exe一百多M第一个方法,以前也用过,结果也能接受,但是这次,conda create -n python37 python=3.7再安装好需要的包后,能正常运行我的脚本,接着打包.

2021-10-22 23:59:09 336

转载 【转】python3通过企业微信推送消息

一、概述本文将介绍如何使用python3给企业微信发送消息。我的环境是linux + python3.6.10。二、python脚本#!/root/.virtualenvs/wechat/bin/python# usage: send message via wechatimport requests, sys, jsonimport urllib3urllib3.disable_warnings()###填写参数#### Corpid是企业号的标识Corpid = "ww34d

2021-10-11 14:04:23 1486

原创 Navicat用while循环插入数据

在Navicat上连接MySQL,用while循环10次插入数据的语句delimiter ;; #一定要加上,否则不能识别程序drop procedure if exists test_insert; #判断删除已存在的程序CREATE PROCEDURE test_insert () #创建程序BEGINDECLARE i INT DEFAULT 0;WHILE i<10 DO insert into data_10KW (serial_number,xx,xxx) select s

2021-09-23 16:48:03 4794

转载 使用gitee|github在家和公司协作写代码(配合vscode图形化界面)--转发

在公司没完成的工作,回家继续。由于涉及到两台电脑,需要对每台电脑的操作进行单独阐述。假设两台电脑分别为电脑A,电脑B。电脑AB均需进行的操作1、软件安装安装vscode软件(大部分IDE都支持,如pycharm)。安装git软件,下载之后建议一直按next,默认安装即可。2、gitee注册进入gitee官网注册gitee账号,并新建仓库,执行参照百度。3、连接gitee采用SSH方式连接gitee(SSH方式只需登录一次,方便安全):①生成sshkey,在桌面点击右键,单击Git B.

2021-09-23 12:38:14 1201

原创 python多线程卡住,不要在加锁区间内使用break!!!

这里记一下,因为需要跳出嵌套for循环,在if里面加了一个break来跳出,代码是这样的 for file in txtname: txtcontent = myzip.open(file).readlines() # 返回一个文件的内容 # print(txtcontent) #print(file + "File content read and insert......") # 将txt文件内容读取出来 for

2021-09-17 17:39:50 665

原创 用python做PDF本地化压缩,新增多进程

用python做PDF压缩虽然现在有很多成熟的工具了,但是就是想自己捣鼓一下在网上找了一圈,发现实现方法有两种,一种是需要联网上传(TinyPNG的API)压缩的,一种是本地用python算法这里采用的是本地,基本的思路是1、提取PDF内容,保存成图片2、压缩图片3、图片合成PDF联网上传的我觉得直接用i love pdf这个网页,挺好用的,就不知道安不安全。。。Compress PDF online. Same PDF quality less file size (ilovepdf.

2021-09-09 17:59:01 3032

原创 利用python在系统中遍历文件,解压文件,并把数据上传到MySQL(1000W数据),多线程

需求:1、遍历data目录下所有的压缩包,找到目录名符合要求的,提取内容合适的数据2、提取的1000W条数据上传到mysql中的一张表中环境操作系统:CentOSMySQL版本:5.7Python系统自带2.7安装所需要的包mysqldb、scandirCentos上安装MySQL-python会报错缺失配置,先安装两个工具包yum install mysql-develyum install python-devel如果还报错,显示gcc编译问题再安装gcc yum

2021-08-24 17:04:11 538

原创 软件测试初步学习

软件缺陷的定义:1.所有不满足需求或超出需求的都是缺陷;2.没有不存在缺陷的软件,只是还没发现软件生命周期模型软件测试分类测试用例,什么是测试用例,黑盒测试用例设计方法缺陷的测试需求和测试用例、缺陷报告的关系?

2021-01-30 19:45:35 561

翻译 c++运算符重载-如何决定作为成员函数还是非成员函数

二进制运算符=(赋值),[](数组订阅),->(成员访问)以及n元()(函数调用)运算符必须始终实现为成员函数,因为语言的语法要求它们。可以将其他运算符实现为成员或非成员。但是,其中一些通常必须实现为非成员函数,因为您无法修改其左操作数。其中最突出的是输入和输出运算符<<和>>,其左操作数是标准库中的流类,您不能更改它们。对于必须选择将其实现为成员函数或非成员函数的所有运算符,请使用以下经验法则来确定:如果它是一元运算符,请将其实现为成员函数。如果二..

2020-09-19 15:35:07 1316

原创 Qt+MySQL的学生选课、授课管理课程设计

前言:本课程设计偏重于Qt,数据库设计方面比较简单花费了一周多的时间学习Qt(B站的黑马程序员视频),边学变弄,遇到了许多问题也基本得到解决从“零”开始问题知识小集,前辈大佬们的解决方法:数据库设计Qt设计大致思路登陆界面选择功能界面连接数据库其中一个基本信息界面学生选课界面老师授课表问题知识小集,前辈大佬们的解决方法:新版本Qt连接mysql缺少驱动mysql-connector-c 6.1.10下载,附有libmysql.lib下载自己对于的版本,一般32位qt程序打包打包发布出现.

2020-06-23 23:07:33 1357

原创 初学MFC,窗口实现的底层步骤

b站中学习MFC的记录当Windows操作系统启动一个程序时,它调用的就是该程序的WinMain 函数(实际是由插入到可执行文件中的启动代码调用的)。WinMain是Windows程序的入口点函数,与DOS程序的入口点函数main的作用相同,当WinMain函数结束或返回时,Windows应用程序结束。底层实现窗口1.2 sdk api 句柄1.2 消息处理机制1.3 头文件 windows.h1.4 程序入口 winMain具体6个步骤2.1 设计窗口WNDCLASS WC2.

2020-05-21 20:37:19 2347

原创 C++派生类构造函数内的隐式调用问题

构造函数的调用:它会在每次创建类的新对象时执行派生类的构造函数派生类构造函数名(形参列表):基类名1(形参1),基类名2(形参2).…{…//在函数体中初始化新增成员}上面如果没有写基类名调用,在创建派生类对象时,编译器会隐式调用基类的无参构造函数,这时基类要声明无参构造函数编译器才不会报错。派生类对象中各数据成员的初始化顺序是:先调用基类构造函数,初始化基类成员;再执行派生类构造函数的函数体,初始化新增成员如果派生类继承了多个基类,那么各基类成员的初始化顺序由其在派生类继承列表

2020-05-15 14:49:38 314

原创 用imap/smtp在win10命令行中收发邮件

计网知识的小实践1.首先打开win10的telnet服务2.打开邮箱(qq)的SMTP服务获得授权码后记下来,待会输入的密码填这个3.打开win10的控制台(或者PowerShell)4.输入命令(发邮件)telnet smtp.qq.com 25helo smtp算是建立TCP连接接着登录auth loginpython实现smtpIMAP服务...

2020-04-24 20:53:57 3110 1

原创 二叉树的创建和遍历(c结构体+指针)

先序遍历:按照根节点->左子树->右子树的顺序访问二叉树中序遍历:按照左子树->根节点->右子树的顺序访问后序遍历:按照左子树->右子树->根节点的顺序访问#include<stdio.h>#include<malloc.h>typedef struct btnode //二叉树结点{ char data; st...

2020-04-11 17:38:51 519

原创 FAT和NTFS文件系统的区别

何为文件系统?文件系统是数据在磁盘上面的逻辑组织形式,也就是说,文件系统时管理数据如何在磁盘上存储和访问的。所以说,文件系统是整个操作系统的基础。常见的文件系统:FAT(FAT12\FAT16和FAT32)、NTFS、CDFS、exFAT、RAW、Ext、Btrfs、ZFS、HFS、 HFS+、ReiserFS、JFS、VMFS、XFS、UFS、VXFS、ReFS、WBFS、PF...

2020-04-09 11:28:17 4581

原创 python简单实现文字转语音,语音识别

直接语音合成需要安装pip3 install pyttsx3pip3 install pypiwin32安装pyttsx3的时候出错,如何重装了一次python才行。。。import pyttsx3# 初始化engine = pyttsx3.init()engine.say('我要开始语音合成')engine.say('好好学习,天天向上')engine.say('hel...

2020-04-08 10:37:08 2442 3

原创 簇是操作系统读写文件的基本单位

标题微软操作系统(DOS、WINDOWS等)中磁盘文件存储管理的最小单位叫做“簇”数据存储在硬盘的时候都是以簇为单位,所以无论文件大小是多少,除非正好是簇大小的倍数,否则文件所占用的最后一个簇或多或少都会产生一些剩余的空间,且这些空间又不能给其它文件使用,即使这个文件只有0字节,也不允许两个文件或两个以上的文件共用一个簇,不然会造成数据混乱。–百度百科簇是操作系统读写文件的基本单位,系统...

2020-04-06 18:36:14 8210

原创 判断素数

题目:判断小于lim的素数有哪些只需被 2 ~ i\sqrt{i}i​之间的每一个整数去除就可以了。如果i不能被 2 ~ 间任一整数整除,这个i必定是素数。例如判别17是是否为素数,只需使17被2~4之间的每一个整数去除,由于都不能整除,可以判定17是素数。#include <stdio.h>#include <math.h>#define MAX 100...

2020-04-05 11:18:18 168

原创 字符匹配之KMP算法

KMP算法思路1.主串不需要回滚,即i一直往后走2.子串通过子串本身的一种性质,调整j的位置,再继续与此较3.时间复杂度由暴力破解的O(m*n)提高到O(m+n)子串最大重复值(这个值跟主串无关)按元素递增分析1.对a,没有前缀、后缀概念,匹配值为0;2.对ab, 前缀[a],后缀[b],没有相等的值,匹配值为0;3.对aba,前缀[a, ab],后缀[ba a],存在相同值a,长...

2020-03-31 18:56:01 165

原创 用C语言读取txt文件并统计字符数

使用fgets函数读取并显示总字符数在源文件目录下读取test.txt文件#include <stdio.h>#include <stdlib.h>#include <string.h>#define MAX_NUM 1024int main(void){ char buf[MAX_NUM]; //字符缓冲区 FILE *fp; ...

2020-03-30 21:32:06 9600

原创 归并排序之C语言

归并排序(MERGE-SORT)是建立在归并操作上的一种有效的排序算法,该算法是采用分治法(Divide and Conquer)的一个非常典型的应用。将已有序的子序列合并,得到完全有序的序列;即先使每个子序列有序,再使子序列段间有序。若将两个有序表合并成一个有序表,称为二路归并。归并排序是一种稳定的排序方法。C语言代码实现:#include<stdio.h>#include&...

2020-03-30 10:00:52 125

Temp_RHsys.zip

分为Raspberry Pi服务器和PC客户端,服务器使用Python语言编程,实现数据采集、显示和操纵数据库;客户端采用QT界面编程和连接服务器,实现测量数据的可分时段图表显示。

2021-06-26

计算机网络思维导图.zip

计算机网络五层协议的小总结,自己学习的内容方便以后查看,上传的是Xmind文件;还有C++的一些简单概括

2020-06-01

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除