自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(143)
  • 资源 (4)
  • 收藏
  • 关注

原创 centos7中通过LVM挂载新硬盘

系统环境:centos7需求:虚机中新增加了两块硬盘如下:使用fdisk -l 查看当前系统新增的硬盘信息:需求是:先将 /dev/sdb 硬盘挂载到 /test 目录中,后期如果不够用再将 /dev/sdc 硬盘扩容到 /test 目录下一、LVMLVM是 Logical Volume Manager(逻辑卷管理)的简写,它由Heinz Mauelshagen在Linux 2.4内核上实现。LVM将一个或多个硬盘的分区在逻辑上集合,相当于一个大硬盘来使用,当硬盘的空间不够使用的时候,可以继续

2021-03-11 14:14:15 67 1

原创 使用多进程实现文件夹拷贝

需求:将某个路径中的全部文件(不考虑路径中存在子路径的情况)拷贝到目标路径中适用环境:python3实现代码:#coding=utf-8'''采用多进程方式实现将某路径下的文件拷贝到另一个路径中'''import osimport multiprocessingimport datetimefrom functools import wraps#增加一个装饰器,用于统计函数执行的时间def logger_time(fn): @wraps(fn) def wrap

2021-03-07 14:36:37 29

原创 centos7中离线安装python setuptools

安装 setuptools:1.下载python setuptools安装包下载地址:https://pypi.python.org/packages/source/s/setuptools/setuptools-2.0.tar.gz2.解压安装包tar zxvf setuptools-2.0.tar.gz 3.进入解压后的目录中cd setuptools-2.0 4.编译setuptoolspython setup.py build  5.执行setuptools安装python

2021-02-28 17:29:10 116

原创 使用 Python ElementTree 生成 xml

使用到的库:xml.etree.ElementTree用法示例:# 导入模块import xml.etree.ElementTree as ET# 生成根节点root_xml = ET.Element('root')# 生成第一个子节点 headhead_xml = ET.SubElement(root_xml,'head')# head 节点的子节点title = ET.SubElement(head_xml,'title')title.text = 'Welcome!'#

2021-02-24 17:14:19 29

原创 Linux中将两块新硬盘合并成一个,挂载到/data目录下

需求:将两块空硬盘合并为“一块”,挂载到指定目录(/data)下,达到在一个目录使用2块硬盘所有空间的效果。使用 fdisk -l 命令查看当前系统中的硬盘,如下图:系统中存在两块未分配的硬盘:/dev/sdb 和 /dev/sdc,共13G现将两块硬盘合并成一块,挂载到/data目录下,具体方法如下:1.创建pvpvcreate /dev/sdb # 硬盘1pvcreate /dev/sdc # 硬盘22.创建vg# vgcreate [自定义LVM名称] [设备]# 先使用

2021-02-23 18:56:26 648

转载 python UIAutomator2使用教程

一、环境要求python 3.6+android 4.4+二、介绍uiautomator2 是一个可以使用Python对Android设备进行UI自动化的库。其底层基于Google uiautomator,Google提供的uiautomator库可以获取屏幕上任意一个APP的任意一个控件属性,并对其进行任意操作。三、库地址GitHub地址:https://github.com/openatx/uiautomator2https://github.com/openatx/uiautomato

2021-02-14 20:15:11 769 1

转载 利用python实现蚂蚁森林自动偷能量

import uiautomator2 as u2import timeimport randomimport loggingimport datetimefrom logging import handlers# Add loggingclass Logger: level_relations = { 'debug':logging.DEBUG, 'info':logging.INFO, 'warning':l

2021-02-13 22:45:41 597 3

原创 调用企业微信接口发送微信消息

准备工作:1.需要注册个企业微信账号,地址:https://work.weixin.qq.com/wework_admin/loginpage_wx2.在企业微信中,创建一个应用,如下图:需要上传应用logo、填写应用名称、并选择成员,之后点击创建应用3.应用创建成功后,进入应用,获取应用的AgentId和Secret,如下图:4.企业微信发送应用消息接口文档地址:https://work.weixin.qq.com/api/doc/90000/90135/90236实现代码:import

2021-01-10 11:36:24 1261 3

原创 pandas 按行遍历Dataframe

示例数据源如下:data.csv遍历Dataframe有一下三种方法:iterrows(): 按行遍历,将 DataFrame 的每一行迭代为 (index,Series) 对,可以通过row[name] 对元素进行访问。itertuples(): 按行遍历,将 DataFrame 的每一行迭代为元组,可以通过 row[name] 对元素进行访问,比 iterrows() 效率高。iteritems(): 按列遍历,将 DataFrame 的每一列迭代为(列名, Series)对,可以通过 r

2021-01-09 22:30:25 681

原创 pandas read_csv读取数据时,数字字段值以文本方式读取

pandas 读取csv文本时,数字字段值中有以0开头的,读取后0会被丢掉,如下图文本:以默认方式读取如下:import pandas as pddf = pd.read_csv('data.csv',encoding='utf-8')print(df)如下图,读取后,基金代码开头的0丢失了解决方法:import pandas as pddf = pd.read_csv('data.csv',encoding='utf-8',converters = {'基金代码':str})pri

2021-01-09 21:18:51 404

原创 mysql5.7版本开启数据库日志审计功能

数据库版本:mysql5.7 (linux系统)数据库日志审计功能插件:server_audit.so (下载mariadb-5.5.68-linux-x86_64.tar.gz,解压后获取mariadb-5.5.68-linux-x86_64/lib/plugin/server_audit.so)部署方法:1.登录MySQL,执行以下命令获取MySQL的plugin目录:SHOW GLOBAL VARIABLES LIKE '%plugin_dir%';如下图:2.将 server_aud

2021-01-09 12:16:25 467

原创 K折交叉验证python实现

用KNN算法训练iris数据,并使用K折交叉验证方法找出最优的K值import numpy as npfrom sklearn import datasetsfrom sklearn.neighbors import KNeighborsClassifierfrom sklearn.model_selection import KFold # 主要用于K折交叉验证# 导入iris数据集...

2020-12-26 09:25:59 327

原创 线性回归算法 - python实现

本文用python实现线性回归算法# -*- coding: utf-8 -*-"""Created on Fri Oct 11 19:25:11 2019@author: river"""from sklearn import datasets, linear_model # 引用 sklearn库,主要为了使用其中的线性回归模块# 创建数据集,把数据写入到numpy数组i...

2020-12-26 09:25:16 51

原创 KNN算法 - python实现

本文用python实现KNN算法# -*- coding: utf-8 -*-"""Created on Mon Oct 14 22:54:05 2019@author: river"""from sklearn import datasetsfrom collections import Counter # 为了做投票from sklearn.model_selection...

2020-12-26 09:24:54 32

原创 装饰器:判断函数参数类型是否符合定义

装饰器的应用:判断函数参数类型是否符合定义import inspectdef check(fn): def wrapper(*args,**kwargs): print(args,kwargs) sig = inspect.signature(fn) params = sig.parameters #有序字典 print('params :',sig.parameters) print(

2020-12-26 09:22:49 38

原创 装饰器:实现一个cache装饰器,可实现过期自动清除功能

实现cache装饰器from functools import wrapsimport timeimport inspectimport datetimedef func_cache(fn): local_cache = {} #根据函数名定义不同的cache @wraps(fn) def wrapper(*args,**kwargs): #接收各种参数 print("传入参数: ",args,kwargs) # 参数处理

2020-12-26 09:21:52 39

原创 Python SMTP发送邮件

SMTP:(Simple Mail Transfer Protocol)即简单邮件传输协议,它是一组用于由源地址到目的地址传送邮件的规则,由它来控制信件的中转方式。python的smtplib提供了一种很方便的途径发送电子邮件。它对smtp协议进行了简单的封装。Python发送 SMTP 简单示例如下:import smtplibfrom email.mime.text import MIMETextfrom email.header import Headerimport datetimei

2020-12-25 23:22:23 90 2

转载 python中logging模块

logging模块:python logging提供了一组便利的函数,用来做简单的日志。它们是 debug()、 info()、 warning()、 error() 和 critical()。logging函数根据它们用来跟踪的事件的级别或严重程度来命名。标准级别及其适用性描述如下(以严重程度递增排序):级别数值何时使用DEBUG10详细信息,一般只在调试问题时使用。INFO20证明事情按预期工作。WARNING30某些没有预料到的事件的提示,或者在将来

2020-12-18 14:55:26 37

原创 python通过UDP/TCP方式发送数据

UDP简介:UDP — 用户数据报协议(User Datagram Protocol),是一个无连接的简单的面向数据报的运输层协议。UDP不提供可靠性,它只是把应用程序传给IP层的数据报发送出去,但是并不能保证它们能到达目的地。由于UDP在传输数据报前不用在客户和服务器之间建立一个连接,且没有超时重发等机制,故而传输速度很快。UDP发送数据:示例:往192.168.149.128(linux)上的UDP 8888上发送数据,在128服务器上,利用nc监听8888端口,接收测试数据import s

2020-12-17 12:55:35 153

原创 http响应头中,修改nginx真实的server信息

项目中,有时候为了隐藏中间件的信息,需要隐藏http响应头中server的信息,如下图:需求一:将nginx版本号隐藏掉隐藏nginx版本比较简单,只需要修改下nginx.conf配置文件,在配置文件中http类别下面增加如下配置即可:server_tokens off;如下图:配置后,重启nginx,效果如下:需求二:将server中nginx替换为 ******需要更改Nginx的源码,然后重新编译安装,需要改动的源代码信息如下模块。编辑 src/http/ngx_http_he

2020-12-14 15:15:52 426

原创 利用nc向IPv6地址指定端口发送数据

系统环境:Centos7nc的作用:(1)实现任意TCP/UDP端口的侦听,nc可以作为server以TCP或UDP方式侦听指定端口(2)端口的扫描,nc可以作为client发起TCP或UDP连接(3)传输文件(4)网络测速(5)克隆硬盘或分区(6)反弹服务器shellnc的常用的几个参数如下所列:参数含义-4强制nc只能使用IPv4地址-6强制nc只能使用IPv6地址-l用于指定nc将处于侦听模式。指定该参数,则意味着nc被当作server,侦听

2020-12-10 22:04:36 525

转载 mysql8窗口函数

一、mysql窗口函数简介MySQL从8.0开始支持窗口函数,这个功能在大多商业数据库和部分开源数据库中早已支持,有的也叫分析函数。窗口函数:在满足某些条件的记录集合上执行的特殊函数,对于每条记录都要在此窗口内执行函数。有的函数随着记录的不同,窗口大小都是固定的,称为静态窗口;有的函数则相反,不同的记录对应着不同的窗口,称为滑动窗口。1.窗口函数和普通聚合函数的区别:①聚合函数是将多条记录聚合为一条;窗口函数是每条记录都会执行,有几条记录执行完还是几条。②聚合函数也可以用于窗口函数。2.窗口函数

2020-12-09 16:33:44 105

原创 Centos7中安装mysql8.0.22(安装脚本)

系统环境:Centosmysql版本:mysql-8.0.22-linux-glibc2.12-x86_64.tar.gz安装脚本#!/bin/bashecho "install mysql"#mysql安装包mysql_src="mysql-8.0.22-linux-glibc2.12-x86_64.tar.gz"#mysql安装目录target_path="/data"if [ ! -d $target_path ];then mkdir -p $target_path f

2020-11-27 21:09:18 427

原创 mysql中实现留存率相关的查询

数据源文件:#创建表:DROP TABLE IF EXISTS `login`;CREATE TABLE `login` ( `id` int(11) NOT NULL COMMENT '主键', `user_id` int(11) NOT NULL COMMENT '用户ID', `date` date DEFAULT NULL COMMENT '登录日期', PRIMARY KEY (`id`))#插入数据:INSERT INTO login(id,user_id,date

2020-11-17 17:59:51 86

原创 Linux中安装spark环境

系统环境:Centos7依赖环境:javaspark下载路径:http://mirrors.hust.edu.cn/apache/spark/spark-3.0.1/我这里下载的 spark 安装包是 spark-3.0.1-bin-hadoop2.7.tgz安装步骤:1.将安装包上传到服务器中2.解压安装包到指定的目录,如/data/tar zxvf spark-3.0.1-bin-hadoop2.7.tgz -C /data3.配置环境变量编辑 /etc/profile文件,在最后一

2020-11-04 15:56:10 161

转载 centos7中防火墙端口开通和删除等操作命令

安装firewall命令yum install firewalld firewalld-configFirewall开启常见端口命令firewall-cmd --zone=public --add-port=80/tcp --permanentfirewall-cmd --zone=public --add-port=443/tcp --permanentfirewall-cmd --zone=public --add-port=22/tcp --permanentfirewall-cmd -

2020-09-11 21:45:27 279

原创 centos7中添加大硬盘(超过2T)分区

系统环境:centos7配置方法:1.root账户下,执行fdisk -l命令查看挂载的硬盘设备,假设设备号为/dev/sdb,接下来我们使用parted命令来进行GPT分区2.使用parted命令进行GPT分区#安装partedyum -y install parted#执行parted命令parted /dev/sdb#将MBR磁盘格式化为GPT(parted) mklabel gpt#划分所有空间到一个分区(parted) mkpart primary 0 -1#显示设置

2020-09-08 22:00:41 1440

原创 centos7中配置本地yum源

系统环境:Centos7(物理机上)配置步骤:1.解压CentOS-7-x86_64-DVD-1908.iso镜像文件:2.新建文件夹:/mnt/cdrommkdir /mnt/cdrom3.将第一步解压好的文件全部上传至 /mnt/cdrom4.备份原yum源配置文件mv /etc/yum.repos.d /etc/yum.repos.d.bak mkdir /etc/yum.repos.d5.创建本地yum源配置文件vim /etc/yum.repos.d/CentOS-loc

2020-09-08 21:38:56 428

原创 centos7中设置tomcat开机启动

在centos7系统中设置tomcat开机启动,配置如下:1. 在/etc/init.d下新建一个文件tomcat(需要root操作权限)2. 在tomcat文件中写入以下内容:#!/bin/sh# chkconfig: 345 99 10# description: Auto-starts tomcat# /etc/init.d/tomcat# Tomcat auto-start# Source function library.#. /etc/init.d/functions# so

2020-09-04 18:15:41 393

原创 filebeat设置开机自启动

系统环境: centos7filebeat版本: 7.2配置方法1. 进入自启动目录:cd /lib/systemd/systemvim filebeat.service2.编写filebeat.service[Unit]Description=filebeatWants=network-online.targetAfter=network-online.target[Service]User=rootExecStart=/var/filebeat/filebeat -e -c

2020-09-04 12:08:21 559

原创 SQL实现排序,并输出序号

本文总结几种常见的SQL排序,并输出序号的方法数据源:CREATE TABLE `deal` ( `usid` varchar(255) DEFAULT NULL, `time` varchar(255) DEFAULT NULL, `amount` int(255) DEFAULT NULL) ENGINE=InnoDB DEFAULT CHARSET=utf8;-- ----------------------------INSERT INTO `deal` VALUES ('1'

2020-08-21 10:55:22 1724

原创 SQL常见查询场景

实现mysql查询的几个常用场景数据源:/*Navicat MySQL Data TransferSource Server : 192.168.149.128Source Server Version : 50730Source Host : 192.168.149.128:3306Source Database : basic_infoTarget Server Type : MYSQLTarget Server Version

2020-08-20 16:04:44 160

原创 利用python实现排序,并标上序号

需求:利用python实现排序功能测试数据:data.csv"id","date","amount""1","2019-02-08","6214.23""1","2019-02-08","6247.32""1","2019-02-09","85.63""2","2019-02-14","943.18""2","2019-02-15","369.76""2","2019-02-18","795.15""2","2019-02-19","715.65""2","2019-02-21","53

2020-08-20 13:23:24 867 1

原创 python利用正则提取字符串中的手机号

需求:利用正则提取字符串的手机号(假设手机号为1开头的11为数字,要求手机号前后不为数字)待提取的字符串:str=" 15838477645dfdfdf15887988765 dfdf1157990087651fd157385367891fdf15826789876qqq15838545678a"import restr="15838477645dfdfdf15887988765dfdf1157990087651fd157385367891fdf15826789876qqq15838545678a"

2020-08-20 12:12:18 864 2

原创 python解析web网站访问日志

使用正则解析web网站访问日志import reimport datetimelogline='''192.168.149.133 -- [19/Feb/2020:10:12:56 +0800] "GET /www.baidu.com/zhidao?cmpid=3 HTTP/1.1" 200 16691 "-" "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/72.0.3626.

2020-07-09 14:03:48 290

原创 shell脚本中执行ll命令,提示ll:command not found

如:查看当前脚本运行路径下的文件信息test.sh#!/bin/bashcur_path=`pwd`ll $cur_path解决方法:使用ls -l (ll是ls -l的别名)#!/bin/bashcur_path=`pwd`ls -l $cur_path

2020-07-02 15:12:36 2648

原创 linux shell中,字符串时间转化为时间戳

#!/bin/bash#获取2小时前的时间log_date=$(date -d '2 hours ago' "+%F %T")echo $log_date#获取2小时前的整点时间start_date=$(date -d '2 hours ago' "+%F %H:00:00")echo $start_date#将start_date字符串时间转化为时间戳starttime=$(date -d "${start_date}" +%s)echo $starttime#获取startt

2020-07-01 17:25:15 825

原创 mysql批量导入日志的方法:load data命令

load命令load data infile 语句从一个文本文件中以很高的速度读入一个表中。使用这个命令之前,mysqld进程(服务)必须已经在运行。由于安全原因,当读取位于服务器上的文件时,文件必须处于数据库目录或可被所有人读取。另外,为了对服务器上文件使用load data infile,在服务器主机上必须有file的权限。基本语法:load data [low_priority] [local] infile 'file_name.csv' [replace | ignore]  into

2020-06-27 15:47:51 747

原创 Logstash中实现对字段进行字符串替换

如,将message中的双引号替换成单引号logstash.confinput { stdin{} }filter { mutate { gsub => [ "message",'"',"'" ] }}output { stdout{}}启动logstash后,输入: curl “127.0.0.1” ,结果如下:未进行替换之前的结果如下:...

2020-06-27 10:04:59 1561

原创 shell脚本,指定用户执行shell命令

系统环境:centos7如root用户下,实现用elk用户启动es,代码如下:#!/bin/bashsu - elk <<EOFecho "start elasticsearch..."nohup sh /data/elasticsearch/bin/elasticsearch &echo "start kibana..."nohup sh /data/kibana/bin/kibana &echo "es started"EOFshell中,也可以用以下

2020-06-01 18:34:41 2917

mariadb-5.5.68-linux-x86_64.tar.gz

mariadb-5.5.68-linux-x86_64

2021-01-09

兰州大学2001年高等代数考研真题.pdf

兰州大学数学专业数学分析考研真题,适合报考兰州大学数学专业的研究生同学学习

2018-04-22

兰州大学2004年高等代数考研真题.pdf

兰州大学数学专业数学分析考研真题,适合报考兰州大学数学专业的研究生同学学习

2018-04-22

兰州大学2000年数学分析考研试题.pdf

兰州大学2000年数学分析考研试题,适合报考兰州大学数学专业的研究生同学学习

2018-04-22

空空如也

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人 TA的粉丝

提示
确定要删除当前文章?
取消 删除