自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

原创 linux vim显示行号

vim编辑器中显示行号的方法 1.临时显示行号(仅对当前vim打开的文件有效,退出后再次打开无效) 设置方法:vim打开文件后,输入":set number" 或者":set nu",然后回车,即可生效。 2.永久显示行号(vim打开任意文件,均可显示行号)...

2020-05-26 17:11:05 8 0

原创 centos7中crontab定时执行python脚本不生效

问题: 最近在项目中遇到crontab中定时执行python脚本不生效,但是手动直接运行python脚本能够正常执行。 系统环境: centos7 python安装路径:/root/anaconda3/bin/python python脚本:/data/test/sftp.py crontab中添...

2020-05-26 13:57:27 52 0

原创 使用shell脚本下载sftp文件

功能:shell脚本实现sftp自动登录并下载文件 系统环境:centos7 使用到的工具:lftp (安装方式 yum -y install lftp) lftp:lftp 是一个功能强大的下载工具,它支持访问文件的协议: ftp, ftps, http, https, hftp, fish.(...

2020-05-23 22:34:52 92 0

原创 利用python实现自动下载sftp文件

实现功能:利用python自动连接sftp,并下载sftp中指定目录下的所有目录及文件 系统环境:centos7 python版本:python3 使用模块包:paramiko ,若未安装,可使用 pip install paramiko 进行安装 需求实例:sftp中的文件如下 将sftp根目...

2020-05-23 08:58:04 59 0

原创 centos7中配置sftp服务器

sftp是Secure File Transfer Protocol的缩写,安全文件传送协议。可以为传输文件提供一种安全的网络的加密方法。 在SSH软件包中,已经包含了一个叫作SFTP(Secure File Transfer Protocol)的安全文件信息传输子系统,SFTP本身没有单独的守护...

2020-05-22 13:33:44 72 0

原创 求2个字符串的最长公共字串(python算法)

如下,求s1和s2的最长公共字串 s1 = “abcdefghigk” s2 = "efgabcd" 思路一: 第一轮 从s1中依次取出1个字符,在s2中查找,看是否能够找到子串。如果没有一个字符在s2中找到,说明就没有公共子串,直接退出。如果找到了至少一个公共子串,则很可能还...

2020-05-17 22:16:39 25 0

原创 mysql分组排序后,取前三

需求: 将数据按照用户进行分组,并根据城市和amount进行排序,取出每个城市排名前3的用户数据 测试数据文件:test.sql SET FOREIGN_KEY_CHECKS=0; -- ---------------------------- -- Table structure for ...

2020-05-17 17:04:11 120 0

原创 pandas中,利用groupby分组后,对字符串字段进行合并拼接

在pandas里对于数值字段而言,groupby后可以用sum()、max()等方法进行简单的处理,对于字符串字段, 如果把它们的值拼接在一起,可以用使用 str.cat() 和 lamda 方法。 如,将下面表格中的内容,对skill字段按照id进行分组合并 实现代码: import pand...

2020-05-10 17:36:23 383 1

转载 Linux中用shell获取昨天、明天或多天前的日期

在Linux中可以通过date命令获取昨天、明天、上个月、下个月、上一年和下一年 # 获取昨天 date -d 'yesterday' # 或 date -d 'last day' # 获取明天 date -d 'tomorrow'...

2020-04-28 10:41:43 59 0

原创 使用python bloomfilter实现大文本去重

需求:项目中在收集数据的时候,遇到日志中存在大量的重复记录,数据在入库之前需要先对日志文件做一个处理,滤掉重复的事件 bloomfilter原理参考文章:python BloomFilter(布隆过滤器) 项目环境:python3.7 需要安装的模块包:pybloom-live-3.0.0 下载p...

2020-04-24 12:47:01 80 0

原创 kafka集群+filebeat+logstash日志平台搭建

1. 项目需求 搭建一个kafka集群,用filebat收集linux主机日志输出到kafka集群,并通过logstash消费kafka中的数据 2. 环境准备 服务器 系统 IP 角色 centos7 192.168.149.129 zookeeper集群、kafka集群 c...

2020-04-17 14:22:40 100 0

原创 Docker镜像的安装和使用

1.centos7中安装docker 安装依赖软件: $ sudo yum install -y yum-utils device-mapper-persistent-data lvm2 设置仓库: $ sudo yum-config-manager \ --add-repo ...

2020-04-13 10:18:07 37 0

原创 shell脚本远程ssh服务器并执行操作

需求:自动登录服务器并执行操作指令 使用到的命令:expect expect是一个免费的编程工具,用来实现自动的交互式任务,而无需人为干预。 send 命令接收一个字符串参数,并将该参数发送到进程。 expect 命令和send命令相反,expect通常用来等待一个进程的反馈,我们根据进程的反馈,...

2020-03-30 20:58:29 425 0

原创 winlogbeat的安装使用

获取安装包 winlogbeat下载地址:https://www.elastic.co/cn/downloads/beats/winlogbeat 安装步骤 解压到d:\ 以管理员身份打开PowerShell 进入winlogbeat解压后的目录: cd d:\winlogbeat ...

2020-03-24 11:06:36 69 0

原创 shell脚本在shell终端中执行没问题,但在crontab中定时执行时不生效

问题描述 最近在项目遇到一个问题,想定时检查logstash进程是否挂掉,若挂掉自动启动。于是利用linux的crontab功能,添加一个计划任务,每分钟执行一个脚本查看logstash的进程是否还在,如果不在则启动之,否则不做任何事情。 结果发现这个脚本在shell终端手工运行能够正常执行,但是...

2020-03-20 15:32:12 277 0

原创 修改linux虚机网卡名称

虚机中安装centos7虚机后,默认的网卡为:eno16777736 ,现在需要修改为eth0 1. 修改配置文件 ifcfg-eno16777736 该文件位于 /etc/sysconfig/network-scripts目录下,将NAME和DEVICE修改为eth0: 2.重命名该文件 mv...

2020-03-18 17:18:18 56 0

原创 centos7系统虚机设置静态IP

centos7虚机中设置静态IP 使用 ip addr查看系统IP: 进入虚机,编辑 /etc/sysconfig/network-scripts/ifcfg-eno16777736

2020-03-17 09:46:42 60 0

转载 Mysql中" Can't connect to local MySQL server through socket '/tmp/mysql.sock' " 问题解决

转自:Mysql中" Can’t connect to local MySQL server through socket ‘/tmp/mysql.sock’ " 问题解决

2020-03-16 14:12:32 55 0

原创 centos7中安装PHP7.3.10

系统环境:Centos7 php版本:php7.3.10 ( 下载地址:https://www.php.net/distributions/php-7.3.10.tar.gz ) 所需环境: yum -y install zlib-devel yum -y install xz-devel...

2020-01-03 18:46:20 81 0

原创 shell脚本,遍历文件进行压缩或解压

需求:将目录中文件夹(压缩包)进行批量压缩(解压) 批量压缩文件 #!/bin/bash echo "----zip file----" pwd_path=`pwd` if [[ $1 == /* ]] ;then zip_target=$1"_zip"...

2020-01-01 22:55:37 389 0

原创 linux中cp: omitting directory `XXX' 问题解决

在linux系统中复制文件夹时提示如下: mysql是我要复制的文件夹名,出现该警告的原因是因为mysql目录下还存在文件,所以不能直接拷贝。 解决办法:使用递归拷贝,在cp命令后面加上-r参数,如: cp -r mysql test 这里的 -r 代表递归的意思。 同样,当我们在linu...

2019-12-31 21:37:42 63 0

原创 shell脚本,将多行内容写入文件中

示例: #! /bin/bash echo "测试写文件" cat>test<<EOF 这是一个由shell创建的文件 this is a file created by shell. we want to make a good world. EOF 其...

2019-12-31 20:58:01 2210 1

原创 通过shell脚本操作mysql数据库

通过shell命令行非交互式的操作数据库的方法: mysql -hhostname -Pport -uusername -ppassword -e #相关mysql的sql语句,不用在mysql的提示符下运行mysql,即可以在shell中操作mysql的方法。 示例代码: #!/b...

2019-12-30 13:06:21 177 0

原创 centos7中安装nginx1.15.2

系统环境:centos7 nginx版本:nginx1.15.2 下载地址:http://nginx.org/download/nginx-1.15.2.tar.gz 安装环境 首先由于nginx的一些模块依赖一些lib库,所以在安装nginx之前,必须先安装这些lib库,这些依赖库主要有...

2019-12-27 18:18:00 68 0

原创 shell脚本 - 文本中删除替换某一行内容(sed用法)

sed在处理文本时是逐行读取文件内容,读到匹配的行就根据指令做操作,不匹配就跳过。 sed是Linux下一款功能强大的非交互流式文本编辑器,可以对文本文件进行增、删、改、查等操作,支持按行、按字段、按正则匹配文本内容,灵活方便,特别适合于大文件的编辑。本文主要介绍sed的一些基本用法,并通过sh...

2019-12-26 23:06:25 264 0

原创 在python脚本中执行shell命令

需求:python脚本中执行shell命令 环境:centos7 方法一:利用os.system() import os #shell 命令 cmd='cat a.log' #python中执行shell命令 result=os.system(cmd) print(resu...

2019-11-27 10:26:30 47 0

原创 python2中下载mysql数据库中的数据,并保存在csv文本中

本项目有两个坑: 1.数据库中有中文,且为unicode编码,本项目环境为python2 2.数据库中时间字段为13位的字符型的时间戳,导出时需要改成正常的时间 # -*- coding: utf-8 -*- import MySQLdb as mdb import codecs ...

2019-11-26 17:37:51 56 0

原创 mysql查询,将13位数字符串格式的时间戳转化成格式化时间

查询格式: timestamp字段为字符串:FROM_UNIXTIME(CONVERT(timestamp/1000,signed),’%Y-%m-%d %T’) 如: select start_time,FROM_UNIXTIME(CONVERT(start_time/1000,signe...

2019-11-22 19:41:01 210 0

原创 python2中向文本中写入unicode编码的中文内容

python2内置库中的open方法只能读写ascii码,如果想写入Unicode字符,需要使用codecs包。 如下例子,用open直接写入会报错,需要用到codecs.open,并且支持设置编码 import codecs content = u'你好' print &...

2019-11-22 18:49:46 139 0

原创 logstash接收kafka日志

需求:logstash从kafka中消费数据,并通过udp转发出去。kafka中的日志格式为json,其中formatlog下面为需求数据,利用logstash提取formatlog里面的数。 logstash配置: input { kafka { bootstr...

2019-10-22 22:48:57 378 0

原创 利用nc测试服务器之间端口之间的连通性

1. nc安装 方法一: yum -y install nc 方法二: 下载离线安装rpm安装包,下载地址:http://vault.centos.org/6.6/os/x86_64/Packages/nc-1.84-22.el6.x86_64.rpm 安装命令: rpm -iUv n...

2019-10-18 21:22:06 464 0

原创 shell脚本实现jdk一键安装

需求:通过shell脚本,实现一键安装jdk #!/bin/bash #install jdk jdk_src="jdk.tar.gz" # jdk安装包,解压之后文件名为jdk1.8.0_211 jdk_target="/usr/java&quo...

2019-10-17 20:33:04 156 0

原创 centos7中创建用户

需求:在centos7系统中创建一个用户,并赋予sudo权限 一、创建用户名为:test [root@localhost /]# adduser test 为该用户创建密码: 二、授权 个人用户的权限只可以在本home下有完整权限,其他目录要看别人授权。而经常需要root用户的权限,这时候su...

2019-10-17 15:42:16 81 0

原创 mysql数据库备份和还原

mysql备份命令 在控制台中执行以下命令: mysqldump -u 用户名 -p -d 数据库名 -t 表名 > 盘符:\路径\文件名.sql 注意:这里的 -d 和 -t 能够省略。 示例: 备份数据库mydb_test,里面有很多数据库表,如下图: 这里将 m...

2019-10-17 15:21:00 103 0

原创 Centos中使用fdisk扩大磁盘分区容量

需求:虚机磁盘之前有4G空间,挂载在/ssd下,并部署了服务,现将磁盘扩容至10G,并增加到/ssd下,且不删除之前/ssd中的数据 现有分区容量: 用 fdisk -l 查看分区: 如图,/dev/sdb共10.7G,目前只有4G的空间分配在/dev/sdb1中,下面将剩下6G分配...

2019-10-16 21:37:10 220 0

原创 执行shell脚本报错,但控制台执行正常

问题:最近编写shell脚本,遇到直接执行shell脚本怎么也不成功,但是在控制台输入命令就能执行成功,报错如下图所示: 脚本内容如下: 脚本实现功能很简单,且语法也没问题,但是运行脚本就报错,经过艰苦排查,发现问题在于 filebeat_kill.sh 是我在windows下编辑然后上传到l...

2019-10-11 18:54:04 97 0

原创 使用shell脚本获取程序进程ID并kill

需求:利用shell脚本获取filebeat进程,并kill掉 filebeat_kill.sh #!/bin/bash ID=`ps -ef | grep filebeat | grep -v grep | awk '{print $2}'` echo $ID fo...

2019-10-11 18:28:25 570 0

原创 centos虚机挂载新硬盘

需求 : 新增加一块硬盘sdb,将sdb分区,只分一个区,格式化,挂载到目录/ssd下。 1.查看服务器安装的硬盘状态(包含分区和未分区) # fdisk -l 图中显示,有sdb硬盘,但是没有分区。 2.添加新的分区 # fdisk /dev/sdb 按照以下红框输入 N 回车 P 回车 1...

2019-09-26 18:41:43 94 0

原创 Centos7中安装mysql5.7.21

1.mysql5.7.1下载:https://cdn.mysql.com//Downloads/MySQL-5.7/mysql-5.7.27-linux-glibc2.12-x86_64.tar 将下载的包放在/tmp目录下 2.进入/tmp,将mysql-5.7.27-linux-glibc...

2019-08-31 08:12:29 94 0

原创 用linux nc传输文件

传输单个文件 系统环境:centos7 nc安装:yum -y install nc 需求:将A机器(192.168.149.100)上的文件(/tmp/test.txt)发给B机器(192.168.149.200) 1.在接收文件的机器上(B:192.168.149.200)运行以下命令...

2019-08-22 11:43:25 159 0

提示
确定要删除当前文章?
取消 删除