- 博客(32)
- 收藏
- 关注
RSS订阅原创 kafka日志集中在一个文件下操作
kafka日志处理小记遇到一个需求，客户那边要求日志归档，然后同事要求把kafka日志的server.log集中在一个文件下，对此我查了好多资料，修改倒是简单 但是 关键是得知道怎么改，得了解一下 为什么这么改kafka的日志kafka的数据是在server.properties 中的#kafka的数据目录log.dirs=/tmp/kafka-logs这边存放的都是kafka的数据目录 我以前一直以为是kafka的日志目录后来才发现我想多了然后，我就在想那既然kafka的日志不在这里，哪能
2022-05-17 15:57:24
238
原创 磁盘的挂载与扩容
磁盘挂载我看好多磁盘挂载都是直接把盘mount到了一个目录底下 好奇怪啊个人认为 磁盘挂载方式应该是这样磁盘——磁盘分区——改变磁盘文件系统——创建物理卷pv——创建逻辑卷vg——创建逻辑卷lv——格式化磁盘——挂载磁盘这个步骤的话 对以后磁盘不足问题方便磁盘扩容具体操作如下fdisk -l ###查看磁盘信息然后对磁盘进行分区fdisk /dev/sdb输入m 获取帮助输入n 添加一个分区 然后一直回车 取默认值即可然后输入p 查看分区信息到这里分区已经创建好了 但是还
2021-11-22 17:02:41
2479
2
转载 HTTP headers 详解 headers 常用属性
一、HTTP headers 是什么？ HTTP是“Hypertext Transfer Protocol”的所写，整个万维网都在使用这种协议，几乎你在浏览器里看到的大部分内容都是通过http协议来传输的. HTTP Headers是HTTP请求和相应的核心，它承载了关于客户端浏览器，请求页面，服务器等相关的信息。当你在浏览器地址栏里键入一个url，你的浏览器将会类似如下的http请求：GET /tutorials/other/top-20-mysql-best-practices/ HTTP/
2021-09-18 08:47:09
589
原创 rsync实现 双相同步操作
1、安装$ wget https://download.samba.org/pub/rsync/src/rsync-3.1.2.tar.gz$ tar -xvf rsync-3.1.2.tar.gz$ cd rsync-3.1.2$ ./configure --prefix=/usr/local/rsync$ make$ make install2、配置conf文件$ vi /usr/local/rsync/rsync.confport=873 端口mot
2021-08-16 15:25:52
777
原创 firewalld修改默认的22端口限制ip访问
挺简单的 就是简单记录一下#//先移除默认开启的没有访问限制的ssh服务firewall-cmd --permanent --remove-service=ssh#然后再按照正常的开放端口命令开放就行firewall-cmd --permanent --add-rich-rule=‘rule family=“ipv4” source address=“10.10.1.0/24” port protocol=“tcp” port=“22” accept’###记得重启一下firewalld-cmd
2021-07-09 15:37:48
2412
转载 定时清理日志脚本
vim /home/cleanlog.sh#!/bin/sh#######################################################################日志定时运行时间为每天两点半#删除7天之前的日志文件#日志文件时间是根据日志名称后面的日期来计算#运行脚本注意日志文件中是否有其他相同后缀的非日志文件和日志文件名称是否符合要求#其日志格式必须为 ：pro-debug-0-2019-04-13.log ， 即 *2019-04-13.log##
2021-06-28 14:36:04
489
转载 随机生成密码的方式
使用 sha256sum#date +%s | sha256sum | base64 | head -c 32; echoYmNhYjVkNWY3NTI4NTI3YzU1YzQ1YmU4使用 md5sum#date +%s | md5sum | base64 | head -c 32; echoN2E1NTdlMTc1Njc3NDBiMjVlYWU3Y2Jm使用 /dev/urandom#< /dev/urandom tr -cd _A-Z-a-z-0-9@#^ | head.
2021-06-11 11:13:43
544
1
原创 关于子网掩码怎么计算！！！！我终于搞懂了！！！！
今天终于搞明白了子网掩码啥的是啥意思了！！！我写几个就我自己看懂的！1、首先ip呢都是XXX.XXX.XXX.XXX这样组成的然后一般来说就是255.255.255.255，对应的二进制文件就是11111111.11111111.11111111.11111111.2、举个例子192.168.1.0/24这句话的意思就是起始ip为192.168.1.0然后二进制24位之前的不能动后面的拉到最大就是你的 最大ip来咱算一算，24位很明显在第三个点位所以前边两个就直接不管了第三个就是xxx.xxx.0
2021-06-10 15:10:31
7753
4
原创 openssh升级8.5
就是openssh版本太低了 然后公司漏扫出来了一大堆问题需要升级的最新版本才能解决 我找了好久找到了openssh8,5的包升级步骤一、保守起见 先开telnet登录rpm -qa|grep telnet#用rpm命令查看是否安装了telnet，应该有“telnet”和“telnet-server”两个软件，如果没有显示结果，表示系统中没有安装，则需要安装这两个软件rpm –ivh telnet-0.17-46.e16.i686.rpm #用rpm命令安装telnetrpm
2021-05-18 14:36:42
741
原创 使用sz命令 拉取log遇到No permission to write on the specified folder
记录一个小坑，我命名了一个log叫ip-xxxx，xxx.log然后我想把他拉到windows服务器上 使用lrzsz命令报No permission to write on the specified folder错误 但是我rz上传没问题，考虑了一下是不是因为命名的问题，我改了一下命名就好了...
2021-04-23 08:50:08
1566
转载 nginx统计ip访问量然后设置白名单
公司进来攻防演练为防止被恶意攻击 所以想限制一下nginx的访问ip，其实还有一种方式就是直接防火墙上限制ip登录就好了，但是最关键的是我们服务器上防火墙没开！！再开防火墙还要立刻修改很多策略端口，所以没得办法就只能在nginx这边加一下黑名单限制一下了。首先就是先找一下访问次数最多的ip了 这个也是找了好久 才看到一位大佬的csdn 下面就直接照着来了一、IP相关统计1、统计IP访问量 统计PVawk '{print $7}' access.log|wc -l2、独立ip访问数量 统计UVa
2021-04-12 15:57:09
451
转载 关于XFS碎片整理
今天是遇到了这么个事情，我们有一块磁盘满了 然后删掉了一些数据，发现df -h显示的还是原来的样子但是 du -sh看并没有用那么多查找过又说lsof查看是不是有已经删除的进程一直在占用缓存，但是 我lsof |grep delete 并没有找到后来找了一位大佬 的文章 找到问题所有虽然说XFS不用做碎片整理，其实是错误的。XFS用延迟写入等技术确实可以减少碎片的出现，但是如果服务器用了几年，并且文件操作比较频繁，还是会出现碎片的，应该整理。注意：在Debian中XFS相关命令在xfsprogs
2021-03-29 11:34:34
1413
原创 pg数据库使用命令行查询数据并写入到文件中
话不多说直接整1、登录服务器su - postgres2、psql （端口不是5432的需要 psql -p port）3、\c testdb (进入数据库)4、set schema ‘schema’(切换模式)5、\o /tmp/1.txt (编写语句需要存储的文件名及属性)6、select * from tb_base_company; (查询该表所有数据并写到/tmp/1.txt中)...
2021-03-16 11:44:38
1229
转载 ssh强力破解解决方法（纯转载）
Fail2ban防止SSH暴力破解安装：Centos上可以直接通过yum install fail2ban –y安装。安装完成后，可在/etc/fail2ban路径下找到程序运行的相应文件。在filter.d目录下存放有fail2ban支持的所有过滤器，action.d目录下存放有fail2ban支持的所有动作。通过在jail配置文件中组合多种过滤器与动作，可以实现各种自定义的防御功能（不仅限于SSH防护）。配置及运行：对于fail2ban而言，每个.conf配置文件都可以被同名的.local文件重
2021-03-11 09:30:46
579
原创 修改lunux服务机默认端口
1、关闭selinux[root~·]getenforce #查看状态Enforcing[root~·]setenforce 0 #临时关闭Permissive#永久关闭[root~·] vim /etc/sysconfig/selinux将SELINUX=enforcing 改为 SELINUX=disabled重启服务器2、修改修改ssh端口号为为2202[root~·] vim /etc/ssh/sshd_config将port改为2202[root~·]systemctl
2021-03-10 11:03:54
134
转载 redis常用命令语句（转载）
Redis缓存服务是运维工作中比较常见的一种维护工作，下面就redis日常操作命令在此做一简单小结，以备查用：1）连接redis服务命令redis-cli -h redis主机ip或主机域名 -p redis端口 -a redis密码[root@redis-test01 ~]# /data/redis-4.0.1/src/redis-cli -h 192.168.10.10 -p 6379 -a redis@123192.168.10.10:6379>2）在tomcat下的redis.pro
2021-03-03 14:22:31
529
转载 常用正则
一、校验数字的表达式1 数字：1$2 n位的数字：^\d{n}$3 至少n位的数字：^\d{n,}$4 m-n位的数字：^\d{m,n}$5 零和非零开头的数字：^(0|[1-9][0-9])$6 非零开头的最多带两位小数的数字：^([1-9][0-9])+(.[0-9]{1,2})?$7 带1-2位小数的正数或负数：^(-)?\d+(.\d{1,2})?$8 正数、负数、和小数：^(-|+)?\d+(.\d+)?$9 有两位小数的正实数：2+(.[0-9]{2})?$10 有1~3位小
2021-03-03 14:15:15
962
转载 linux常用命令（转载）
系统信息arch 显示机器的处理器架构uname -m 显示机器的处理器架构uname -r 显示正在使用的内核版本dmidecode -q 显示硬件系统部件 - (SMBIOS / DMI)hdparm -i /dev/hda 罗列一个磁盘的架构特性hdparm -tT /dev/sda 在磁盘上执行测试性读取操作cat /proc/cpuinfo 显示CPU info的信息cat /proc/interrupts 显示中断cat /proc/meminfo 校验内存使用cat /pr
2021-03-02 11:29:26
95
转载 kafka动态修改__consumer_offsets的副本数量（无需重启服务）
在新版本Kafka中，__consumer_offsets这个topic是存放消费者偏移量的，但是该主题默认配置副本数量只有1，容易造成单点故障，我们可以动态修改（无需重启服务）副本因子，提高kafka的可靠性修改流程1、编写执行计划的json文件1.1 动态地增加相关主题的副本数非常的简单，同样是使用kafka-reassign-partitions.sh工具来执行，所以我们在操作之前得准备一个Json文件，里面详细地记录着每个分区的副本所在机器等信息，具体如下：{ "version":
2021-02-24 14:23:31
1380
转载 安装部署单节点的k8s
安装部署单节点k8s提示：这里可以添加系列文章的所有文章的目录，目录需要自己手动添加例如：第一章 Python 机器学习入门之pandas的使用提示：写完文章后，目录可以自动生成，如何生成可参考右边的帮助文档文章目录安装部署单节点k8s一、前期准备二、使用步骤1.安装docker2.安装 nfs-utils3、K8S基本配置4、初始化 master 节点6、初始化 worker节点移除 worker 节点7、安装 Ingress Controller二、Kuboard v2获取Token只读用户访
2021-01-14 09:05:44
278
1
转载 kafka 命令行 生产消费数据，查看偏移量，修改偏移量
1、Topic相关：创建Topic、删除Topic、查看Topic详细信息、查看Topic列表、修改topic分区数创建Topic创建一个3分区1副本名为test的topic，必须指定分区数 --partitions 和副本数--replication-factor，其中副本数量不能超过kafka节点（broker）数量./kafka-topics.sh --zookeeper localhost:2181 --topic test --partitions 3 --replication-fact
2021-01-12 14:13:35
4294
转载 设置系统守护进程的文件数量限制
对于systemd service的资源限制，如何配置呢？全局的配置，放在文件/etc/systemd/system.conf和/etc/systemd/user.conf。同时，也会加载两个对应的目录中的所有.conf文件/etc/systemd/system.conf.d/.conf和/etc/systemd/user.conf.d/.conf其中，system.conf是系统实例使用的，user.conf用户实例使用的。一般的sevice，使用system.conf中的配置即可。systemd.
2021-01-11 11:43:48
359
转载 linux系统安全策略
1.检查是否设置口令长度至少8位，并包括数字，小写字符、大写字符和特殊符号4类中至少2类。在文件/etc/login.defs中设置 PASS_MIN_LEN 不小于标准值修改/etc/pam.d/system-auth文件, 在ucredit=-1 lcredit=-1 dcredit=-1 ocredit=-1 选3种，追加到password requisite pam_cracklib.so后面，添加到配置文件中。例如：password requisite pam_cracklib.so ucr
2021-01-11 09:39:48
1967
1
原创 脚本查看kafka的topic以及消费情况
话不多说直接上代码需要在/usr/lib/systemd/system配置启动文件#!/bin/bash##Date: 2020-01-08#集群信息PATH_HOME=$(cat /usr/lib/systemd/system/kafka.service | grep ExecStart |grep -v '#'|awk '{print $2}')#echo "$PATH_HOME"#获取zookeeper.connect的信息ZOO_CLUSTER=$( cat $PATH_HOME |
2021-01-08 16:24:44
592
原创 筛选文件中的某条数据中的某个字段
举例说明直接一点cat config/server-kafka-cluster.properties |grep socket.receive.buffesocket.receive.buffer.bytes=1048676我仅仅只想要后面的数字 cat config/server-kafka-cluster.properties |grep socket.receive.buffe |sed 's/socket.receive.buffer.bytes=//g'1048676...
2021-01-07 11:19:17
140
原创 关于kafka0.9版本以上使用bootstrap-server无法消费的问题
关于kafka0.9版本以上使用bootstrap-server无法消费的问题我在部署单点kafka时使用命令bin/kafka-console-consumer.sh --bootstrap-server 10.10.2.86:6667 --topicXXXX --from-beginning无法产生消费 而且什么都不打印 排查了一天没找出来什么问题，但使用bin/kafka-console-consumer.sh --zookeeper 10.10.2.862181 --topic lyRawDa
2020-12-29 17:03:21
648
原创 kafka查询实时数据命令行
1、字体加粗部分需要灵活的2、–max-messages 和 --new-consumer 需要作为可选参数kafka数据目录下运行以下命令./kafka-console-consumer.sh --topic metricData-gansu --bootstrap-server 这里写kafkatompicip及其端口（举例：10.10.0.0:2181,10.10.0.2:2182,10.10.0.3:2183） --new-consumer --max-messages 2000 --con
2020-12-17 16:23:27
1605
原创 linux性能优化
cat > /etc/security/limits.conf <<EOF #解除 Linux 系统的最大进程数和最大文件打开数限制#/etc/security/limits.conf#<domain> <type> <item> <value>* soft core unlimited* hard c
2020-12-17 16:09:47
159
转载 Nginx配置项优化详解【转】
1）nginx运行工作进程个数，一般设置cpu的核心或者核心数x2如果不了解cpu的核数，可以top命令之后按1看出来，也可以查看/proc/cpuinfo文件 grep ^processor /proc/cpuinfo | wc -l[root@lx~]# vi/usr/local/nginx1.10/conf/nginx.confworker_processes 4;[root@lx~]# /usr/local/nginx1.10/sbin/nginx-s reload[root@lx
2020-12-17 15:57:24
50
原创 vmware linux设置静态ip
@vmware linux虚拟机设置静态ipvmware设置静态ip先查看自己分配的ipip a**```cpp```xml```bash[root@localhost u01]# ip a1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue state UNKNOWN group default qlen 1000 link/loopback 00:00:00:00:00:00 brd 00:00:00:0
2020-12-17 15:42:31
108
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人