- 博客(40)
- 收藏
- 关注
RSS订阅原创 filebeat发送日志
logstash是在jvm环境中运行，资源消耗很高，启动一个logstash需要消耗500M左右的内存。test3是装有logstash的主机,MySQL1是装有nginx,mysql,httpd的服务器。实现在test3上查看nginx,mysql,httpd的日志。在test3上接收，test3要有logshosts。3.轻量级的日志收集系统，可以在非Java环境运行。filebeat只消耗10M左右的内存。1.可以在本机收集日志。2.也可以远程收集日志。
2024-08-02 17:15:36
351
原创 ELK日志系统
E:ElasticSearck ES 分布式索引型非关系数据库，存储logsstash输出的日志 全文检索引擎，保存的格式是json格式。filebeat不能对数据进行便准输出，不能输出为es格式的数据，所以需要logstash把filebeat数据做标准化处理。日志的收集，可以对数据进行过滤，分析，汇总，以标准格式输出。es-head-master:es的独立可视化工具，可以实现分片索引的。数据节点，是否保存数据，logstash发送数据，节点是否接受以及保存。1.es的主从和数据模式。
2024-08-01 17:06:51
503
原创 redis主从复制、哨兵模式、集群
主从复制：喝MySQL的主从复制类似，主可以写，写入主的数据通过RDB方式把数据同步到从服务器。集群：moved不是报错，注释系统提示客户端到指定位置的哈希槽进行读或者写，系统提示啥，就去哪个节点操作即可，这个节点是该节点的主。故障切换时，主故障，变成从服务器，主变成从之后，也会进入只读模式。集群的功能只是满足了高可用和写的负载均衡，不能保证数据的完整性。集群：把每两台服务器作为主从模式，形成一个大的主从的集群。节点当中，如果主和从全部失败，整个集群都将不可用。从节点字节进行主节点数据的复制（也可以查）
2024-07-31 16:58:23
959
原创 redis
应用场景，用set的数据来追踪唯一性的数据，比方说IP地址或者根据客户的id区分不同的客户购买的同一产品。每个元素都会关联一个double类型的分数score（表示权重），通过权重的大小进行排序，权重可以相同。缓存通常位于数据的访问路径上，数据的必经之路。hash存储的空间很小，占用的内存和持久化后的磁盘空间都很少。redis基于内存运行，所有的数据不是保存在硬盘，而是内存。redis基于内存运行的数据库，缓存是最常应用的场景。持久化-------定期或者认为的把数据保存到硬盘。
2024-07-29 17:10:19
1183
原创 mysql的索引和事务
隔离性：并发环境中，不同的事务同时操作相同的数据时，每个事务都有自己完整的数据空间，对数据的修改所发生的并发事务是隔离的。幻读：一个事务对一个表的数据进行了修改，另一个表也修改了表中的数据，前一个事务会发现修改的结果不正确，类似于出现了幻觉。2.更新一个包含索引的表比没有索引的表需要花费更多的时间，表需要更新，索引也要更新，所以速度要慢很多。1.表的主键和外键必须有索引，主键是唯一的，外键是关联主表的，查询时可以快速定位。4.川航读，相当于锁表，完全串行化的读，一个事务在使用，其他事物的读写都会阻塞。
2024-07-17 16:35:39
985
原创 mysql约束条件和用户管理
删除表的外键不是直接删除外键的列名，而是删除外键的索引，show create table 表名；通常和主键一起使用，每次插入新行时，自增列的值会自动增加。临时表：临时表创建完成之后，在库里面是看不到的，但是依然可以增删改查。外键就是和主表进行关联的列，不需要设置为从表的主键，但是不能为空，必须和主表的数据类型保存一致。唯一性约束，确保列中的所有值都是唯一的，类似主键。用于标识表中的主键列的值，而且这个值是全表当中唯一的，而且值不能为null。先插入主表的数据，再插入从表的数据。外键的值和主键的值要相同。
2024-07-16 17:18:51
680
原创 数据库管理1
读写速度：char的读写速度性能要高于varchar，char是连续的磁盘空间，保存的内容是连续的。varchar在保存字符串时，是多少就保存多少，在保存的字符串结尾默认有一个隐藏的结束符，会多占一个字节。缺点：键值对形式存储，数据逻辑比较复杂，数据是保存在缓存中（redis），如果意外重启所有数据都会丢失。char定义好了长度之后，不论写的值是多少，都会占用固定长度的字节大小。命令规范：库名，表名，列的名字，必须以字母为开头，后面可以数字。关系型的优点：表的结构清晰，逻辑任意整理，记录的数据比较完整。
2024-07-15 16:43:16
1459
原创 keepalive+nginx/haproxy实现转发
HA 高可用架构中的一个特殊现象，只要使用vip地址代理的冗余模式的高可用。vip地址在主备之间的切换，主在工作时，vip地址只在主上，主停止工作，VIP漂移到备服务器。用于高并发的web场景，可以支持一万个以上的并发请求，高性能的tcp和http的反正均衡器。4.防火墙策略，iptables的策略屏蔽了组播地址的广播，屏蔽了vrrp协议的报文。主和备无法确定各自的身份，同时出现了vip地址，两边都起来了，但是两边都无法使用。在主备的优先级不变的情况下，主恢复工作，vip会飘回到服务器。
2024-07-12 22:48:12
344
原创 nginx的正向代理和反向代理
在第一次访问网址时，就会计算出这个hash值，会把请求分到下一个服务器，但是下一次客户端如果使用相同的IP地址再次访问，就不再分配到其他的服务器。除非后台服务器的算法变更，杭州后台的服务器数量发生了变化。如果客户端进来之后，不停的轮换服务器，反而会加重服务器的负担，固定在一台服务器上，降低了代理服务器的压力，同时也节约了资源。老赖的分配不一定是按照权重比来的，权重高的被转发的概率大，权重低的相对较小。7层就是应用层，使用的是http协议，可以对请求进行解析和处理，7层代理走到是用户态，应用协议和程序功能。
2024-07-11 14:22:33
1127
原创 location匹配的优先级和重定向
在重定向的过程中，使用了last方式进行重定向，但是，没有结束语，陷入了死循环，nginx会自动循环10次，last最多只能循环10次，超过10次nginx就会自动结束，返回码500。break：永久重定向，返回码也是301，但是它匹配到规则之后，不会在向下匹配其他规则，URL也不会发生变化。permanent:永久重定向，返回码是301，浏览器地址栏会显示跳转后的URL地址。基于域名进行跳转，老的不用，但是依然能够访问，统统跳转到新的域名。基于客户端的ip进行跳转，公司新业务上线，测试阶段，
2024-07-11 14:19:47
825
原创 nginx的优化和防盗链
nginx没有自动分割的功能，借助脚本来收集。apache是自带日志分割，按天来收集日志。time_wait状态的回收。
2024-07-11 14:17:02
296
原创 nginx配置文件详解
转发和处理http请求，设置代理（正向代理和反向代理），缓存，定义日志格式，重定向配置。server块 http里面可以有多个server模块。在server当中可以有多个location。events模块决定了能够处理的连接数。stream 四层代理模块。location模块。
2024-07-11 14:14:00
527
原创 tomcat的安装和解析
1.servlet容器：执行java servlet ，是一种服务端的Java程序，处理客户端的http请求，以及响应。2.jsp容器，javaserver page ，这是一种动态页面的技术，可以在HTML的页面里面嵌入java代码。connector：负责对外接收和响应请求，它是tomcat与客户端沟通的一个枢纽，监听端口接受外界请求。tomcat是用java代码写的程序，运行的是java的web应用程序。优化，tomcat自身的优化，以及相同的内核优化，jvm优化。
2024-07-11 14:03:39
576
原创 web基础和http协议
HTTP 1.1 只要建立了连接，除非数据发送完毕，否则不需要为了其他的资源专门再建立额外的连接，大大节省了带宽的使用。web：通俗地说就是我们所说的网页，打开网站展示的页面。缓存有的保存在本地，有的保存在web服务器，现在的缓存基本上保存在用户的本机（一般由浏览器保存）。网站建设的基础，早期的网站都是静态页面，没有后台数据库，没有其他的程序，也没有可以交互的页面。
2024-07-03 08:42:35
336
原创 安全技术和防火墙
入侵防御系统：透明模式工作，数据包，网络监控，服务攻击，木马，蠕虫，系统漏洞等等进行准确的分析和判断。filter表：也是iptables的默认表，不做声明，默认就是filter表，过滤数据包，控制数据包的进出，以及接收和拒绝数据包。output链：处理本机发出的数据包的规则，或者是数据包离开本机的规则（filter表，一般不做设置）数据包进入防火墙，先匹配raw表的规则–mangle规则–nat表的规则–filter表的规则。内核态：涉及到软件的底层代码或者的系统的基层逻辑，以及一些硬件的编码。
2024-06-26 16:47:32
935
原创 shell之免交互
1、标记可以是任意合法字符（一般不用特殊字符，不以数字开头，通常以EOF作为默认的标记位）嵌入执行模式，在shell中加入expect，涉及到环境切换的场景不建议使用嵌套。用tcl语言写的一个工具，主要用自动化控制和测试。交互：发出指令控制指令的运行，程序再接收到指令的效果做出对应的反应。免交互：间接的，通过第三方的方式把指令传送给程序，不用直接的下达指令。2、结尾的标记一定要顶格写，且前面不能有任何字符，空格也不行。3、结尾的标记后面也不能有任何字符，包括空格。4、开头的标记前后的空格都会被省略。
2024-06-25 17:17:19
546
原创 文本三剑客之awk
RS:行分隔符，可以根据RS的设置把文件内容切割成多个记录，也可以改变行的分隔符，默认是\n,回车，换行。awk的工作原理，根据指令信息，逐行读取文本内容，然后按照条件进行1格式化输出。awk默认的分割符：空格，tab键，多个空格自动压缩成一个。FS：FS和F是一样的，都是指定分隔符FS=“:”$#:#是数字，按行需要取出的第几个字段。：打印所有，展示所有的文本内容（默认）-F指定分隔符，如果是空格可以不加。-F 指定分割符，默认就是空格。-o 将文件下载到指定的路径。：处理行的字段个数，
2024-06-24 17:07:18
636
原创 sed编辑器
n：仅显示script处理后的结果（不加-n有两个输出结果，+n之后会把默认输出屏蔽，只显示一个结果）y：替换，替换单个字符，多个字符替换，必须和替换内容的字符长度保持一致。sed的主要作用就是对文本的内容进行增删改查，最强大的功能是增和改。-f：在脚本中定义好了操作符，根据脚本内容的操作符对文件进行操作。按行处理，处理完当前行才会处理下一行，直到文件末尾。$r:读取其他文件的内容，插入到对象文件的最后一行。a：增加，在指定行的下面一行插入内容。i：增加，在指定行的上面一行插入内容。
2024-06-21 15:03:22
519
原创 shell脚本
变量的作用：用来存放系统和用户需要使用的设定的参数，变量保存在内存中。可执行语句：Linux的命令都可以作为可执行语句，一行一行的往下写，一行就是一个可执行语句。反撇号的作用是命令替换，把命令执行的结果传给变量，作为变量的值，先执行命令，再给变量赋值。source：点命令，它会改变当前shell的环境，也就是真正的执行代码。单引号就是强引用，变量值不再是本身定义的值，保持自身的字符串形式。可重复执行的，自动化的在系统中实现增删改查的操作。echo $PATH 可执行的命令，或者可执行的程序的默认路径。
2024-06-11 16:32:12
900
原创 6.6SSH的运用
ssh远程管理ssh是一种安全通道协议，用来实现字符界面的远程登录。远程复制，远程文本传输。ssh对通信双方的数据进行了加密用户名和密码登录密钥对认证方式（可以实现免密登录）ssh 22 网络层 传输层数据传输的过程中是加密的数据在传输的过程中是压缩的ssh分为服务端和客户端服务端：openssh客户端：xshell moba系统中的应用名称 sshdssh config 针对客户端的配置文件sshd config 服务端的配置都是配置文件，作用不同。
2024-06-07 17:05:49
1492
原创 pxe无人部署
使用的是udp协议，端口是69。pxe c/s模式，允许客户通过网络从远程服务器（服务端）下载引导镜像，加载安装文件，实现自动化安装操作系统。 tftp 简单文件传输协议，传小文件，引导镜像文件很小，用tftp。软件条件，服务端要有DHCP，可以在客户机启动时自动分配IP地址。initrd.img 初始化镜像文件，引导加载的模块文件。硬件条件，网卡要支持pxe协议，主板要支持网络引导。 vsftp 文件传输协议，传送大文件，安装文件。准备pxe的引导文件，通过光盘镜像把文件复制出来。
2024-06-07 16:03:40
514
原创 DNS域名解析
在访问域名的时候，通过dns解析，把域名映射的IP地址解析出来，然后实际上访问的还是域名映射的IP地址。访问baidu，就是计算机向dns服务器发送查询请求，dns搜索自己的数据库，域名和IP的映射关系。DNS域名的长度限制，每一级的域名长度限制是63个字符，域名的总长度不超过253个字符。类似于导航，输入域名之后，就可以定位出它的IP地址，然后访问。然后IP地址返回给计算机，计算机访问的还是域名对应的IP。mode=1 冗余，只有主工作，从不工作，主挂了，从工作。baidu. 三级域（域名）这是要买的。
2024-06-05 17:31:00
1147
2
原创 网络服务DHCP的安装
对文件进行备份,人为设置还原点。切换到对应目录查看相关文件配置，发现是空目录。将官方提供的example复制到原配置文件中。修改网卡配置文件，重启网络服务。声明网段和地址池的配置。
2024-06-04 19:24:13
231
原创 网络服务ftp实验
白名单：只有在名单上的才允许登录 拒绝使用允许个别。白名单比黑名单的制定更为严格和安全。被黑名单禁用的用户连输密码的资格都没有。黑名单外的用户正常登录。白名单内的用户可以正常登录，白名单外的用户失去访问登录的权力。黑名单：在名单上的不允许登录 允许所有拒绝个别。本访问端放入一个test.txt的文件。安全隐患，本地用户可以随意切换目录。重启vsftpd服务，关闭安全防护。修改一下匿名用户访问的根目录权限。访问端准备一个文件，写入信息。发送文件text1.txt。
2024-06-04 19:20:01
221
原创 linux网络配置1.1
netstat的速度会很慢，甚至会卡死。lsof：不仅仅显示应用端口，同时列出该进程在系统中打开的文件，目录等等资源。nslookup IP地址 反向解析,根据IP地址解析出对应的域名。lsof -u root 列出指定的用户打开的文件和网络连接。lsof -i -P -a -p 进程号（不是服务名称）ifconfig 当前设备正在工作的网卡。查看当前设备上，端口是否开启，端口扫描，网络连接情况。lsof -i :80 列出指定的端口被哪些进程占用。ss的查询速度比netstat的速度快。
2024-06-03 19:12:51
1941
原创 用户的账号安全管理
1.配置IP地址，网关，DNS解析（static） 内网和外网2.安装源，外网（在线即可） 内网（只能用源码包编译安装）3.磁盘分区，lvm raid4.系统权限配置和基础安全加固系统安全：1.保护数据安全。客户信息，财务信息。2.互联网，网络业务服务，必须通过工信部的资质审核。3.保护品牌形象。信息安全是红线。
2024-05-30 17:38:33
863
原创 raid磁盘阵列
工作原理：热备份相当于给raid又做了一个备份，一个raid中坏了一块硬盘，热备份在顶替的过程中，利用校验算法，把阵列中的数据同步过来，然后再顶替坏掉的硬盘。常用的RAID级别：RAID 0（条带化存储），RAID 1（镜像存储），RAID 5，RAID 6，RAID 1+0（先做镜像，再做条带） 等。raid6 有冗余，奇偶校验，每个盘上的数据一致，循环按照奇数和偶数来把数据写入磁盘。热备份 当阵列中，有一块硬盘坏了，热备份盘可以随时顶替，相当于磁盘的最后一层保险。金融，医疗，法律，银行都爱用。
2024-05-29 17:15:01
1340
原创 逻辑卷的建立与扩容
lvm：logical volume manager ，逻辑卷管理。linux系统下对硬盘分区的一种管理机制。lvm机制特别适合于管理大存储设备。pv 物理卷，真正的物理硬盘分区。vg 卷组，把物理上的分区结合起来，就形成了卷组，卷组就是逻辑上的硬盘。lv 逻辑卷，把卷组进行分区，相当于物理硬盘的分区，逻辑卷可以动态扩容。逻辑卷的作用：解决磁盘容量限制的问题。
2024-05-28 16:50:44
616
原创 进程和计划任务管理
进程管理相当于任务管理器，程序是一串没有运行的代码，进程是运行起来的代码。线程：相当于复制了进程的部分代码，程序运行起来之后，真正执行的是线程。linux系统当中启动程序的过程：父进程先启动---------子进程。子进程的资源由父进程来进行分配。结束的过程：子进程先结束--------父进程收回子进程的资源----------父进程才会终止。
2024-05-24 16:59:09
1143
原创 yum源安装
1.yum的服务器上创建yum仓库，在这个仓库中事先已经存储了许多rpm包，以及这些rpm包相关的元数据信息。yum info 显示当前仓库所有可拥包的信息 yum info 软件名 查看指定的软件包的信息。在一个系统当中可以有多个仓库，系统会自动选择，网速快的，他会自动搜索仓库我需要的软件。元数据：就是包的位置，包与包之间的依赖关系。软件管理器可以清楚的了解软件包的信息，如何安装、升级或者删除。yum的安装方式是升级的，但是安装包还是rpm格式。2.挂载点都是一个已经存在的空目录。
2024-05-22 17:26:52
237
原创 nginx源码安装
1.开源 因为开源，所以开源二次修改，开源做二次开发，可以自由选择需要的功能。源码包--------二进制包，源码包里面的代码经过编译之后形成的包。3.设置系统控制，系统能够对nginx整个软件的运行状态进行控制。4.修改iginx的配置文件，把pid文件的位置指向到设置的位置。2.开始配置，配置程序的安装路径，以及程序需要的相关组件。2.做一个软连接，让系统能够识别nginx的指令。2.编译安装，跟系统的适配性更高，更加稳定。第二步：安装编译过程中需要的依赖环境。1.安装的步骤很多，容易出错。
2024-05-22 15:50:43
316
原创 用户账户和权限管理
一般程序用户的shell都是/sbin/nologin /bin/false。字段7：用户登录的shell，shell的默认解释器就是bash，只有是/bin/bash 才可以登录系统。普通用户 一般都是由管理员创建的，拥有的权限是受到限制的。程序用户 在安装软件时，有的应用程序需要创建一些账号，来保证程序的正常运行，就会创建一个程序账户，~/.bashrc 用户的配置文件，只对自己生效，每一次新打开一个shell就会读取这个文件。UID:用户的标识号，创建用户的时候可以指定，也可以系统自动分配。
2024-05-21 16:23:34
762
原创 linux系统的目录和文件管理
tail -10f 文件第一次看的时候，在看最后10行，如果内容发生变化，超过10行就是全量展示head命令从头往后看head -n使用-n选项后面要跟数字，否则报错统计文件的单词数量以及其他信息-l 统计文件当中的行数-w 统计文件内容中单词的个数-c 统计文件内容的字节数。统计文件内容的大小。
2024-05-20 20:04:13
836
原创 计算机网络实验
配置端口IP 设置下一跳地址 ##设置默认路由。2.设置交换机lsw2。创建vlan 配置地址。3.设置交换机lsw3。创建vlan 设置地址。4.设置交换机lsw1。创建vlan 设置地址。5.实验结果实现通联。
2024-05-15 12:22:35
216
原创 NAT转换技术
#global current-interface 80 指定了全局的接口，192.168.1.254 以及服务的端口。NAPT :端口多路复用即允许多个内网地址 映射到同一公网地址的不同端口 ##主机数量多，端口号有限。##所有的访问 ip地址 192.168.1.254:80 ，就相当于访问 12.0.0.10:80。##nat server protocol tcp 指定nat服务的协议，使用的是tcp。easy ip：在NAPT的基础上，由路由器出口接口的IP地址作为公网地址。
2024-05-14 16:03:21
166
原创 acl实验
rule permit tcp source 192.168.1.30 0 destination 192.168.3.30 0 destination-port eq 80 ##建立规则。高级acl：3000-3999 源ip，目的ip，源端口，目的端口，三层和四层协议都可以支持 icmp。2.一个acl当中可以有多个规则，规则id从小到进行排序，从上到下依次执行。##一个acl当中有多个规则时，规则id从小到进行排序，从上到下依次执行。在入口：数据包从人口进入路由器，能不能进入路由器。
2024-05-14 13:12:43
386
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人