- 博客(76)
- 收藏
- 关注
RSS订阅原创 Zabbix-6.4.4部署及监控配置
对zabbix-6.4.4版本进行调研。了解并测试zabbix-6.4.4部署以及监控配置。libXML：2.6.15以上。MySQL版本：8.0.X。PHP版本：7.4.X。
2023-07-24 11:21:29
1842
原创 MySQL中REPLACE INTO和UPDATE语句的区别
语句首先尝试插入一条新记录，如果已存在具有相同主键（或唯一键）的记录，则先删除旧记录，然后再插入新记录。语句可以更新整行的所有列值，无论是否指定更新的列。如果未指定更新的列，将使用新插入的值来替换现有的值。适用于仅更新现有记录的情体场景和需求选择适当的操作。首先删除旧记录，然后插入新记录，因此可能会有更大的性能开销。只需执行一次更新操作，因此在更新现有记录时可能具有更好的性能。语句仅更新现有记录的某些列，不会删除或重新插入记录。适用于要么插入新记录，要么替换现有记录的情况，而。
2023-06-26 15:06:55
1200
原创 mysql errno 32 mysqldump: Got errno 32 on write 解决办法
命令检查输出文件所在的文件系统或磁盘是否以只读方式挂载。如果是只读挂载，您需要执行相应的操作来重新挂载文件系统或磁盘以获得写入权限。）对目标分区或磁盘进行检查，以排除文件系统错误或磁盘损坏问题。具体的命令将依赖于您使用的操作系统和文件系统类型。命令中指定的输出文件路径和文件名是正确的。请根据您的具体情况逐步尝试这些解决方案，并确保您拥有合适的权限和足够的可用空间来完成。检查输出文件所在目录的权限。确保输出文件所在的目录或分区有足够的可用空间。创建目录：如果输出文件所在的目录不存在，可以使用。
2023-06-21 14:50:54
1076
原创 xtrabackup安装之源码编译
一台机器已经安装了xtrabackup8.0版本，希望能够xtrabackup多个的版本共存L，即将percona-xtrabackup-2.4.28 源码安装到centos6.7。安装完成，在多个版本共存的情况下，要调用绝对路径下的脚本哦！下载并上传之服务器。
2023-06-09 15:18:19
822
原创 MySQL主从同步——主库已有的数据如何到从库
此步骤主要针对运行一段时间的主库，需要将历史数据导入到从库，保证主从强一致性。在主库MySQL命令行中执行将主库所在主机命令行下使用mysqldump命令导出所有数据将导出的文件传输到从库所在主机，并且执行导入。注意文件路径不要搞错。
2023-06-07 15:04:35
2377
1
原创 MySQL之MVCC
MVCC，全称Multi-Version Concurrency Control，即多版本并发控制。MVCC是一种并发控制的方法，一般在数据库管理系统中，实现对数据库的并发访问，在编程语言中实现事务内存。MVCC在MySQL InnoDB中的实现主要是为了提高数据库并发性能，用更好的方式去处理读-写冲突，做到即使有读写冲突时，也能做到不加锁，非阻塞并发读。
2023-05-26 17:02:31
819
原创 Shell基础
（4）只显示/etc/passwd的第一列和第七列，以逗号分割，且在所有行前面添加列名user，shell在最后一行添加"dahaige，/bin/zuishuai"。$n （功能描述：n为数字，$0代表该脚本名称，$1-$9代表第一到第九个参数，十以上的参数，十以上的参数需要用大括号包含，如${10}）第二种执行方法，本质是脚本需要自己执行，所以需要执行权限。输入一个数字，如果是1，则输出banzhang zhen shuai，如果是2，则输出cls zhen mei，如果是其它，什么也不输出。
2023-05-25 17:01:48
755
原创 MySQL主从同步（开GTID）
RESET MASTER--是删除所有的二进制日志，创建一个.000001的空日志。RESET MASTER并不会影响SLAVE服务器上的工作状态，所以盲目的执行这个命令会导致slave找不到master的binlog，造成同步失败，我们要删除同步，所以必须执行它。做了如上的配置后，还是可以继续使用fileName和position找点，但是不推荐这样做了，如果非要这样做，设置MASTER-AUTO-POSITION=0。在创建数据库主从配置后，若想删除数据库的主从服务可根据以下步骤来删除数据库主从。
2023-05-24 15:05:09
2157
原创 MySQL GTID
第1-n代表n个事务。当在主库上提交事务或者被从库应用时，可以定位和追踪每一个事务，对DBA来说意义就很大了，我们可以适当的解放出来，不用手工去可以找偏移量的值了，而是通过CHANGE MASTER TO MASTER_HOST='xxx', MASTER_AUTO_POSITION=1的即可方便的搭建从库，在故障修复中也可以采用MASTER_AUTO_POSITION=‘X’的方式。slave：假设对应的表是MYISAM引擎，执行这个GTID的第一个语句后就会报错，因为非事务引擎一个sql就是一个事务。
2023-05-24 14:57:39
2642
原创 MySQL主从同步（不开GTID）
stop slave;#停止复制，相当于终止从服务器上的IO和SQL线程。stop slave;#停止复制，相当于终止从服务器上的IO和SQL线程。了解并熟悉MySQL的主从同步的搭建过程，并解决搭建过程中所碰到的问题。了解并熟悉MySQL的主从同步的搭建过程，并解决搭建过程中所碰到的问题。2）在主服务器的testdb中建立一个t_user表并插入数据。3）进入mysql后，设置从服务器的master。3）设置从服务器的master。5）查看主从复制是否搭建完成。5）查看主从复制是否搭建完成。
2023-05-24 10:54:23
1100
原创 MySQL主从复制原理
1、什么是主从复制主从复制是用来建立一个和 主数据库完全一样的数据库环境称为从数据库；主数据库一般是准实时的业务数据库。2、主从复制的作用高可用，实时灾备，用于故障切换。比如主库挂了，可以切从库。读写分离，提供查询服务，减少主库压力，提升性能备份数据，避免影响业务。1、什么是主从复制主从复制是用来建立一个和 主数据库完全一样的数据库环境称为从数据库；主数据库一般是准实时的业务数据库。2、主从复制的作用高可用，实时灾备，用于故障切换。比如主库挂了，可以切从库。
2023-05-19 16:28:37
1570
原创 一条查询语句在MySQL的处理过程
MySQL在执行SELECT查询时，首先会去查询缓存中查找是否存在相同的查询语句和结果集，如果存在，则直接返回结果。然而，当并发用户越来越多时，这种缓存机制会导致大量请求阻塞在同一个锁上，从而降低了并发性能。查询缓存将所有查询的结果存储在内存中，因此，当数据库中的数据量越来越大时，查询缓存会占用越来越多的内存，从而导致内存不足和OOM等问题。MySQL 8.0 取消了查询缓存是因为查询缓存对于高并发、大规模数据的应用程序效果不佳，甚至可能成为性能瓶颈。
2023-05-16 16:40:38
415
原创 大数据技术之SparkSQL
1.1 什么是Spark SQL1Spark SQL是Spark用于结构化数据）处理的Spark模块。1.2 为什么要有Spark SQL。
2023-04-27 21:08:52
923
原创 大数据技术之SparkCore
RDD的Lineage会记录RDD的元数据信息和转换行为，当该RDD的部分分区数据丢失时，它可以根据这些信息来重新运算和恢复丢失的数据分区。在实际开发中我们往往需要自己定义一些对于RDD的操作，那么此时需要注意的是，初始化工作是在Driver端进行的，而实际运行程序是在Executor端进行的，这就涉及到了跨进程通信，是需要序列化的。通过基于RDD的一系列转换，丢失的数据会被重算，由于RDD的各个Partition是相对独立的，因此只需要计算丢失的部分即可，并不需要重算全部Partition。
2023-04-27 19:52:20
1087
原创 大数据技术之Spark
1.1回顾：Hadoop主要解决，海量数据的存储和海量数据的分析计算。Spark是一种基于内存的快速、通用、可扩展的大数据分析计算引擎。Hadoop的Yarn框架比Spark框架诞生的晚，所以Spark自己也设计了一套资源调度框架。区别1、MR是基于磁盘，spark是基于内存2、MR的task是进程3、spark的task是线程，在executor进程里执行的线程。4、MR在Container里执行（留有接口方便插入），spark在worker里执行（自己用，没有接口）。
2023-04-12 15:01:28
1506
原创 大数据技术之DataX
1. 介绍：DataX是阿里巴巴开源的一个异构数据源离线同步工具，致力于实现包括关系型数据库（Mysql、Oracle等）、HDFS、Hive、ODPS、HBase、FTP等各种异构数据源之间稳定高效的数据同步功能。2. 特点：① DataX侧重于同步数据库中的数据② DataX没有所谓版本号，这有这一个开源的版本③ 开源的，有些功能受限，商业版名为DataWorks。
2023-04-09 21:00:18
2264
原创 大数据技术之MaxWell
Maxwell是由美国Zendesk公司开源，使用Java编写的MySQL变更数据抓取软件。他会实时监控Mysql数据库的数据变更操作（包括insert、update、delete），并将变更数据以JSON的格式发送给Kafka、Kinesi等流数据处理平台。
2023-04-09 20:18:55
487
原创 大数据技术之Flume
Flume是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统。Flume基于流式架构，灵活简单。Flume 最主要的作用就是，实时读取服务器本地磁盘的数据，将数据写入到HDFS1. Ganglia由gmond、gmetad和gweb三部分组成。是一种轻量级服务，安装在每台需要收集指标数据的节点主机上。使用gmond，你可以很容易收集很多系统指标数据，如CPU、内存、磁盘、网络和活跃进程的数据等。整合所有信息，并将其以RRD格式存储至磁盘的服务。
2023-03-24 19:00:58
541
原创 大数据技术之Hive
Hive：由Facebook开源用于解决海量结构化日志的数据统计工具。Hive是基于Hadoop的一个数据仓库工具，将结构化的数据文件映射为一张表，并提供类SQL(HQL)查询功能。1）用户接口：ClientJDBC/ODBC(jdbc访问hive)、2）元数据：Metastore元数据包括：表名、表所属的数据库（默认是default）、表的拥有者、列/分区字段、表的类型（是否是外部表）、表的数据所在目录等；默认存储在自带的derby数据库中，推荐使用MySQL。
2023-03-18 18:18:42
2382
原创 大数据技术之Zookeeper
Zookeeper是一个开源的分布式的，为分布式框架提供协调服务的Apache项目。Zookeeper从设计模式角度来理解:是一个基于观察者模式设计的分布式服务管理框架，它负责存储和管理大家都关心的数据，然后接受观察者的注册，一旦这些数据的状态发生变化，Zookeeper就将负责通知已经在Zookeeper上注册的那些观察者做出相应的反应。
2023-03-13 22:11:26
336
2
原创 大数据技术之Hadoop(优化&新特性)
Task超时时间，经常需要设置的一个参数，该参数表达的意思为：如果一个Task在一定时间内没有任何进入，即不会读取新的数据，也没有输出数据，则认为该Task处于Block状态，可能是卡住了，也许永远会卡住，为了防止因为用户程序永远Block住不退出，则强制设置了一个该超时时间（单位毫秒），默认是600000（10分钟）。刚加载的硬盘没有数据时，可以执行磁盘数据均衡命令。随着公司业务的增长，数据量越来越大，原有的数据节点的容量已经不能满足存储数据的需求，需要在原有集群基础上动态添加新的数据节点。
2023-03-13 20:34:24
259
原创 大数据技术之Hadoop（Yarn）
假设集群一共有100 CPU和10T 内存，而应用A需要(2 CPU,300GB)，应用B需要(6 CPU，100GB)则两个应用分别需要A(2%CPU.3%内存)和B(6%CPU1%内存)的资源，这就意味着A是内存主导的,B是CPU主导的，针对这种情况，我们可以。(3)灵活性:如果一个队列中的资源有剩余，可以暂时共享给那些需要资源的队列，而一旦该队列有新的应用程序提交，则其他队列借调的资源会归还给该队列。我们之前说的资源，都是单一标准，例如只考虑内存(也是Yarn默认的情况）。
2023-03-09 20:00:36
236
原创 大数据技术之Hadoop(MapReduce)
MapReduce是一个分布式运算程序的编程框架，是用户开发“基于Hadoop的数据分析应用”的核心框架。MapReduce核心功能是将用户编写的业务逻辑代码和自带默认组件整合成一个完整的分布式运算程序，并发运行在一个Hadoop集群上。1）什么是序列化序列化就是把内存中的对象，转换成字节序列（或其他数据传输协议）以便于存储到磁盘（持久化）和网络传输。反序列化就是将收到字节序列（或其他数据传输协议）或者是磁盘的持久化数据，转换成内存中的对象。2）为什么要序列化。
2023-03-09 16:45:06
287
原创 大数据技术之Hadoop(HDFS)
随着数据量越来越大，在一个操作系统存不下所有的数据，那么就分配到更多的操作系统管理的磁盘中，但是不方便管理和维护，迫切需要一种系统来管理多台机器上的文件，这就是分布式文件管理系统。HDFS只是分布式文件管理系统中的一种。HDFS（Hadoop Distributed File System），它是一个文件系统，用于存储文件，通过目录树来定位文件；其次，它是分布式的，由很多服务器联合起来实现其功能，集群中的服务器有各自的角色。HDFS的使用场景：适合一次写入，多次读出的场景。
2023-02-28 15:39:22
174
原创 大数据技术之Hadoop(集群配置)
四个配置文件存放在$HADOOP_HOME/etc/hadoop这个路径上，用户可以根据项目需求重新进行修改配置。各个模块分开启动/停止（配置ssh是前提）常用整体启动/停止HDFS整体启动/停止YARN。
2023-02-22 21:35:23
300
2
原创 大数据技术之Hadoop(入门)
1)Hadoop是一个由Apache基金会所开发的分布式系统基础架构；2)主要解决，海量数据的存储和海量数据的分析计算问题；3)广义上来说，Hadoop通常是指一个更广泛的概念--Hadoop生态圈；Hadoop Distributed File System，简称HDFS，是一个分布式文件系统。Yet Another Resource Negotiator简称YARN ，另一种资源协调者，是Hadoop的资源管理器。MapReduce将计算过程分为两个阶段：Map和Reduce。
2023-02-22 20:04:29
161
转载 LaTex中PDF裁剪工具pdfcrop的使用
我们将pdfcrop.exe复制出来，将我们要裁剪的pdf文件与pdfcrop.exe放在同一个文件夹下，然后打开cmd命令行，通过cd进入所在的文件夹。有一种简单的方式可以直接在当前的文件夹路径打开cmd命令行。在当前文件夹空白处，按下Shift键的同时右击鼠标。点击在此处打开命令窗口就可以。LaTex中PDF裁剪工具pdfcrop的使用。
2023-02-15 12:59:52
1524
原创 Andriod APP逆向——常用工具
ADB，即 Android Debug Bridge，它是 Android 开发/测试人员不可替代的强大工具，也是 Android 设备玩家的好玩具。当你想抓app的包，但是charles却很多包没有，甚至很多请求都是unknown，这个时候用Drony就很好用了，将charles打开，用drony来转发app的所有请求，而不是直接设置手机wifi代理。默认您的规则里应该是空的，这里直接点击上面的加号添加一个规则（符合规则要求的才会被转发）。3.配置charles 端口 9999，安装证书。
2023-02-03 19:13:24
2029
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人