- 博客(18)
- 问答 (1)
- 收藏
- 关注
RSS订阅原创 大数据运维必备技能
大数据运维是一个复杂而关键的领域，需要运维人员具备全面的技术能力和知识储备。通过学习和掌握Linux系统管理、数据库管理、分布式存储与计算、容器化与云计算以及安全与监控等技术，大数据运维人员可以确保系统的稳定运行和高效性能。一、Linux系统管理。三、分布式存储与计算。
2024-01-23 17:21:32
688
原创 ETL基础认识以及工具介绍
ETL是一个涉及多个技术环节和策略的过程，它的目的是将分散、不规范的数据整合成统一的格式，以便为数据分析和决策提供支持。触发器模式是一种常用的增量抽取机制，它通过数据库触发器来捕获源系统中的数据变化，从而实现数据的实时或准实时抽取。ETL是数据仓库建设中的一个核心过程，涉及。
2024-01-23 17:21:00
444
原创 大数据运维一般会遇到哪些经典问题？
在处理大规模数据时，可能会出现某些节点处理的数据量远大于其他节点的情况，导致整体处理效率降低。：当Hadoop集群中的NameNode内存不足时，可能会导致其无法正常工作。解决方法包括增加NameNode的内存、优化Hadoop配置等。：在大数据处理过程中，可能会因为各种原因导致数据丢失。解决方法包括定期备份数据、使用HDFS的CheckSum机制等。：在大数据处理过程中，可能会出现性能瓶颈，导致处理速度降低。解决方法包括优化Hadoop配置、使用更高级的硬件设备等。
2024-01-04 10:22:21
446
1
原创 学习大数据运维相关建议
学习大数据运维的基础知识：首先，你需要了解大数据的基本概念，包括Hadoop、Spark等大数据处理框架，以及HDFS、MapReduce等大数据存储和处理技术。学习大数据运维的最佳实践：了解并掌握大数据运维的最佳实践，包括如何优化大数据系统的性能，如何处理大数据系统中的问题等。持续学习：大数据是一个快速发展的领域，新的技术和工具不断出现。因此，你需要保持持续学习，以便跟上这个领域的发展。学习大数据运维的安全知识：大数据系统通常包含大量的敏感信息，因此，学习如何保护大数据系统的安全是非常重要的。
2024-01-02 10:10:29
385
原创 数据库中“事务处理”和“锁定机制”归纳解释
锁定机制：锁是用于解决隔离性问题的一种机制，当多个事务同时访问同一数据时，会引发并发控制问题，即所谓的脏读、不可重复读和幻读。不同的锁定机制有不同的粒度，同时事务也是有不同的隔离级别的。例如，在MySQL的RR（Repeatable Read）隔离级别下，MySQL为了解决幻读的问题，以牺牲并行度为代价，通过Gap锁来防止数据的写入。当多个事务同时访问同一数据时，数据库系统会根据设定的隔离级别和锁定机制来决定是否允许这些事务同时访问该数据，以及如何在它们之间进行协调以避免冲突。（个人学习笔记，仅供参考）
2023-12-27 17:45:00
400
1
原创 学大数据运维应该知道的小问题
3、分区容错性：系统应该能够持续提供服务，无视网络中的任何节点失效。2、可用性：每一个请求都能接收到一个响应，无论成功还是失败。CAP理论：任何一个分布式计算系统都不能同时保证一下三点。1、一致性：数据在所有节点上时刻保持一致是不。
2023-12-27 10:51:42
305
1
原创 pgsql非数字类型字段运算
在使用pgsql时候我们会遇到一种情况：查询时需要将多个字段加起来合成一个字段，然而这时候这些字段的数据类型并不是数字类型，不能直接加起来。这时候我们需要用到一个数据类型转换函数（CAST），具体用法如下：/select CAST(字段1 AS DECIMAL) + (字段2 AS DECIMAL) + ... AS 别名/。（很基础，个人学习笔记上传而已，仅供参考）如果需要转换为其他数字类型，如。替换为相应的类型即可。
2023-12-22 15:50:01
347
原创 缓存穿透，缓存击穿和缓存雪崩的区别和解决办法
（重点）如果取不到，那么就会直接访问数据库去数据库里面取数据，然后将取到的数据更新缓存，并且返回结果；如果数据库也没有取到，那么就会返回空值。4缓存雪崩：是指缓存中数据同时大批量达到过期时间，此时大量并发访问数据库请求数据，导致数据库过载的现象，和缓存击穿不同的是，它是高并发同时访问多条缓存里已经过期的数据，而缓存击穿是高并发访问同一天数据。2缓存击穿：一般是指缓存到期，然后在缓存取请求不到数据，这时候并发的用户又特别多，同时又在缓存读不到数据，这时候就会同时取数据库请求数据然后史数据库压力瞬间增大。
2023-12-08 14:41:10
346
原创 ansible面试问题坑
主控python要大于2.6版本，被控端要搭载python2.4以上版本，需要安装python-simplejson。win不能作为ansible的主控节点，因为win根本没有ansible这个软件。但是win可以作为被ansible监控的节点，但是必须同时搭载pytho。执行ansible的被称为主控端，中控，master或堡垒机。ansible不是服务，不会一直被启动，只是需要的时候启动。
2023-09-15 15:08:06
53
原创 数据库关系模型不合理会带来什么问题？
不合理的数据库模式设计，一方面会造成大量的数据冗余存在；而且对模式进行操作会引起操作异常。主要包括：插入异常、删除异常和更新删除三类引起以上问题的原因在于：关系模式的属性间存在各种依赖关系，因此，需要通过数据规范化，消除模式中不合理的依赖，从而使模式中的各种关系模式达到某种程度的“分离”。...
2022-05-29 13:32:10
4334
数据库中数据关系模型不合理会带来什么问题？
2022-05-29
TA创建的收藏夹 TA关注的收藏夹
TA关注的人