chao.ff-CSDN博客

原创 CentOS6重新安装MySQL

4.2：安装client：rpm -ivh MySQL-client-5.7.4_m14-1.linux_glibc2.5.x86_64.rpm。4.1：安装server：rpm -ivh MySQL-server-5.7.4_m14-1.linux_glibc2.5.x86_64.rpm。3.2：删除有关于mysql的文件：find / -name mysql | xargs rm -rf。3.1：查看有关于mysql的文件：find / -name mysql。3.删除有关于mysql的目录与文件。

2023-07-27 15:31:33 32

原创 Spark性能调优_数据倾斜

1. 数据倾斜概述在任何大数据类的项目中，都是最棘手的性能问题，最能体现人的技术能力，最能体现 RD（Research Developer，研发工程师）的技术水平。也是面试最喜欢问的一个问题，如果没有丰富的经验，是很难解决数据倾斜问题的,数据倾斜被称之为性能杀手 1.1. 数据倾斜的原理在执行 shuffle 操作的时候，大家都知道，我们之前讲解过 shuffle 的原理。是按照 ...

2019-08-18 12:36:03 282

原创 Hive压缩优化 - 压缩格式

在生产环境中，随着平台数据量的不断增大，数据的存储面临着一定的挑战，除了能够横向扩展存储集群存储能力外，还可以通过压缩技术减少文件的大小。GZip 和 BZip2压缩格式是所有最近的hadoop版本支持的，linux本地的库也支持这种格式的压缩和解压缩。压缩比：Snappy：50% lz4:50% lzo:48% gzip:31% bzip:27%压缩时间从快到慢排序：Snapp...

2018-12-17 14:57:45 364

原创 Android Studio ：Error（26,13）v7报错

android suidio时的环境问题：之前使用studio3.0由于不稳定，现切换成suidio2.3版本但是创建新项目报错v7包，SDK都下载了但还是错误就改了一下build.Gradle如下图把框起来的这些改成现在所使用的版本，一般我都改成26。保存一下然后Clean Project项目。第二种办法就是还使用V27 ，改buildTypes代码就可以了：r...

2018-03-19 14:08:15 1296 1

大数据知识、面试题 HDFS、Mapreduce、hive

kafka 数据丢失问题,及如何保证1. 数据丢失: a.acks=1 的时候(只保证写入 leader 成功),如果刚好 leader 挂了.数据会丢失. b. Acks=0 的时候, 使用异步模式的时候，该模式下 kafka 无法保证消息,有可能会丢。2. brocker 如何保证不丢失: a.acks=all : 所有副本都写入成功并确认. b. retries = 一个合理值 c.min.insync.replicas=2 消息至少要被写入到这么多副本才算成功. 36d. unclean.leader.election.enable=false 关闭 unclean leader 选举，即不允许非ISR中的副本被选举为 leader，以避免数据丢失. 3. Consumer 如何保证不丢失 a.如果在消息处理完成前就提交了 offset，那么就有可能造成数据的丢失. b. enable.auto.commit=false 关闭自动提交 offset c.处理完数据之后手动提交.

2023-07-27

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人