m0_46198684的博客

原创 MapReduce小文件问题产生原因和解决方案，全网最全最精炼

小文件问题1.产生原因：1、 现在我们越来越多的将Hadoop用于（准）实时计算，在做数据抽取时处理的频率可能是每小时，每天，每周等，每次可能就只生成一个不到10MB的文件。2、数据源有大量小文件，未做处理直接拷贝到Hadoop集群。3、MapReduce作业的配置未设置合理的reducer或者未做限制，每个reduce都会生成一个独立的文件。另外如果数据倾斜，导致大量的数据都shuffl...

原创 JVM全网最全最精炼的总结

Java JVMJVM运行机制架构… 运行过程Java源文件被编译器编译成字节码文件。jvm将字节码文件编译成相应的操作系统的机器码。机器码调用相应操作系统的本地方法库执行相应的方法。多线程虚拟机线程：虚拟机线程在jvm到达安全点时出现服务周期线程：通过定时器调度线程来实现周期性操作的执行GC线程：GC线程支持JVM中不同的垃圾回收活动编译器线程：编译...

原创 redis延迟队列-核心原理-实战代码-同步B站视频

哔哩哔哩同步视频https://space.bilibili.com/485586465大量资料免费获取，程序员技术交流。QQ： 1081676257西瓜视频同步视频https://m.ixigua.com/video/app/user/home/?to_user_id=2242632666850584&format=html&app=video_article—————...

原创 redis位图核心原理，实战代码分析-同步B站视频讲解

哔哩哔哩同步视频https://space.bilibili.com/485586465大量资料免费获取，程序员技术交流。QQ： 1081676257西瓜视频同步视频https://m.ixigua.com/video/app/user/home/?to_user_id=2242632666850584&format=html&app=video_article...

原创 redis延迟队列核心原理与实战代码分析-同步B站视频

![哔哩哔哩同步视频https://space.bilibili.com/485586465大量资料免费获取，程序员技术交流。QQ： 1081676257西瓜视频同步视频https://m.ixigua.com/video/app/user/home/?to_user_id=2242632666850584&format=html&app=video_article](ht...

原创 redis分布式锁-同步B站视频讲解

![在这里插入图片描述](https://img-blog.csdnimg.cn/20200418233610692.jpeg?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L20wXzQ2MTk4Njg0,size_16,color_FFFFFF,...

原创 JVM-这一张图就够了

提示：如果看不清，可直接放大浏览器，或者右击保存原图再放大观看

原创 栈原理与应用-快速入门

栈原理在 LIFO 数据结构中，将首先处理添加到队列中的最新元素。与队列不同，栈是一个 LIFO 数据结构。通常，插入操作在栈中被称作入栈 push 。与队列类似，总是在堆栈的末尾添加一个新元素。但是，删除操作，退栈 pop ，将始终删除队列中相对于它的最后一个元素。例题给定一个只包括 ‘(’，’)’，’{’，’}’，’[’，’]’ 的字符串，判断字符串是否有效。有效字符串需满足：...

原创 HashMap和HashSet的原理与应用-快速入门

#哈希表#

原创 Java多线程-这一张图就够了

提示：如果图像不清楚，建议直接放大浏览器或右击保存原图放大

原创 Hive窗口函数-这一张图就够了

提示：如果图像不清楚，建议直接放大浏览器或右击保存原图放大

原创 Redis集群篇-这一张图就够了

提示：如果图像不清楚，建议直接放大浏览器或右击保存原图放大

原创 Redis应用篇-这一张图就够了

如果图片看不清，可直接放大浏览器，或者右击保存原图后放大观看

原创 Java集合-这一张图就够了

原创 Redis原理篇-这一张图就够了

总结于《Redis深度历险》书籍中的原理篇

原创 大数据书籍推荐分享

《图解Spark核心技术与案例分析》链接：https://pan.baidu.com/s/1yzfRnIltX2C-gGVL74PKQA提取码：f4a3

原创 数据倾斜原因解决方案实战案例-这一张图就够了

原创 拉链表-这一张图就够了

原创 MapReduce小文件问题-这一张图就够了

原创 必会SQL面试题-这一张图就够了

原创 数据仓库理论和数据建模-这一张图就够了

原创 Spark 中RDD的实现-这一张图就够了

个人喜欢思维导图的学习方式，该图总结来自于《图解Spark核心技术与案例分析》图书。在书中：3.2 RDD的实现。PDF版在本人热爱技术，博客持续更新，请关注。...

原创 Hadoop常见面试题-这一张图就够了

Hadoop进度: 100%1. 下列哪项通常是集群的最主要瓶颈（C）A. CPUB. 网络C. 磁盘IOD. 内存2. 下列哪项可以作为集群的管理工具？（C）A.PuppetB.PdshC.ClouderaManagerD.Zookeeper3. 下列哪个是Hadoop 运行的模式？（ABC）A. 单机版B. 伪分布式C. 完全分布式4. 列举几个ha...

原创 HDFS读写流程高可用集群应用实践-这一张图就够了

HDFS面试题目录HDFS 中的block 默认保存几份？HDFS 默认BlockSizeClient 端上传文件的时候下列哪项正确下面哪个程序负责HDFS 数据存储？关于SecondaryNameNode 哪项是正确的？下列哪个程序通常与NameNode 在一个节点启动？文件大小默认为64M，改为128M 有啥影响？HDFS 的存储机制（☆☆☆☆☆...

原创 数据质量-这一张图就够了

数据仓库必会面试题数据库和数据仓储的区别:数据库是面向事务的设计，数据仓库是面向主题设计的。 数据库一般存储在线交易数据，数据仓库存储的一般是历史数据。数据库设计是尽量避免冗余，一般采用符合范式的规则来设计，数据仓库在设计是有意引入冗余，采用反范式的方式来设计。数据库是为捕获数据而设计，数据仓库是为分析数据而设计，它的两个基本的元素是维表和事实表。（维是看问题的角度，比如时间，部门，维...