自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(8)
  • 收藏
  • 关注

原创 大数据入门学习:Hive和HBase的定义及区别

Apache HBase 是一个开源的、分布式的、版本化的、非关系型的数据库。

2023-11-02 21:15:56 53 2

原创 腾讯面试SQL题,有一张用户签到表【t_user_attendence】,标记每天用户是否签到。

腾讯面试题,有一张用户签到表【t_user_attendence】,标记每天用户是否签到(说明:该表包含所有用户所有工作日的出勤记录),表内有三个字段:日期【fdate】,用户id【fuser_id】,用户当天是否签到【fis_sign_in:0否1是】。-- 题目:有一张用户签到表【t_user_attendence】,标记每天用户是否签到(说明:该表包含所有用户所有工作日的出勤记录),

2023-11-01 21:04:06 106

原创 吐血整理!!!全网史上(不是)最详细MapReduce中合并以及组合器和压缩的定义及区别

首先给大家简单介绍一下MapReduce中shuffle机制:●MapReduce中,map阶段处理的数据如何传递给reduce阶段,是MapReduce框架中最关键的一个流程,这个流程就叫shuffle;●shuffle: 洗牌、发牌——(核心机制:数据分区,排序,缓存,合并)●具体来说:就是将MapTask输出的处理结果数据,分发给ReduceTask,并在分发的过程中,对数据按key进行了分区和排序等处理;本质:提前进行聚合,让MapTask分担ReduceTask的工作。

2023-10-30 22:27:32 178 1

原创 深入学习YARN集群的工作流程

如果是 YARN 平台,客户端将对 ResouceManager 发起提交作业申请,具体流程如下:1.Client 对 ResouceManager 发起提交作业申请;2.ResouceManager 返回 JobID(即 Application ID)和保存数据资源(作业的 Jar 文件,配置文件,计算所得输入分片,资源信息等)的临 时目录(使用 JobID 命名的目录,hdfs://xxx/staging/xxx);3.接着 Client 计算

2023-10-23 22:30:22 60 1

原创 乐观锁(CAS)详解 及可能引发的ABA问题的解决

使用CAS会造成ABA问题,一个线程a将数值改成了b,接着又改成了a,此时CAS认为是没有变化,其实是已经变化过了,这种过程就叫ABA问题。解决ABA问题非常简单,就是使用版本号标志,每当修改操作一次版本号加1,这样比较时候,不管比较值还比较了版本号。但是在java5中,已经提供了AtomicStampedReference来解决问题了。

2023-10-19 22:29:03 822

原创 为什么学不完Linux? 基于自身的行为轨迹分析

2.一边看视频一边写笔记,一边跟老师敲代码。3.总是控制不住去群里聊天。我下班了哈哈哈哈哈哈哈哈。这个b班就到此为止吧。

2023-10-18 23:54:56 50 5

原创 主机(虚拟机)间相互免密钥过程

1.生成密钥 2.拷贝公钥 3.检查是否有公钥 4.测试是否免密

2023-10-17 22:43:17 221

转载 什么是黑盒测试白盒测试?以及它们的区别

也称为结构测试,主要用于检测软件编码过程中的错误。程序员的编程经验、对软件的掌握程度、工作状态等因素都会影响到编程质量,导致代码错误。又称为功能测试,主要检测软件的每一个功能是否能够正常使用。在测试过程中,将程序看成不能打开的黑盒子,不考虑程序内部结构和特性的基础上通过程序接口进行测试,检查程序功能是否按照设计需求以及说明书的规定能够正常打开使用。

2023-10-16 22:10:43 125

空空如也

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除