大数据
文章平均质量分 83
大数据时代,掌握大数据技术要点,争做时代的弄潮儿。
清风画扇
这个作者很懒,什么都没留下…
展开
-
详尽全面而又简单易懂的Scala学习笔记(参上)【不适合零基础】
文章目录写在前边的话一、变量和数据类型1、注释2、标识符的命名规范3、变量4、字符串5、键盘输入6、数据类型7、数字与字符串的转换1、数字与数字的转换2、数字与字符串的转换二、运算符三、流程控制1、块表达式:2、分支控制[if语句]3、for循环4、while、do-while循环5、break、continue四、函数式编程1、方法1、定义语法:2、方法的简化3、方法的参数2、函数1、定义2、高阶函数3、方法与函数的区别4、方法与函数的联系5、匿名函数6、函数柯里化与闭包7、递归8、控制抽象9、惰性求值五原创 2021-06-30 10:13:13 · 230 阅读 · 0 评论 -
Redis入门权威指北
文章目录前言看看业务遇到了什么问题?网站初期网站中期网站后期网站再后期现阶段大致架构NoSQL解决方案Redis1. 简介:Redis的优势Redis 与其他 key-value 存储有什么不同?Redis的应用场景2.Redis的安装3.Redis配置文件1.单位配置2.include参数3.Network参数配置4.general参数配置5.其他4.持久化Redis是怎么进行持久化的?Redis数据都在内存中,内存本身就不是一个持久化设备,一断电或者重启不就木有了嘛?4.1.RDB持久化方式4.1.1R原创 2021-06-16 21:29:00 · 273 阅读 · 0 评论 -
一文搞懂Kafka:女朋友看了也懂的Kafka
文章目录前言:为什么需要Kafka1.初识kafka1.1 消息队列的好处:1.2 **消息队列的两种模式**没有消息队列我们怎么做?传统MQ怎么做?这时候,Kafka就”闪亮登场“了2. Kafka基本架构2.1 **前备知识**:1.消息和批次2.消息模式2.2 架构分析2.3Kafka 特点1.多个生产者2.多个消费者3.基于磁盘的数据存储4.伸缩性5.高性能3 总结前言:为什么需要Kafka举个例子:麦当劳点餐时,当我们选择外带的时候,餐厅制作好餐之后会放在一个取餐台,而且取餐台是按照不同的取餐原创 2021-06-09 21:05:55 · 1592 阅读 · 4 评论 -
Hadoop系列番外篇之一文搞懂Hadoop RPC框架及细节实现(深度好文,纯干货)
网络通信模块是分布式系统中最底层的模块。它直接支撑了上层分布式环境下复杂的进程间通信(Inter-Process Communication, IPC)逻辑,是所有分布式系统的基础。远程过程调用(Remote Procedure Call, RPC)是一种常用的分布式网络通信协议。它允许运行于一台计算机的程序调用另一台计算机的子程序,同时将网络的通信细节隐藏起来,使得用户无须额外地为这个交互作用编程。原创 2021-05-29 09:07:44 · 475 阅读 · 1 评论 -
Hadoop深入浅出MapReduce详解(全网最细)
文章目录前言-MR概述1.Hadoop MapReduce设计思想及优缺点设计思想优点:缺点:2. Hadoop MapReduce核心思想3.MapReduce工作机制剖析MapReduce运行机制过程描述第一阶段:作业提交(图1-4步)第二阶段:作业初始化(图5-7步)第三阶段:任务的分配(图8)第四阶段:任务的执行(图9-11)第五阶段:作业完成Tips 知识点:进度和状态更新4.MR各组成部分工作机制原理4.1概览:4.2 MapTask工作机制4.3 ReduceTask工作机制4.4shuffl原创 2021-05-28 15:10:23 · 10887 阅读 · 2 评论 -
Hive split()、explode()和lateral view 应用单列,多列炸裂
导航基本概念示例数据准备函数应用split()explode()函数总结基本概念在对于SQL的使用中,常常会遇到列转行,或者将一列的数据散列成多行进行统计分析处理的需求,这时候,结合split()、explode()和lateral view 处理这些需求会使得我们得心应手许多。先来了解一下这三个基本的介绍吧。1.Split(str, separator):将字符串按照后面的分隔符切割,转换成字符array。第一个参数是我们需要进行分割的字符串,第二个参数是我们的分割符,其结果时一个数组。和Java原创 2021-05-25 19:56:20 · 4679 阅读 · 0 评论 -
Hadoop从入门到精通第二篇之YARN基础架构剖析
详解Yarn1.Hadoop Yarn 目录组织结构YARN API(hadoop-yarn-api 目录):给出了 YARN 内部涉及的 4 个主要 RPC 协议的 Java 声明和 Protocol Buffers 定义,这 4 个 RPC 协议分别是 ApplicationClientProtocol、 ApplicationMasterProtocol、ContainerManagementProtocol 和 ResourceManagerAdmi nistrationProtocol。Y原创 2021-05-21 11:21:00 · 550 阅读 · 6 评论 -
Hadoop从入门到精通第一篇之HDFS详解——HDFS(分布式文件系统)到底是什么?
导航条例集群NameNode失效会发生什么?引入HDFS设计结论冷热启动怎么抉择?集群NameNode失效会发生什么?Hadoop作为大数据入门的基石内容,其中HDFS更是所有生态的地基,so,我们有必要更深入去理解HDFS,以及HDFS在高可用的演变过程。如果有小可爱说hadoop和HDFS有啥区别的。の。。。,那容我之后在做背书来说明,暖男行为的先提一下:目前我们所说的Hadoop更多是指Hadoop的生态,包括hadoop本身及其他组件,如flume、kafka、hive、Hbase等等,如下图所原创 2021-05-14 16:42:00 · 736 阅读 · 0 评论 -
Linux常用基本命令之大数据开发篇
快速导航Linux大数据开发常用基础命令前言一、常用基础命令之帮助命令1.man命令2.help命令3.常用快捷命令二、文件目录类(重点掌握)1.pwd 显示当前工作目录2.cd 切换目录3.ls 列出目录内容4.mkdir 创建目录5.rmdir 删除空目录6.touch 创建空文件7.cp 复制8.mv 移动文件或重命名Linux大数据开发常用基础命令前言Linux操作系统作为服务器端的主流系统,开发人员难以避免与Linux系统打交道,初步从Windows用户使用Linux系统时,总是有一些不适原创 2021-05-11 21:13:02 · 340 阅读 · 1 评论 -
Java基础之上转型下转型
上下转型class Person{ String name; int age; public void eat(){ System.out.println("人要学会吃饭"); } public void sleep(){ System.out.println("人类必须睡觉才能活着"); }}// 程序员class Programmer{ boolean isCoding; public void sleep(){ System.out.println("程序原创 2021-05-06 19:03:50 · 57 阅读 · 0 评论 -
Linux之VIM编辑器操作命令
文章目录三种模式VI/VIM 是什么?一、一般模式1.1 复制1.2 删除1.3 移动1.4 粘贴和撤销二、编辑模式2.1 进入编辑模式2.2 退出ESC三、命令模式3.1 命令四、模式之间的转换关系三种模式VI/VIM 是什么?VI是Unix操作系统和类Unix操作系统中最通用的文本编辑器。VIM编辑器是从VI发展出来的一个性能更强大的文本编辑器。可以主动的以字体颜色辨别语法的正确性,方便程序设计。一、一般模式以vi/vim打开一个档案就直接进入一般模式了(这是默认的模式)可以使用『上下左右』原创 2021-05-06 18:55:46 · 228 阅读 · 0 评论