Keep_learning&thinking
M&Yang
这个作者很懒,什么都没留下…
展开
-
Spark中parallelize与textFile方法创建RDD时,分区数的计算
1、什么是RDD?(1) RDD的全称为Resilient Distributed Dataset是一个弹性、可复原的分布式数据集,是Spark中最基本的抽象,是一个不可变的、有多个分区的、可以并行计算的集合。(2)RDD中并不装真正要计算的数据,而装的是描述信息,描述以后从哪里读取数据,调用了用什么方法,传入了什么函数,以及依赖关系等。2、使用textFile 方法创建RDD时,分区数计算1、如果用户未设置最小分区数,即取当前CPU核数与2的最小值,验证如下:通过SparkContext原创 2020-12-06 00:39:09 · 816 阅读 · 0 评论 -
kafka核心概念、组件角色介绍
1.kafka是什么?Kafka是一个分布式消息中间件,支持分区的、多副本的、多订阅者的、基于zookeeper协调的分布式消息系统。通俗来说: kafka就是一个存储系统,存储的数据形式为“消息”; 它的主要作用类似于蓄水池,起到一个缓冲作用。2.Kafka中有哪些重要的组件、角色?producer: 消息生产者,就是向kafka broker 发消息的客户端。consumer : 消息消费者,从kafka broker 取消息的客户端。consumer group:原创 2020-11-15 00:29:50 · 1995 阅读 · 0 评论 -
for循环运行流程及while循环的对比特点
常用的循环结构体包含以下三种,其中for循环的使用频率相对较高,以下对其执行流程进行介绍;同时对其与while循环的差别也进行说明,纯属个人经验,不足之处请见谅!/循环结构:for循环:while循环:do…while循环:1. for循环的格式: for(初始化语句 ; 判断语句 ; 循环控制语句){ 循环体语句;}for循环的运行流程: 1.初始化变量,给初始化变量赋值 2.运行判断语句,看判断语句的返回值是否是tru原创 2020-07-27 21:21:23 · 1782 阅读 · 0 评论 -
IntelliJ IDEA 常用快捷<简要汇总>
IntelliJ IDEA 常用快捷简要版最近 无意间翻到各种关于IDEA开发工具快捷键的介绍,有种多、乱的感觉,对于想要通过文档学习的初学者二言,很不友好,于是结合自己的使用经验,总结出下面几种较多使用的快捷键,希望能够给到需要者一些帮助。****Alt+Insert 可以新建类,文件,get或set方法,此快捷键又名创造一切System.out.print(); 键入:sout输入public static void main的首字母:psvm 然后按tab或者enter,就会写好ma原创 2020-07-27 20:35:55 · 133 阅读 · 0 评论