- 博客(6)
- 收藏
- 关注
RSS订阅
原创 Spark中parallelize与textFile方法创建RDD时，分区数的计算
1、什么是RDD？（1） RDD的全称为Resilient Distributed Dataset是一个弹性、可复原的分布式数据集，是Spark中最基本的抽象，是一个不可变的、有多个分区的、可以并行计算的集合。（2）RDD中并不装真正要计算的数据，而装的是描述信息，描述以后从哪里读取数据，调用了用什么方法，传入了什么函数，以及依赖关系等。2、使用textFile 方法创建RDD时，分区数计算1、如果用户未设置最小分区数，即取当前CPU核数与2的最小值，验证如下：通过SparkContext
2020-12-06 00:39:09
802
原创 kafka核心概念、组件角色介绍
1.kafka是什么？Kafka是一个分布式消息中间件,支持分区的、多副本的、多订阅者的、基于zookeeper协调的分布式消息系统。通俗来说： kafka就是一个存储系统，存储的数据形式为“消息”； 它的主要作用类似于蓄水池，起到一个缓冲作用。2.Kafka中有哪些重要的组件、角色？producer: 消息生产者，就是向kafka broker 发消息的客户端。consumer ： 消息消费者，从kafka broker 取消息的客户端。consumer group：
2020-11-15 00:29:50
1956
原创 HDFS核心工作机制
HDFS核心工作机制复习、回顾、简化要点，同时希望能够给到初学者有一定的帮助！HDFS是一一个分布式文件系统(管理系统:提供文件的读取服务、写入服务、查看目录信息服….1. HDFS 是一套分布式软件系统，里面有多重服务角色：namenodedatanode客户端2. 文件在HDFS中是分块存储的，一个文件会被分成多个块（默认按照128M进行物理切块），每个块 随机存储在集群中的某些datanode上；3. 每个块都有一个唯一的块ID;4. 没给块在HDFS中都可以存储多个副本！（默认3个
2020-09-19 21:58:09
171
原创 IntelliJ IDEA 常用快捷＜简要汇总＞
IntelliJ IDEA 常用快捷简要版最近 无意间翻到各种关于IDEA开发工具快捷键的介绍，有种多、乱的感觉，对于想要通过文档学习的初学者二言，很不友好，于是结合自己的使用经验，总结出下面几种较多使用的快捷键，希望能够给到需要者一些帮助。****Alt+Insert 可以新建类，文件，get或set方法，此快捷键又名创造一切System.out.print(); 键入：sout输入public static void main的首字母：psvm 然后按tab或者enter，就会写好ma
2020-07-27 20:35:55
126
原创 for循环运行流程及while循环的对比特点
常用的循环结构体包含以下三种，其中for循环的使用频率相对较高，以下对其执行流程进行介绍；同时对其与while循环的差别也进行说明，纯属个人经验，不足之处请见谅！/循环结构:for循环:while循环:do…while循环:1. for循环的格式: for(初始化语句 ; 判断语句 ; 循环控制语句){ 循环体语句;}for循环的运行流程: 1.初始化变量,给初始化变量赋值 2.运行判断语句,看判断语句的返回值是否是tru
2020-07-27 21:21:23
1764
原创 C语言——算法入门学习
P1.直接插入排序1、基本思想：将右侧 无序区的元素依次插入到左侧 有序区中，如第一步： 将无序区的第一个元素（i） 与 有序区的最后一个元素（j=i-1）进行自右向左的比较；2、算法关键节点for（i=2；i<n;i++) //数组下标从2开始，s[1]（1个元素即为有序序列，没有比较的意义）s[0]=s[i] ;//设置监视哨j=i-1;...
2020-04-26 22:19:27
378
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人