- 博客(6)
- 收藏
- 关注
RSS订阅原创 SparkRDD理解
谈谈你对spark core的理解：rdd (Resilient Distributed Dataset) 弹性分布式数据集，是spark的基石，是实现spark数据处理的核心抽象，代表一个不可变，可分区，里面的元素可并行计算的集合。rdd五大特点： 分区：都是逻辑上的分区，是抽象的存在 只读：要想改变RDD的数据，只能创建新的RDD 依赖：指RD...
2022-03-18 09:07:54
184
转载 每日面试题（3）
Redis中基本数据类型以及他们的内部实现方式字符串（String）：①int ，8个字节的长整型②embstr，小于等于44个字节的字符串③raw，大于等于44个字节的字符串哈希（hash）：哈希的编码有两种，分别是压缩列表和哈希表。当所有键值对的键和值的长度都小于（默认为64字节），并且键值对的数量小于（默认为512个）的时候，哈希就会使用压缩列表作为编码，否则使用哈希表作为编码。列表（list）：列表的内部编码有两种： 压缩列表和链表。压缩列表是由一个连续内存组成的顺序
2022-03-16 16:20:13
74
原创 每日面试题（2）
1.tcp与udp的区别①TCP面向连接，UDP是无连接的，即发送数据之前不需要连接②TCP提供可靠的服务，通过TCP连接传送的数据无差错，不丢失，不重复，且按序到达。UDP尽最大努力交付但不保证按需按时交付③TCP面向字节流，实际上是TCP把数据看成一串无结构的字节流。UDP是面向报文的④每一条TCP连接只能是点到点的。UDP支持一对一，一对多，多对一和多对多的交互通信⑤TCP首部开销20字节。UDP首部开销只需8字节⑥TCP的逻辑通信信道是双全工的可靠信道。UDP则是不可靠信道
2022-03-16 15:39:19
64
原创 每日面试题（1）
1.Hadoop是什么hadoop是Apache基金会所开发的可靠、高效、可伸缩、可扩展的分布式计算开源框架，利用服务器集群，根据用户的自定义业务逻辑对海量数据进行分布式处理，核心组件包括：HDFS(分布式文件系统)，YARN(运算资源调度系统)，MAPREDUCE(分布式运算编程框架)。2. Java的特性1.封装(Encapsulation) ：定义：是指隐藏对象的属性和实现细节，仅对外提供公共访问方式。原则：将不需要对外提供的内容都隐藏起来， 把属性都隐藏提供公共方法对其访问常
2022-03-11 17:58:52
554
原创 zookeeper集群搭建
首先 先测试Hadoop集群时间，确保集群时间同步Hadoop集群机器策划192.168.137.2 hadoop01 nn1 dn zk qjm192.168.137.3 hadoop02 nn2 dn zk qjm192.168.137.4hadoop03 dn zk qjmJDK规划 ：1.7以上防火墙规划：系统防火墙关闭SSH免密码规划hadoop01可免密访问hadoop02，hadoop03hadoop02可免密访问hadoop0...
2021-12-15 11:02:56
2221
原创 hadoop集群搭建
一.需要三台主机(1台虚拟机，克隆两个)192.168.137.1 father MAC地址不同192.168.137.2 son01 MAC地址不同192.168.137.3 son02 MAC地址不同1.1 主机配置a>先查看父主机ip地址# ip addr# vi /etc/sysconfig/network-scripts/ifcfg-ens33b>重启网卡：#systemctl r...
2021-12-06 20:39:11
1604
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人