- 博客(6)
- 收藏
- 关注
RSS订阅原创 SparkRDD理解
谈谈你对spark core的理解： rdd (Resilient Distributed Dataset) 弹性分布式数据集，是spark的基石，是实现spark数据处理的核心抽象，代表一个不可变，可分区，里面的元素可并行计算的集合。 rdd五大特点： 分区：都是逻辑上的分区，是抽象的存在 只读：要想改变RDD的数据，只能创建新的RDD 依赖：指RD...
2022-03-18 09:07:54
170
转载 每日面试题（3）
Redis中基本数据类型以及他们的内部实现方式 字符串（String）： ①int ，8个字节的长整型 ②embstr，小于等于44个字节的字符串 ③raw，大于等于44个字节的字符串 哈希（hash）： 哈希的编码有两种，分别是压缩列表和哈希表。当所有键值对的键和值的长度都小于（默认为64字节），并且键值对的数量小于（默认为512个）的时候，哈希就会使用压缩列表作为编码，否则使用哈希表作为编码。 列表（list）： 列表的内部编码有两种： 压缩列表和链表。压缩列表是由一个连续内存组成的顺序
2022-03-16 16:20:13
68
原创 每日面试题（2）
1.tcp与udp的区别 ①TCP面向连接，UDP是无连接的，即发送数据之前不需要连接 ②TCP提供可靠的服务，通过TCP连接传送的数据无差错，不丢失，不重复，且按序到达。UDP尽最大努力交付但不保证按需按时交付 ③TCP面向字节流，实际上是TCP把数据看成一串无结构的字节流。UDP是面向报文的 ④每一条TCP连接只能是点到点的。UDP支持一对一，一对多，多对一和多对多的交互通信 ⑤TCP首部开销20字节。UDP首部开销只需8字节 ⑥TCP的逻辑通信信道是双全工的可靠信道。UDP则是不可靠信道
2022-03-16 15:39:19
56
原创 每日面试题（1）
1.Hadoop是什么 hadoop是Apache基金会所开发的可靠、高效、可伸缩、可扩展的分布式计算开源框架，利用服务器集群，根据用户的自定义业务逻辑对海量数据进行分布式处理，核心组件包括：HDFS(分布式文件系统)，YARN(运算资源调度系统)，MAPREDUCE(分布式运算编程框架)。 2. Java的特性 1.封装(Encapsulation) ： 定义：是指隐藏对象的属性和实现细节，仅对外提供公共访问方式。 原则：将不需要对外提供的内容都隐藏起来， 把属性都隐藏提供公共方法对其访问 常
2022-03-11 17:58:52
545
原创 zookeeper集群搭建
首先 先测试Hadoop集群时间，确保集群时间同步 Hadoop集群机器策划 192.168.137.2 hadoop01 nn1 dn zk qjm 192.168.137.3 hadoop02 nn2 dn zk qjm 192.168.137.4hadoop03 dn zk qjm JDK规划 ：1.7以上 防火墙规划：系统防火墙关闭 SSH免密码规划 hadoop01可免密访问hadoop02，hadoop03 hadoop02可免密访问hadoop0...
2021-12-15 11:02:56
2213
原创 hadoop集群搭建
一.需要三台主机(1台虚拟机，克隆两个) 192.168.137.1 father MAC地址不同 192.168.137.2 son01 MAC地址不同 192.168.137.3 son02 MAC地址不同 1.1 主机配置 a>先查看父主机ip地址 # ip addr # vi /etc/sysconfig/network-scripts/ifcfg-ens33 b>重启网卡： #systemctl r...
2021-12-06 20:39:11
1589
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人