![](https://img-blog.csdnimg.cn/20201014180756922.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
分布式
文章平均质量分 66
南望南山
mono的博客
展开
-
Kafka踩坑记----bootstrap-server is not a recognized option如何解决
问题背景:最近在做一个数据实时处理的项目,其中用到了Kafka,之前有过了解,但用起来还是不熟悉。如题这个错误,是在做将网站日志发送到Kafka主题中时,项目使用的是Springboot集成的Kafka,当时关于Springboot中Kafka的部分已经完成,zookeeper和kafka已经正常启动,然后在查看当前Kafka中当前主题时出现错误,具体如下:是在输入命令bin/kafka-topics.sh --bootstrap-sever hadoop102:9092 --list后出现问题分原创 2021-11-23 17:16:37 · 21878 阅读 · 4 评论 -
hadoop安装环境准备
[hadoop安装—环境准备handoop主要解决海量数据的存储和海量数据的分析计算问题①VMware安装②centOS安装上述两步是基本的虚拟环境的安装配置,网上都有很多教程,不赘述。③ip和主机名称配置 (NAT模式 和桥接模式) 子网IP 使用本地DHCP服务器将IP地址分配给虚拟机vmware网络配置windows网络配置 以太网–>更改适配器–>vmwarenet8依次点击属性,修改默认网关地址和DNS服务器地址centOS网络设置roo原创 2021-07-13 20:50:01 · 200 阅读 · 0 评论 -
hbase踩坑记---HMaster启动后不久就消失(hbase-2.2.4版本)
版本介绍:hadoop-3.1.3hbase-2.2.4问题简述:在学习HBase的过程中,安装后启动,开始是可以看见HMaster进程的,但是几秒后就消失了,反复尝试了几次,都是同样的情况,也就是启动失败。问题分析:因为HBase与hadoop的兼容性是一个重要的问题,因此我先考虑版本问题,查阅hbase官网,如下图:版本兼容是没有问题的,不过这个问题仍然是是使用hbase需要重点关注的。然后,在查看自己安装流程的过程中,我发现在hbase-site.xml配置中:<proper原创 2022-03-11 20:35:25 · 6631 阅读 · 1 评论 -
hadoop集群启动需要注意的点,经常踩坑,格式化问题
在hadoop集群搭建完成后,我们需要启动集群进行测试,在这之前需要在集群中namenode节点进行格式化,这里刚开始接触接触hadoop的同学经常踩坑,需注意:仅在集群第一次启动时需要格式化,之后启动不需要;如果之后需要进行格式化,则一定要先停止 namenode 和 datanode 进程,并且要删除所有机器的 data 和 logs 目录,然后再进行格式化。这一条非常重要!!!可用ps命令查看进程情况删除目录一般采用rm -r 目录名,这个命令针对的是非空目录...原创 2021-07-17 16:13:33 · 2374 阅读 · 3 评论 -
hadoop错误:Does not contain a valid host:port authority,勿踩坑
主机的hostname不合法,应修改为不包含着‘.’ ‘/’ '_'等非法字符。我当时主机命名为hadoop_1,导致出现问题,大家在命名主机的时候切记,避开上述非法字符。原创 2021-07-16 22:36:40 · 2290 阅读 · 4 评论 -
如何高效的阅读hadoop源代码(附各版本源码下载链接)?
谈谈阅读hadoop源代码的经验。首先,不得不说,hadoop发展到现在这个阶段,代码已经变得非常庞大臃肿,如果你直接阅读最新版本的源代码,难度比较大,需要足够的耐心和时间,所以,如果你觉得认真一次,认真阅读一次hadoop源代码,一定要有足够的心理准备和时间预期。其次,需要注意,阅读Hadoop源代码的效率,因人而异,如果你有足够的分布式系统知识储备,看过类似的系统,则能够很快地读它的源代码进行通读,并快速切入你最关注的局部细节,比如你之前看过某个分布式数据库的源代码,对分布式系统的网络通信模块,调度模转载 2021-11-03 16:25:08 · 475 阅读 · 0 评论 -
Spark------------Spark core关键点梳理
目录1,Spark概念1.1与Hadoop对比2,Spark核心模块3,Spark运行环境3.1 本地3.2 单独部署3.3 结合Yarn3.4 配置高可用3.5 容器部署4,Spark运行架构4.1 Driver4.2 Executor5,Spark核心编程5.1 RDD:弹性分布式数据集RDD---------------(Resilient Distributed Dataset)5.1.1 RDD转换算子5.1.2 RDD行动算子5.1.3 RDD序列化5.1.4 RDD依赖关系5.1.5 RDD持原创 2021-09-13 19:06:33 · 220 阅读 · 0 评论 -
Spark------------SparkSQL知识点梳理
目录1. 概述1.1 概念1.2 Hive and SparkSQL1.3 特点2. SparkSQL核心编程2.1 DataFrame2.2 DataSet2.3 RDD,DataFrame和DataSet关系3. IDEA开发SparkSQL3.1 开发流程3.2 用户自定义函数4. 数据的读取和保存4.1 加载4.2 保存4.3 操作5. 补充1. 概述1.1 概念Spark SQL 是 Spark 用于结构化数据(structured data)处理的 Spark 模块。1.2 Hive a原创 2021-09-21 17:34:48 · 294 阅读 · 0 评论 -
Scala之关键字extends,with的理解
前言:在学习Scala的过程中,我会将其中的一些概念与Java进行对照,认为这样有助于快速掌握。关于继承,这是面向对象编程的一个重要特性,Java和Scala在此的相同点是两者都不支持多重继承。但两者分别采取了不同的方式解决此问题。因此,这便由此引出了Scala中的with关键字。在对其进行分析之前,我们先了解一下Java中是如何解决多重继承问题的。Java中:有时必须从几个类中派生出一个子类,继承它们所有的属性和方法。但是,Java不支持多重继承。有了接口,就可以得到多重继承的效果。接口得声原创 2022-01-09 22:24:49 · 3018 阅读 · 1 评论 -
Scala之单例对象,伴生对象的理解
前言:Spark—新一代内存级大数据计算框架,是大数据的重要内容。Spark就是使用Scala编写的。因此为了更好的学习Spark, 需要掌握Scala这门语言。在对Scala进行学习时,要经常与Java进行对比。在Scala的学习之中,我们经常会用到单例对象,或者伴生对象的概念,很多时候只是使用,并未对它们进行更进一步的了解,我结合所学聊一下。概念:①单例对象:为了达到完全面对对象,因此没有静态操作;但是为了能够与java进行交互,就产生了特殊的对象来模拟类对象,即单例对象;全局只有一个。原创 2021-09-24 20:03:03 · 1191 阅读 · 0 评论 -
Spark------------宽窄依赖
窄依赖窄依赖(NarrowDependency)官方解释:“Base class for dependncies where each partition of the child RDD depends on a small number of partitions of the parent RDD. Narrow dependencies allow for pipelined execution.”中文意思:“如果新生成的 child RDD 中的每个分区都依赖parent RDD 中的一原创 2022-04-21 13:40:02 · 3598 阅读 · 0 评论 -
Spark数据缓存之----------SparkLRU的实现
数据缓存的意义数据缓存机制的主要目的是加速运算。具体来说,就是当应用执行过程中,数据缓存机制对某些需要多次使用(重用)的数据进行缓存。这样,当应用再次访问这些数据时,可以从缓存中读取,避免再次运算,从而减少应用的执行时间。在设计一个高效的缓存机制,包括诸多内容,我们此处就Spark中缓存数据的替换,即LRU算法进行一点分析。SparkLRU的实现LRU,即最近最少使用,在Spark缓存机制中的体现就是优先替换掉当前最久未被使用的RDD。但是在Spark源码中似乎没有相关的LRU算法实现代码。在原创 2022-05-02 19:26:12 · 1529 阅读 · 0 评论 -
MIT6.824---lab环境准备(linux下安装golang,goland)
前言:MIT6.824是分布式领域的神课,除了课程内容,其中的4个lab更是广受好评,它不但很难、很复杂,而且提供了充分的材料和指引,让这样的难和复杂是可达的,是有意义的。这是课程的链接:mit.824我看的是2020年的版本,lab采用golang作为开发语言,因此我们需要在我们的电脑上部署相应开发环境,我将我的环境部署流程记录下来供大家参考。环境部署:首先说明,尽量采用linux环境,与官方要求保持一致;我使用的是goland作为IDE,大家可以作为参考。一,安装go的开发环境①下载li原创 2022-01-11 21:26:25 · 3119 阅读 · 1 评论