- 博客(27)
- 收藏
- 关注
RSS订阅原创 Spark数据缓存之----------SparkLRU的实现
数据缓存的意义数据缓存机制的主要目的是加速运算。具体来说，就是当应用执行过程中，数据缓存机制对某些需要多次使用（重用）的数据进行缓存。这样，当应用再次访问这些数据时，可以从缓存中读取，避免再次运算，从而减少应用的执行时间。在设计一个高效的缓存机制，包括诸多内容，我们此处就Spark中缓存数据的替换，即LRU算法进行一点分析。SparkLRU的实现LRU，即最近最少使用，在Spark缓存机制中的体现就是优先替换掉当前最久未被使用的RDD。但是在Spark源码中似乎没有相关的LRU算法实现代码。在
2022-05-02 19:26:12
1518
原创 Spark------------宽窄依赖
窄依赖窄依赖（NarrowDependency）官方解释:“Base class for dependncies where each partition of the child RDD depends on a small number of partitions of the parent RDD. Narrow dependencies allow for pipelined execution.”中文意思：“如果新生成的 child RDD 中的每个分区都依赖parent RDD 中的一
2022-04-21 13:40:02
3585
原创 hbase踩坑记---HMaster启动后不久就消失（hbase-2.2.4版本）
版本介绍：hadoop-3.1.3hbase-2.2.4问题简述：在学习HBase的过程中，安装后启动，开始是可以看见HMaster进程的，但是几秒后就消失了，反复尝试了几次，都是同样的情况，也就是启动失败。问题分析：因为HBase与hadoop的兼容性是一个重要的问题，因此我先考虑版本问题，查阅hbase官网,如下图：版本兼容是没有问题的，不过这个问题仍然是是使用hbase需要重点关注的。然后，在查看自己安装流程的过程中，我发现在hbase-site.xml配置中：<proper
2022-03-11 20:35:25
6344
1
转载 Linux下安装MySQL踩坑总结（ERROR 1045 (28000)、ERROR 1193 (HY000)等）------------MySQL5.7版本
问题1：ERROR 1045 (28000): Access denied for user ‘root’@‘localhost’ (using password: YES)解决方案：https://www.cnblogs.com/winton-nfs/p/12956811.html问题2：ERROR 1193 (HY000): Unknown system variable 'validate_password_policy’解决方案：https://www.cnblogs.com/blog
2022-01-19 22:11:18
197
原创 MIT6.824---lab环境准备(linux下安装golang,goland)
前言：MIT6.824是分布式领域的神课，除了课程内容，其中的4个lab更是广受好评，它不但很难、很复杂，而且提供了充分的材料和指引，让这样的难和复杂是可达的，是有意义的。这是课程的链接：mit.824我看的是2020年的版本，lab采用golang作为开发语言，因此我们需要在我们的电脑上部署相应开发环境，我将我的环境部署流程记录下来供大家参考。环境部署：首先说明，尽量采用linux环境，与官方要求保持一致；我使用的是goland作为IDE,大家可以作为参考。一，安装go的开发环境①下载li
2022-01-11 21:26:25
3031
1
原创 Scala之关键字extends，with的理解
前言：在学习Scala的过程中，我会将其中的一些概念与Java进行对照，认为这样有助于快速掌握。关于继承，这是面向对象编程的一个重要特性，Java和Scala在此的相同点是两者都不支持多重继承。但两者分别采取了不同的方式解决此问题。因此，这便由此引出了Scala中的with关键字。在对其进行分析之前，我们先了解一下Java中是如何解决多重继承问题的。Java中：有时必须从几个类中派生出一个子类，继承它们所有的属性和方法。但是，Java不支持多重继承。有了接口，就可以得到多重继承的效果。接口得声
2022-01-09 22:24:49
2939
1
原创 设计模式之Builder模式（链式调用）
问题背景：Builder模式在很多地方都有用到，代码风格也比较简洁，但是对其深入的了解并不多，因此在参考其他博客的基础上写此文章。首先先看我的实际应用到Builder模式的场景：场景一：这是在编写RPC简易框架时，需要输入服务端的配置信息时RPC.Server server = new RPC.Builder(new Configuration()) .setBindAddress("localhost") .setPort(8888
2021-12-29 20:40:33
970
1
原创 Redis踩坑记-------MISCONF Redis is configured to save RDB snapshots, but is currently not able to pe...
先把解决方案写在最前边：如果Redis客户端显示这个信息，在/etc/sysctl.conf 添加一项 'vm.overcommit_memory = 1’ ，然后重启，即可解决问题。以下是我的解决问题的过程问题描述：最近在做一个项目，但进行到准备将采集到的日志数据写入Redis进行去重操作时，遇到了问题，如下：redis.clients.jedis.exceptions.JedisException: Could not get a resource from the pool根据字面意思
2021-12-13 11:03:09
871
原创 springboot项目打包失败----Failed to execute goal org.apache.maven.plugins:maven-resources-plugin:3.2.0...
问题背景：在做一个关于大数据相关项目时，要将使用Springboot所写的程序打包成jar包到集群上运行，但是maven使用进行package一直显示失败，错误信息如下：Failed to execute goal org.apache.maven.plugins:maven-resources-plugin:3.2.0:resources (default-resources) on project gmall-logger: Input length = 1 -> [Help 1]问题分析
2021-11-26 10:13:49
776
原创 push commit到github失败----------OpenSSL SSL_read: Connection was reset, errno 10054
问题背景：最近在做一个项目的时候，采用git进行版本控制，将每天做的工作保存到github远程仓库中，但是在一次进行push操作时，频繁出现错误，提醒如题所示：OpenSSL SSL_read: Connection was reset, errno 10054问题分析：出现问题第一时间先是反复提交几次，因为连接github网络经常出现问题导致连接不上，但一直显示同样的问题；于是在网上查询解决方案，很多博客都提到：$ git config --global http.sslVerify "fals
2021-11-25 17:33:05
217
原创 Kafka踩坑记----bootstrap-server is not a recognized option如何解决
问题背景：最近在做一个数据实时处理的项目，其中用到了Kafka，之前有过了解，但用起来还是不熟悉。如题这个错误，是在做将网站日志发送到Kafka主题中时，项目使用的是Springboot集成的Kafka，当时关于Springboot中Kafka的部分已经完成，zookeeper和kafka已经正常启动，然后在查看当前Kafka中当前主题时出现错误，具体如下：是在输入命令bin/kafka-topics.sh --bootstrap-sever hadoop102:9092 --list后出现问题分
2021-11-23 17:16:37
21225
4
转载 如何高效的阅读hadoop源代码（附各版本源码下载链接）？
谈谈阅读hadoop源代码的经验。首先，不得不说，hadoop发展到现在这个阶段，代码已经变得非常庞大臃肿，如果你直接阅读最新版本的源代码，难度比较大，需要足够的耐心和时间，所以，如果你觉得认真一次，认真阅读一次hadoop源代码，一定要有足够的心理准备和时间预期。其次，需要注意，阅读Hadoop源代码的效率，因人而异，如果你有足够的分布式系统知识储备，看过类似的系统，则能够很快地读它的源代码进行通读，并快速切入你最关注的局部细节，比如你之前看过某个分布式数据库的源代码，对分布式系统的网络通信模块，调度模
2021-11-03 16:25:08
471
原创 Scala之单例对象，伴生对象的理解
前言：Spark—新一代内存级大数据计算框架，是大数据的重要内容。Spark就是使用Scala编写的。因此为了更好的学习Spark, 需要掌握Scala这门语言。在对Scala进行学习时，要经常与Java进行对比。在Scala的学习之中，我们经常会用到单例对象，或者伴生对象的概念，很多时候只是使用，并未对它们进行更进一步的了解，我结合所学聊一下。概念：①单例对象：为了达到完全面对对象，因此没有静态操作；但是为了能够与java进行交互，就产生了特殊的对象来模拟类对象，即单例对象；全局只有一个。
2021-09-24 20:03:03
1157
原创 Spark------------SparkSQL知识点梳理
目录1. 概述1.1 概念1.2 Hive and SparkSQL1.3 特点2. SparkSQL核心编程2.1 DataFrame2.2 DataSet2.3 RDD,DataFrame和DataSet关系3. IDEA开发SparkSQL3.1 开发流程3.2 用户自定义函数4. 数据的读取和保存4.1 加载4.2 保存4.3 操作5. 补充1. 概述1.1 概念Spark SQL 是 Spark 用于结构化数据(structured data)处理的 Spark 模块。1.2 Hive a
2021-09-21 17:34:48
281
原创 Spark------------Spark core关键点梳理
目录1，Spark概念1.1与Hadoop对比2，Spark核心模块3，Spark运行环境3.1 本地3.2 单独部署3.3 结合Yarn3.4 配置高可用3.5 容器部署4，Spark运行架构4.1 Driver4.2 Executor5，Spark核心编程5.1 RDD：弹性分布式数据集RDD---------------(Resilient Distributed Dataset)5.1.1 RDD转换算子5.1.2 RDD行动算子5.1.3 RDD序列化5.1.4 RDD依赖关系5.1.5 RDD持
2021-09-13 19:06:33
208
原创 Leetcode刷题简记-----------118-杨辉三角
题目描述：给定一个非负整数 numRows，生成「杨辉三角」的前 numRows 行。在「杨辉三角」中，每个数是它左上方和右上方的数的和。题目分析：题干只是说了杨辉三角的一个基本概念。其实，杨辉三角，是二项式系数在三角形中的一种几何排列，它有以下性质需要注意：1，每行数字左右对称，由 11 开始逐渐变大再变小，并最终回到 1，也即是说每行的第一个数和最后一个书为1------根据此条件可以写出每行首末元素2，每个数字等于上一行的左右两个数字之和，可用此性质写出整个杨辉三角----------根据
2021-09-02 12:10:20
147
原创 Sublime中安装sftp插件及使用教程
针对Sublime Text 3第一步：先安装Package Control组件，用于管理插件。 按ctrl＋｀组合键，输入以下内容后按Enter键import urllib.request,os; pf = ‘Package Control.sublime-package’; ipp = sublime.installed_packages_path(); urllib.request.install_opener( urllib.request.build_opener( urllib.reque
2021-08-26 10:04:54
1719
1
原创 JVM运行时数据区内部结构之虚拟机栈---关于动态链接的理解
动态链接理解栈是运行时的单位，其中的基本单位称为栈帧，其对应着一次次的java调用；栈帧的内部结构包括局部变量表，操作数栈，动态链接，方法返回地址和一些附加信息五个部分，下边主要谈以下对动态链接的理解。动态链接：也称为指向运行时常量池的方法引用每一个栈帧内部都包含一个指向运行时常量池中所属方法的引用。包含这个引用的目的就是为了支持当前方法的代码能够实现动态链接。在java源文件被编译到字节码文件中时，所有的变量和方法引用都作为符号引用保存在class文件的常量池里，动态链接的作用就是为了将这些符号引
2021-08-03 13:11:50
430
原创 hadoop集群启动需要注意的点，经常踩坑，格式化问题
在hadoop集群搭建完成后，我们需要启动集群进行测试，在这之前需要在集群中namenode节点进行格式化，这里刚开始接触接触hadoop的同学经常踩坑，需注意：仅在集群第一次启动时需要格式化，之后启动不需要；如果之后需要进行格式化，则一定要先停止 namenode 和 datanode 进程，并且要删除所有机器的 data 和 logs 目录，然后再进行格式化。这一条非常重要！！！可用ps命令查看进程情况删除目录一般采用rm -r 目录名，这个命令针对的是非空目录...
2021-07-17 16:13:33
2324
3
原创 hadoop错误：Does not contain a valid host:port authority，勿踩坑
主机的hostname不合法，应修改为不包含着‘.’ ‘/’ '_'等非法字符。我当时主机命名为hadoop_1,导致出现问题，大家在命名主机的时候切记，避开上述非法字符。
2021-07-16 22:36:40
2215
4
原创 hadoop安装环境准备
[hadoop安装—环境准备handoop主要解决海量数据的存储和海量数据的分析计算问题①VMware安装②centOS安装上述两步是基本的虚拟环境的安装配置，网上都有很多教程，不赘述。③ip和主机名称配置 （NAT模式 和桥接模式） 子网IP 使用本地DHCP服务器将IP地址分配给虚拟机vmware网络配置windows网络配置 以太网–>更改适配器–>vmwarenet8依次点击属性，修改默认网关地址和DNS服务器地址centOS网络设置roo
2021-07-13 20:50:01
198
原创 javaweb--书城项目阶段总结（一）
一，表单校验：静态页面 包括：首页，注册，注册成功，登录页面等验证用户名，密码这些用到了正则表达式**
2021-06-07 11:05:22
1460
1
原创 mysql出现1366错误时的解决方案
在往数据库表中插入数据时，提示1366错误，检查并无语法错误，经百度查询后得知是编码集的问题，在网上找了很多解决方案，多次踩坑后终于找到最终的解决方案，如下：1，输入：ALTER TABLE 表名 CONVERT TO CHARACTER SET gbk COLLATE gbk_chinese_ci;2，继续输入：SHOW FULL COLUMNS FROM t_book;可以看到已经将编码集改成gbk,再次输入sql语句显示成功！！！...
2021-05-28 16:48:47
3663
3
原创 Tomcat启动后显示乱码的处理方法
打开tomcat文件夹到conf目录下修改logging.properties找到java.util.logging.ConsoleHandler.encoding = utf-8这行更改为java.util.logging.ConsoleHandler.encoding = GBK
2021-05-17 11:05:56
102
原创 IDEA2020.3.3创建动态web项目并在tomcat部署方法
网上一些javaweb的教程由于时间比较久远，现在IDEA2020.3.3里边关于项目创建所用的方法和视频里有些不同，总结如下：创建项目1，创建动态web项目不是之前 Java Enterprise，而是点击java，创建一个普通的java项目2，项目创建完成后，点击项目右键，点击 Add Framwork Support3，选中Web Application,点击OK，项目创建完成。配置项目到Tomcat服务器1，点击右上角服务器2点击Edit Configuration3，然
2021-05-16 13:21:34
1367
2
原创 mysql完全卸载注意点（经常踩坑）
mysql完全卸载注意点（经常踩坑）mysql完全卸载需要注意：网上有很多关于卸载mysql的博文，介绍的都很详细，基本上该谈的都提到了，但是还是经常再次安装时失败。在清除完所有东西之后，仍然无法安装成功，原因是Mysql Connector Net没有清除掉，而且在控制面板都卸载不了，我踩了几次坑，总结操作如下：在C盘的目录下，有一个隐藏文件——ProgramData，进入C:\ProgramData\MySQL\，删除里面所有文件及文件夹。进入注册表（win10:win+R，输入reg
2021-04-20 15:33:37
229
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人