weixin_43303297的博客

原创 HDFS系列：HDFS 中的 Namenode 启动时都做了哪些事？

前言在分布式系统中，整个集群是由主节点和从节点相互配合工作的，其中主节点作为这个集群的老大，承担着更高的职责以及风险，主节点的好坏也决定了整个集群是否能正常的对外工作，因此理解主节点的生命周期是很重要且有意义的事，下面小编将借助源码介绍一下HDFS中主节点Namenode的启动流程，看看它在启动的过程中做了哪些事情。NameNode启动流程解析进入Hadoop的NameNode类中可以发现，在NameNode的类里面一共创建了两个服务端，如图所示，分别是HttpServer服务端以及RpcServer

原创 HDFS架构演变之路

一.引言  至今为止，Hadoop从1.x一直发展到现在的3.x，其内部的分布式存储系统HDFS也在不断的适应如今互联网对安全性、高性能的要求，改进的原因主要是因为如下几个问题：单点故障问题单机内存受限问题如何支撑亿级流量问题  相应地，HDFS也做了两次架构大的改变，下面一一介绍。二.不同版本HDFS的架构设计2.1 Hadoop 1.x  第一代的HDFS架构是一个简单的主从架构，整个集群中有一个主节点和若干个从节点，其中主节点管理着整个集群的元数据，并处理来自客户端的请求，从节点主

转载 回溯算法精髓

回溯算法框架解决一个回溯问题，实际上就是一个决策树的遍历过程。你只需要思考 3 个问题：路径：也就是已经做出的选择选择列表：也就是你当前可以做的选择结束条件：也就是到达决策树底层，无法再做选择的条件如果你不理解这三个词语的解释，没关系，我们后面会用「全排列」和「N 皇后问题」这两个经典的回溯算法问题来帮你理解这些词语是什么意思，现在你先留着印象。代码方面，回溯算法的框架：result = []def backtrack(路径, 选择列表): if 满足结束条件:

原创 Exception in thread "main" org.apache.flink.table.api.NoMatchingTableFactoryException

今天在做Flink table开发的时候报了下面的错：Exception in thread "main" org.apache.flink.table.api.NoMatchingTableFactoryException: Could not find a suitable table factory for 'org.apache.flink.table.delegation.Execut...

原创 java读取excel数据教程

今天写代码要实现一个功能，就是将excel的数据写到txt文件中，上网查了一些资料，发现了一个关于处理excel文件数据的jar包（POI）可以帮助我实现这个功能。实现步骤在pom文件引入开发依赖 <dependency> <groupId>org.apache.poi</groupId> <ar...

原创 having和where的区别

两者区别：本质的区别就是where筛选的是数据库表里面本来就有的字段，而having筛选的字段是从前筛选的字段筛选的。1. where和having都可以使用的场景：select goods_price,goods_name from sw_goods where goods_price>100select goods_price,goods_name from sw_goods h...

原创 线程生命周期

原创 flink中的slot和并行度

一.什么是并行度？能够相互独立，互不干扰的执行同一种算子任务的所有线程集合，称为并行度。就好比有三个人一起去搬砖，事先咱们先把这些砖分为三份，一人一份，这样我们做的事都是搬砖，但是三个人互不影响，你搬你的，我搬我的。二.什么是slot？ flink的每一个application都会根据前后的算子操作划分为一个个Task（就好比spark的stage），每一个Task里面封装了一个个 sub-...

原创 详解Mysql的索引机制

一.首先什么是数据库的索引？       很多人都说索引就像一本书的目录，当我们想要查看一本书具体的某一页的某一段内容时，可以先去查看这本书的目录，从而快速的定位这个内容在哪一页，这样就可以加快我们查询的速度，否则我们要一页一页的翻阅，才能定位到我们想要获取的内容，这样查询效率就会被降低。   ...

原创 idea的maven项目中无法创建scala类解决方法

前言：本人之前已经在idea中安装过scala插件了，并且也已经用scala写过代码了，但是今天当我重新创建一个新的maven项目后却发现右键没有scala类的选项，也就是根本创建不了scala类，这让我百思不得其解，最终找到了答案。原因：具体原因是因为我的module中没有导入scala的sdk，这就好比你的项目中没有引入java jdk是一个道理，于是只要把scala的sdk引入到工程的m...

原创 Flume使用快速入门

1.Flume是什么Flume是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统Flume支持在日志系统中定制各类数据发送方，用于收集数据；Flume提供对数据进行简单处理，并写到各种数据接受方（可定制）的能力。2. Flume的框架Flume 的核心是把数据从数据源收集过来，再送到目的地。为了保证输送一定成功，在送到目的地之前，会先缓存数据...

原创 java-取模运算浅解

缘由：今天在刷题的时候遇到了一个问题，导致明明觉得思路没问题的代码就是通过率不到100%，经过反复推敲才知道问题所在，是因为部分案例溢出导致，这里就会设计一个概念——对数据取模。这里的取模并非我们数学观念中的取绝对值 |f(x)| ，他有点像我们小学学的对一个数取余数，如 a % b = c …d ，这个d就是我们要求的余数，但是取模操作又bu’jin...

原创 sql语句执行顺序---通俗易懂

直奔主题，我们在写sql语句的时候经常会出现很多本不应该犯的错误，这些错误可能是由sql语句执行顺序导致的，而且深入理解sql语句的执行顺序可以帮助我们更好的写sql，所以总结执行顺序总结如下：1. fromfrom这个很好理解，我们sql语句是用来处理数据的，那么第一步首先要把数据拿过来吧，这个from就相当于拿数据一样，把数据从from的地方拿过来。2. join有时候你拿的数据可能不...

原创 spark数据本地化及操作

文章地址连接

原创 各种集合类的底层实现原理

各种集合类的底层实现原理- 链接

原创 algorithm 学习有感

algorithm idea：if you have a problem :暴力行不行？基本情况是什么？找重复问题（子问题）reason： 因为计算机是一个很傻的东西，计算机是由人类发明的，他只会做重复的事情（除了人工智能）...

原创 滑动窗口-应用总结

何为滑动窗口？滑动窗口是运用在数组或者字符串当中的一个抽象概念。他一般的是用两个索引来指代窗口的左边界和右边界，窗口可以根据规则像某一个方向移动（只能向一个方向移动），窗口可变大也可变小（有两个下标控制）。具体应用：问题：给定一个字符串，请你找出其中不含有重复字符的 最长子串 的长度。解析：此题就可以用滑动窗口去做，我们可以初始化窗口的两个边界分别为 i = 0 ，j = 0 ; 然后依次...

原创 EasyUI使用步骤

easyUIjQuery EasyUI是一组基于jQuery的UI插件集合体，而jQuery EasyUI的目标就是帮助web开发者更轻松的打造出功能丰富并且美观的UI界面。开发者不需要编写复杂的javascript，也不需要对css样式有深入的了解，开发者需要了解的只有一些简单的html标签。如何使用easyui？导入项目需要的css文件(两个，注意：css文件里面有图片的相对路径地址,需...

原创 如何将excel中的数据导入到mysql数据库中

这几天我一直想把excel里面的数据导入到mysql数据库中，这个excel里面包含了300人的成绩，每个同学有十几门课，课程名和课程数量也不相同，一共有上千行的数据，如果手撸的话可能要发疯，于是在网上找帖子终于学会了将excel数据导入数据库的方法：实现步骤：借助图形工具SQLYog,右键你创建好的数据库，点击导入->导入外部数据（或者直接按 ctrl+alt+o）；点击下...

原创 关于归并排序的溢出问题解决

今天是耻辱的一天，今天烦躁的一天，烦躁的原因不仅仅是生活中的不如意，还有那该死的程序！原准备写个递归来度过这个物料的周末，结果被一个意想不到的bug搞得我哭笑不得，大家先来看我的递归代码！ public static void mergeSort(int arr[]) { if (arr.length < 2 || arr == null) return; merge(arr...

原创 echarts+ajax 入门教程

什么是echarts?echarts是百度旗下的一个制作页面图表的工具，它是一个使用 JavaScript 实现的开源可视化库，它可以将数据库的数据以折线图、饼状图等一系列形式展现在前端页面上。https://echarts.baidu.com...

原创 springmvc对json的支持

由于我们的jsp页面可以对json进行解析，那么在我们用ajax进行异步通信的时候，可以让服务器返回json形式的对象，传统的将普通数据转换为json需要导入工具， springmvc也不例外，它自带jar包，通过引入jar包和加入注解，就能将普通数据转换成json数据返回给请求页面。json：一种数据传输的格式springmvc可以接受json类型的数据，也可以输出json类...

原创 ajax的使用方法

ajax(异步交互) 的作用ajax是使用javascript完成的，通过在后台与服务器进行少量数据交换，AJAX 可以使网页实现异步更新。这意味着可以在不重新加载整个网页的情况下，对网页的某部分进行更新。异步交互和同步交互的区别同步交互：当浏览器发出一个请求后，必须要等服务器响应完成才能发第二个请求。异步交互：当浏览器发出一个请求后，不需要等服务器完成响应就可以发第二个请求。js中aj...

原创 苹果如何查看beats X的电量

步骤其实很简单，网上很多说的都太过于复杂，首先将屏幕从最低端往上滑会出现下面的界面，这个你们一定会操作的。然后就点击右上方的声波符号，然后就能看到电量了...

原创 springMVC 入门程序

springMVC架构图springmvc工作流程： 当我们输入一个url网址后会向服务器发送请求，根据web.xml文件里面的配置找到对应的前端控制器，前端控制器会初始化一个springmvc容器，根据springmvc.xml配置文件和注解可以找到对应的controller和具体执行方法，方法会返回modelAndView交给示图解析器解析成静态页面。开发步骤：场景：浏览器输入 lis...

原创 spring+mybatis 框架整合

1、思路：从配置文件入手sqlMapConfig.xml存放：别名XXXMapper.xml存放：select update delete 等标签applicationContext.xml存放：数据源sqlSessionFactory事务（暂且不配置）mappers映射器2、步骤创建java工程导jar包 ，mybatis包、mybatis扩展包、...

原创 vivo笔试

vivo笔试题（3道大题）1.工程师小V接到一个任务，有两个整型数组A和B，要求找出数组A中存在的而数组B中不存在的元素，并打印输出（保持原顺序）。例：输入数组A:1 2 3 5 输入数组B：2 3 4输出：1 52.工程师小w在项目开发中，需要将一个单向链表的第M和第N位置间的元素顺序倒转，请输出倒转后的链表。例：3 511 5 8 22 9 5 0 注：第一行的两个整...

原创 快速排序实现代码

快速排序总结在现在的各种排序算法之中，快排应该算是最快的，特别是当基数非常大的时候其特点就能显示出来，但是快排也有其缺点，比如当序列本来就是基本有序的时候那么快排的时间复杂度就会降低。基本思想：1.首先在一个序列中选取一个基准值，从序列两边的数开始和基准值比较，较小的放在基准值的左边，较大的放在基准值的右边，这样就形成了两个子序列，其中左边的序列都比基准值小，右边的序列都比基准值大，这样再对这...

原创 简单排序算法-个人总结

简单排序算法总结最近打球受了点小伤，趁着养伤无聊，写点小算法的总结。今天的算法分别是冒泡排序、优化冒泡排序、选择排序、直接插入排序。想想如果以后我们逛淘宝的时候没有按销售量或者按价格排序这一选项，那么你的购物是多么不方便啊，你要是个不在乎money的人也罢了，可对于那些学生党来说那就不好办了。好了，闲话不多说，咱们进入主题（由java实现）1.冒泡排序冒泡排序的精髓是两两比较，大的后移，这样...

原创 如何解决Android Studio上显示的版本不匹配问题

**如何解决Android Studio上显示的版本不匹配问题**小编今天在学习Android时遇到了一个问题，即我想在模拟器上运行HelloWord时竟然出现错误:Error:(26, 13) Failed to resolve: com.android.support:appcompat-v7:28.+这些代码可是我根据《第一行代码》一步一步操作自动生成的呀，...