weixin_45747713的博客

时间复杂度和空间复杂度时间复杂度：评估执行程序所需的时间。可以估算出程序对处理器的使用程度。空间复杂度：评估执行程序所需的存储空间。可以估算出程序对计算机内存的使用程度。****推导大O阶有一下三种规则：用常数1取代运行时间中的所有加法常数只保留最高阶项去除最高阶的常数常数阶let sum = 0, n = 10; // 语句执行一次 let sum = (1+n)*n/2; // 语句执行一次 console.log(`The sum is : ${sum}`) //语

ACID原子性(Atomicity):操作过程不可分割,要么都成功，要么都失败一致性(Consistency):事物操作之后，操作前后数据不变;比如转账减少的跟增加的值不变隔离性(Isolation):多个事物之间的操作是分隔的,互不干扰，并发控制机制如果有多个事务去操作同一个数据的时候，就会事务并发问题(双11在线抢购 秒杀)持久性(Durability):成功的完成一个事物处理后，最终commit把数据将永久保存在数据库;Mysql事务mysql> select * from stu

java多线程进程与线程进程当一个程序被运行，就开启了一个进程，程序由指令和数据组成线程一个进程内可分为多个线程一个线程就是一个指令流，cpu调度的最小单位java多线程的基本使用继承Thread类 （可以说是 将任务和线程合并在一起）实现Runnable接口 （可以说是 将任务和线程分开了）实现Callable接口 (利用FutureTask执行任务)上下文切换一个线程被暂停剥夺使用权，另外一个线程被选中开始或者继续运行的过程就叫做上下文切换内核（操作系统的核心）在CPU

设计模式的六大原则1.开放封闭原则尽量通过扩展软件实体来解决需求变化，而不是通过修改已有的代码来完成变化单例模式1.什么是单例保证一个类只有一个实例，并且提供一个全局访问点那些地方用到了单例模式网站的计数器，一般也是采用单例模式实现，否则难以同步。应用程序的日志应用不用单例内容不好追加显示。多线程的线程池的设计一般也是采用单例模式**Windows的（任务管理器）**就是很典型的单例模式说说单例模式的应用(或其它模式的应用场景,或是给一个代码说出它的设计模式)5.应用程

wordCountRDD流程1.首先我们都会这样子执行(wordCount执行在hadoop中)val rdd = sc.textFile(“hdfs://weekday01:9000/wc”).flatMap(.split(" ")).map((,1)).reduceByKey(+)rdd.saveAsTextFile(“hdfs://weekday01:9000/out”)2.内部实现细节1.textFile会产生两个RDD，1.HadoopRDD，为什么第一个是HadoopRDD，因为我

PriorityQueue优先队列代码： //优先队列使用示例 Queue<Customer> customerPriorityQueue = new PriorityQueue<>(7, idComparator); addDataToQueue(customerPriorityQueue); pollDataFromQueue(customerPriorityQueue); //匿名Comparator实现public static Com

MapReduce 执行过程分析Mapreduce-分布式运算框架，用户开发“基于hadoop的数据分析应用”的核心框架Map1.读数据mapTask读取数据源文件进行切片,每一个block启动一个mapTask,每个map task按照行读取一个block中的内容2.处理数据map函数对输入的每一行数据进行处理在内存中将数据存到环形缓冲区(byte[]数组)，进行sort排序，自定义分区（每个分区对应一个reduceTask，缓解数据倾斜问题，可以让后面的reduce平均分摊任务，默认对ke

HashMap之put方法流程解读HashMap的put方法算是HashMap中比较核心的功能了，复杂程度高但是算法巧妙，同时在上一版本的基础之上优化了存储结构，从链表逐步进化成了红黑树，以满足存取性能上的需要。本文逐行分析了put方法的执行流程，重点放在了对整个流程的把握，对于红黑树的执行逻辑只是点到为止，其实HashMap中还有很多细节算法值得分析和学习，本文没有涉及，算是抛砖引玉吧，后面抽空把其他的地方分析一番。源码阅读与分析1、HashMap的put方法，翻看源码： 1 /** 2 *

浅谈一致性hash算法我们在使用Redis的时候，为了保证Redis的高可用，提高Redis的读写性能，最简单的方式我们会做主从复制，组成Master-Master或者Master-Slave的形式，或者搭建Redis集群，进行数据的读写分离，类似于数据库的主从复制和读写分离。为什么要有hash一致性算法?先抛出一个场景:假如我们现在使用的是redis集群，这个时候我们有三个节点,NodeA,NodeB,NodeC,假如我们没有按任何的规则存储数据在这三个节点中，那么当我们需要查找具体的一个key时.

CAP理论CAP原则又称CAP定理，指的是在一个分布式系统中，一致性（Consistency）、可用性（Availability）、分区容错性（Partition tolerance）。CAP原则的精髓就是要么AP，要么CP，要么AC，但是不存在CAP。一致性（Consistency）一致性指“all nodes see the same data at the same time”，即更新操作成功并返回客户端完成后，所有节点在同一时间的数据完全一致。可用性（Availability）可用性指“

hive的调优一、对执行语句进行调优1.开启本地模式，对语句执行时间进行优化2.测试fetch，对语句执行时间进行优化3.执行计划4.设置map任务数量5.设置reduce个数6.join原则7.小文件合并:8. jvm重用:9. 开启 mapjoin10.空值处理二、对文件存储格式进行调优1.hive文件存储格式1.textfile2.sequencefile3.refile4.orcfile5.parquet6.总结2.hive文件存储格式和压缩方式进行测试一、对执行语句进行调优1.开启本地模式，

提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档文章目录前言一、Java内存模型1 工作内存与主内存2.内存间的交互操作二、并发编程中的三个概念？1.原子性2.可见性2.读入数据总结前言提示：以下是本篇文章正文内容，下面案例可供参考一、Java内存模型1 工作内存与主内存Java内存模型定义了程序中各个变量的访问规则。Java线程与内存的关系就好比处理器与内存的关系，每个Java线程独自享有本地工作内存，通过直接对工作内存中的变量进行读写操作来平衡Java线程运算和数据存

“快速失败”也就是fail-fast，它是Java集合的一种错误检测机制。当多个线程对集合进行结构上的改变的操作时，有可能会产生fail-fast机制。记住是有可能，而不是一定。一、fail-fast示例二、fail-fast产生原因三、fail-fast解决办法方案一： 在遍历过程中所有涉及到改变modCount值得地方全部加上synchronized或者直接使用Collections.synchronizedList，这样就可以解决。但是不推荐，因为增删造成的同步锁可能会阻塞遍历操作。方案二： 使用Co

一、subList返回仅仅只是一个视图public static void main(String[] args) { List<Integer> list1 = new ArrayList<Integer>(); list1.add(1); list1.add(2); //通过构造函数新建一个包含list1的列表 list2 List<Integer> list2 = new Array

TreeSet treeReverseStr= new TreeSet();treeReverseStr = (TreeSet) treeStr.descendingSet();Map<String,List> dataMap = new TreeMap<String,List>();dataMap = ((TreeMap) dataMap).descendingMap();

项目场景：mysql插入数据时发生的问题问题描述：Error Number: 1467 Failed to read auto-increment value from storage engine错误号：1467无法从存储引擎读取自动增量值原因分析：ENGINE=InnoDB AUTO_INCREMENT=4294967295解决方案：下面展示一些 内联代码片。ALTER TABLE `YOUR_TABLE` AUTO_INCREMENT =1...

文章目录前言一、负载均衡1.数据平衡不能导致数据块减少，数据块备份丢失2.管理员可以中止数据平衡进程3.每次移动的数据量以及占用的网络资源，必须是可控的4.数据均衡过程，不能影响namenode的正常工作二、该数据均衡算法每次迭代的逻辑1.数据均衡服务（Rebalancing Server）首先要求 NameNode 生成 DataNode 数据分布分析报告,获取每个DataNode磁盘使用情况2 Rebalancing Server汇总需要移动的数据分布情况，计算具体数据块迁移路线图。数据块迁移路线图，.

最大值：200最小值：2最小值分析（图片参考牛客网大佬）操作流程1（线程1）线程1先读i=0，紧接着线程1 i++ 99次 ,此时i的值为99，但未写入到内存中操作流程2（线程2）因为操作1未写入到内存中，内存中i=0，线程2从内存中取i=0操作流程3（线程1）线程1将i=99写入到内存中，此时内存的值为99操作流程4（线程2）线程2此时使用的i是自己的i值，不是内存中i=99这个值.执行i++后,i=1，并将i=1写入到内存中，覆盖了之前内存i=99的值操作流程5（线程1）此时线

文章目录一、关于项目二、项目1.项目演示2.代码总结一、关于项目环境：centos7 Tomcat8.0 IDEAL MySQL hadoop 本云盘系统是基于Hadoop hdfs的集群分布式系统技术 :前端: html5+css3+vue后端: springboot+spring+jpa+spring security+验证码依赖管理: maven数据库:user表: uid uname upwd功能点:1.安全认证实现验证码功能,使用Sprin.

今天开启hadoop的时候进程已经在运行中，出现datanode running as process 1605. Stop it first.错误，导致datenode2节点没有连接得上解决方法： 先执行stop-all.sh下，然后再执行start-all.sh，亲测有效！...