u012501054的博客

转自：https://blog.csdn.net/qq_15329947/article/details/964824331. 问题背景最近，一个朋友的项目经理指出他的 SQL 写得有问题。朋友的 SQL 大致如下，他的想法是常规操作，直接使用 JOIN … ON … 做联表查询：select needed cols... from t1inner join t2 on t1.col12 = t2.col12inner join t3 on t2.col23 = t3.col23;1..

1.问题出现场景：当安装(ccf1) C:\Users\mi\Documents>pip install jupyterthemes时，2.出现的原因：是因为权限不够。3.解决的方案：增加管理员的权限(ccf1) C:\Users\mi\Documents>pip install --user jupyterthemes...

一、正常处理流程  先读cache，如果数据命中则返回；如果数据未命中则读db；将db中读取出来的数据入缓存。private Map cache = new ConcrrentHashMap();Object getFromCache(String key){ Object value = cache.get(key); if(value==null){ ...

1 写在前面1.1 名词解释consumer表示服务调用方provider标示服务提供方，dubbo里面一般就这么讲。下面的A调用B服务，一般是泛指调用B服务里面的一个接口。1.2 拓扑图大写字母表示不同的服务，后面的序号表示同一个服务部署在不同机器的实例。2 从微观角度思考2.1 超时（timeout）在接口调用过程中，consu...

public class HashMap{ public static void main(String[] args){ put("aa", "wo ai ni"); System.out.println(get("aa")); } //首先定义一个Object...

转自：https://www.cnblogs.com/chenziyu/p/9547343.htmlaop是spring的两大功能模块之一，功能非常强大，为解耦提供了非常优秀的解决方案。现在就以springboot中aop的使用来了解一下aop。一：使用aop来完成全局请求日志处理创建一个springboot的web项目，勾选aop，pom如下：<?xml vers...

转自：https://www.jianshu.com/p/4d22ea402d14AOP：面向切面编程，相对于OOP面向对象编程Spring的AOP的存在目的是为了解耦。AOP可以让一组类共享相同的行为。在OOP中只能继承和实现接口，且类继承只能单继承，阻碍更多行为添加到一组类上，AOP弥补了OOP的不足。还有就是为了清晰的逻辑，让业务逻辑关注业务本身，不用去关心其它的事情，比如事务。...

转自：https://blog.csdn.net/qq1404510094/article/details/80577555Annotation 中文译过来就是注解、标释的意思，在 Java 中注解是一个很重要的知识点，但经常还是有点让新手不容易理解。初学者可以这样理解注解：想像代码具有生命，注解就是对于代码中某些鲜活个体的贴上去的一张标签。简化来讲，注解如同一张标签。在未开始学习任何...

转自：https://www.cnblogs.com/hapjin/p/4678773.html在JAVA多线程编程中，将需要并发执行的代码放在Thread类的run方法里面，然后创建多个Thread类的对象，调用start()方法，线程启动执行。当某段代码需要互斥时，可以用 synchronized 关键字修饰，这里讨论 synchronized 关键字修饰方法时，是如何互斥的。sy...

我们使用工具的时候，一般都会把工具的界面上所有功能都看一遍，然后使用一遍，看看究竟该功能能不能提供一些开发或学习上面的便利，所谓工欲善其事必先利其器嘛。有两个功能在看源码时是非常方便的。其中我要重点介绍一个功能，那就是 type hierarchy。常用eclipse的同学都知道，quick type hierarchy的快捷键是 Ctrl + T，它可以快速查看类的继承结构，并且有一个...

转自：https://blog.csdn.net/weixin_42641909/article/details/894450451. 导入pom依赖<dependency> <groupId>org.apache.hbase</groupId> <artifactId>hbase-client</artifa...

转自：https://blog.csdn.net/jiao_zg/article/details/78911469当使用匿名内部类的时候，如果匿名内部类需要访问匿名内部类所在方法中的局部变量的时候，必须给局部变量加final进行修饰。不加final修饰的局部变量，匿名内部类是访问不到的。这是为什么呢？网上有两种说法，第一种说法是从java编程思想那本书演化出来的，然而遭到了第二种说法的 反...

转自：https://blog.csdn.net/feeltouch/article/details/83796764基础理解都是实现获取在classpath路径下的资源文件的输入流。为什么是classpath而不是src，因为当web项目运行时,IDE编译器会把src下的一些资源文件移至WEB-INF/classes，classPath目录其实就是这个classes目录。这个目录下放的...

转自：https://blog.csdn.net/m0_38039437/article/details/75264012一、HttpServlet简介1、HttpServlet是GenericServlet的子类，又是在GenericServlet的基础上做了增强。2、HttpServlet方法二、HTTP实现doGet或doPost请求项目介绍1、通过实现do...

背景org.springframework.beans及org.springframework.context这两个包是Spring IoC容器的基础，其中重要的类有BeanFactory，BeanFactory是IoC容器的核心接口，其职责包括：实例化、定位、配置应用程序中的对象及建立这些对象间的依赖关系。ApplicationContext作为BeanFactory的子类，在Bea...

0和#都是占位符，但在不同的地方，作用不一样0： 比实际数字的位数多，不足的地方用0补上。 new DecimalFormat("00.00").format(3.14) //结果：03.14 new DecimalFormat("0.000").format(3.14) //结果： 3.140 new DecimalFormat("00.000").form...

转自：https://blog.csdn.net/qq_39479575/article/details/78534214curl -o /dev/null -s -w '%{time_connect}:%{time_starttransfer}:%{time_total}
' 'http://kisspeach.com'0.081:0.272:0.77912下面给出对kisspea...

在/home/admin/test/下新建test.sh内容如下： cd `dirname $0` echo `pwd`然后返回到/home/admin/执行sh test/test.sh运行结果:/home/admin/test这样就可以知道一些和脚本一起部署的文件的位置了，只要知道相对位置就可以根据这个目录来定位，而可以不用关心绝对位置。这样脚本的可移植性就...

转自：https://blog.csdn.net/quliuwuyiz/article/details/79979031前提说明为了确保服务不会被过多的http长连接压垮，我们需要对tomcat设定个最大连接数，超过这个连接数的请求会拒绝，让其负载到其它机器。达到保护自己的同时起到连接数负载均衡的作用。动手去做一开始根据故障todoList提供的参数MaxKeepAliveReques...

以下例子springboot后端地址为:localhost:7080/pingandaivue前端地址为:locahost:8080/pingandai/1、如果路由模式设置的是history。那么最好带上base，（base是根目录的地址，比如你在页面上访问localhost:8080/b，那么它会自动跳转到localhost:8080/pingandai/b路径上）打...

在 JDK 1.8 中，重新映射节点需要考虑节点类型。对于树形节点，需先拆分红黑树再映射。对于链表类型节点，则需先对链表进行分组，然后再映射。需要的注意的是，分组后，组内节点相对位置保持不变。关于红黑树拆分的逻辑将会放在下一小节说明，先来看看链表是怎样进行分组映射的。我们都知道往底层数据结构中插入节点时，一般都是先通过模运算计算桶位置，接着把节点放入桶中即可。事实上，我们可以把重新映射看做插入...

例如本地有jdlm-sdk-2.2.jar，如果只是在本地打fat-jar，那直接默认配置就可以如果是在一个未知的服务器上，例如使用JCI，则需要如下操作：首先如图所示放置jar和assembly.xml接下来配置pomassembly.xml文件配置如下：代码部分可以从https://blog.csdn.net/w_quan/article/details/8...

其实要承认，一个东西用久了都会有习惯心理。mybatis和jpa，两个持久层框架。从底层到用法都不同。但是实现的功能是一样的。所以说一直以来颇有争议。常年混迹于各大qq技术交流群。见过jpa的死忠粉也见过mybatis的铁杆。作为一个不到两年工作经验的小菜鸟来说，你让我分析源码，讲什么底层实现我是讲不出来的。只能作为一个使用者，来谈谈自己对这两个框架的理解。首先，都知道jpa的前身是著名的ss...

1.依赖冲突发生原因大多数的依赖冲突发生的原因是因为maven的传递依赖会引入很多隐式的依赖，这些依赖可能会和我们显示依赖版本不一致。传递依赖如图，我们显示依赖了 spring-boot1.5.9，和spring-core4.0.8（当然这种情况在正常情况下不会发生）在这种情况，根据Maven的最短依赖路径原则，会使用spring-core4.0.8当在启动项目的时候...

转自：https://blog.csdn.net/qq_33541575/article/details/80211122配置Maven Helper插件因为在准备讲Maven用Maven Helper插件的时候，在网上学习，发现资料很少，我就把自己研究的配置分享给大家！！IDEA(本人用的2017.2版本)IDEA设置：已打开软件：File-->...

转自：https://www.cnblogs.com/lenve/p/11156340.html前两天被人问到这样一个问题:“松哥，为什么我的 Spring Boot 项目打包成的 jar ，被其他项目依赖之后，总是报找不到类的错误？”大伙有这样的疑问，就是因为还没搞清楚可执行 jar 和普通 jar 到底有什么区别？今天松哥就和大家来聊一聊这个问题。多了一个插件Spring ...

转自：https://blog.csdn.net/g56467467464/article/details/102686608场景:因为之前用到的是,基于springboot框架所搭建的maven工程,而且都是相互独立的。现研发经理要求将所有工程进行整合和规范化,所以抽出一个parent父工程,base基础模块(包含一些公用的实体类和工具类等),以及其他子模块(Module A、 Modu...

转自：https://blog.csdn.net/wangjun5159/article/details/98849661HandlerMappingHandlerMapping是request与handler object之间的映射，它能根据request找到对应的handler。handler object总会被包装成HandlerExecutionChain ，HandlerExecu...

转自：https://www.jb51.net/article/132619.htm这篇文章主要介绍了SpringBoot之logback-spring.xml不生效的解决方法，觉得挺不错的，现在分享给大家，也给大家做个参考。一起来看看吧目录一、前言 二、问题产生 三、问题分析 四、问题解决 五、总结一、前言做新应用就是这样，会遇到各种问题，昨天刚解决了加载某一...

转自：https://www.jianshu.com/p/c9437365702c金额计算不能用double!!!!金额计算不能用double!!!!金额计算不能用double!!!!重要的事情讲三遍。先说一下产生丢失精度的原因：浮点数不精确的根本原因在于尾数部分的位数是固定的，一旦需要表示的数字的精度高于浮点数的精度，那么必然产生误差！这在处理金融数据的情况下是绝对不允许存在的...

Spring 是一个开源框架，为简化企业级应用开发而生。Spring 可以是使简单的 JavaBean 实现以前只有 EJB 才能实现的功能。Spring 是一个 IOC 和 AOP 容器框架。Spring 容器的主要核心是：控制反转（IOC），传统的 java 开发模式中，当需要一个对象时，我们会自己使用 new 或者 getInstance 等直接或者间接调用构造方法创建一个对象。而在...

以一个简单的请求为例（实际RedisController包含多个请求）@RestController@RequestMapping("/redis")public class RedisController { @RequestMapping(value = {"/getmsg"}) public String getmsg(){ return ...

dispatcherServlet 作用：dispatcherServlet 是作为我们spring web应用的 front controller 前端控制器，继承自servlet，拦截/* 的请求，然后根据请求的uri，将请求分发给我们的application controller（command）去处理具体的请求，1.spring我们以前用spring +spring mvc ...

MYSQL中TRUNCATE和DELETE都能够清理表中的数据，但是他们有什么区别呢？我们从下面的几点来分析：image.png1. 条件删除这个比较好理解，因为DELETE是可以带WHERE的，所以支持条件删除；而TRUNCATE只能删除整个表。# delete - 条件删除DELETE FROM student WHERE id = 1;# delete ...

　1. 首先String不属于8种基本数据类型，String是一个对象。　　　 因为对象的默认值是null，所以String的默认值也是null；但它又是一种特殊的对象，有其它对象没有的一些特性。　　2. new String()和new String(“”)都是申明一个新的空字符串，是空串不是null；　　3. String str=”kvill”；　　　 String str...

注：本文中所有的“@Autowired和@Resource注入的先手顺序”一词都是指两个注解类是先通过Type注入还是先通过Name注入，并非是指两个注解在spring中执行的先后顺序最近听子路老师讲课，课上讲解关于@Autowired和@Resource是先通过type还是先通过name注入属性的知识有点心得。子路老师从源码的角度给大家讲了两个注解的先后顺序，但是如何通过应用的层面来进行...

现有一张表：行号 info edu name gender level 001 zhangSan male graduated 002 WangMaZi female post_graduated 一、建表　　1、语法（只需表明，各列族名）：　　　　(1)：create <tabl...

继续学习这四个分析函数。注意： 这几个函数不支持WINDOW子句。（什么是WINDOW子句，点此查看前面的文章）Hive版本为 apache-hive-0.13.1数据准备：cookie1,2015-04-10 10:00:02,url2 cookie1,2015-04-10 10:00:00,url1 cookie1,2015-04-10 10:03:04,1ur...

窗口函数语法：Function() OVER ([PARTITION BY <...>] [ORDER BY <...>] [Window Specification]) PARTITION BY定义窗口分区，控制哪些数据行和当前数据行在同一个分区。ORDER BY定义窗口排序，控制分区内的排序方式，决定了当前行在分内的位置。Window Spec...

注意⚠️https协议需要到ca申请证书，一般免费证书很少，需要交费。http是超文本传输协议，信息是明文传输，https 则是具有安全性的ssl加密传输协议http和https使用的是完全不同的连接方式用的端口也不一样,前者是80,后者是443HTTP的缺点HTTP主要有这些不足：通信使用明文,内容可能被窃听不验证通信方身份,因此有可能遭遇伪装无法验证...

Spark中分区器直接决定了RDD中分区的个数、RDD中每条数据经过Shuffle过程属于哪个分区和Reduce的个数注意：(1)只有Key-Value类型的RDD才有分区的，非Key-Value类型的RDD分区的值是None(2)每个RDD的分区ID范围：0~numPartitions-1，决定这个值是属于那个分区的。分区方式的优劣HashPartitioner分区...

如果设置hive.map.aggr为true,hive.groupby.skewindata(数据倾斜时负载均衡)为true，执行流程如下：1.会生成两个job来执行group by，第一个job中，各个map是平均读取分片的，在map阶段对这个分片中的数据根据group by 的key进行局部聚合操作，这里就相当于Combiner操作。2.在第一次的job中，map输出的结果随机分区，这样...

业务情景一：hive加载json数据到表中：linux本地创建文件people.json数据为：{"name":"Michael"}{"name":"Andy", "age":30}{"name":"Justin", "age":19}创建表：CREATE TABLE ods.spark_people_json ( `name` ...

hive.exec.parallel参数控制在同一个sql中的不同的job是否可以同时运行,默认为false.下面是对于该参数的测试过程:测试sql: select r1.a from ( select t.a from sunwg_10 t join sunwg_10000000 s on t.a=s.b) r1 join (s...

一）hive中支持两种类型的分区：静态分区SP（static partition）动态分区DP（dynamic partition）静态分区与动态分区的主要区别在于静态分区是手动指定，而动态分区是通过数据来进行判断。详细来说，静态分区的列实在编译时期，通过用户传递来决定的；动态分区只有在SQL执行时才能决定。二）实战演示如何在hive中使用动态分区1、创建一张分区表，包含两个分区d...

好了，进入正题。今天我们要探讨的话题是Hive的里面的表与外部表两个概念，以及如何在Hive里面创建表和外部表，它们之间有什么区别等话题。在本博客的让你彻底明白hive数据存储各种模式文章里面我们谈到了Hive的数据存储模式，里面简单的说到Hive中表以及外部表的简单概念，相信很多读者对这些概念还不是很了解，今天就给大家科普一下，希望对大家有所帮助。　　相信很多用户都用过关系型数据库，我们可以...

背景随着大数据时代的到来，越来越多的数据流向了Hadoop生态圈，同时对于能够快速的从TB甚至PB级别的数据中获取有价值的数据对于一个产品和公司来说更加重要，在Hadoop生态圈的快速发展过程中，涌现了一批开源的数据分析引擎，例如Hive、Spark SQL、Impala、Presto等，同时也产生了多个高性能的列式存储格式，例如RCFile、ORC、Parquet等，本文主要从实现的角度上对比...

谓词下推概念谓词下推 Predicate Pushdown（PPD）：简而言之，就是在不影响结果的情况下，尽量将过滤条件提前执行。谓词下推后，过滤条件在map端执行，减少了map端的输出，降低了数据在集群上传输的量，节约了集群的资源，也提升了任务的性能。PPD 配置PPD控制参数：hive.optimize.ppdDefault Value: trueAdded In: Hive 0...

Scala 允许你指明函数的最后一个参数可以是重复的。这可以允许客户向函数传入可变长度参数列表。想要标注一个重复参数，在参数的类型之后放一个星号。例如：scala> def echo(args: String*) =for (arg <- args) println(arg)echo: (String*)Unit这样定义， echo 可以被零个至多个 String 参数调...

所谓魔法数值，是指在代码中直接出现的数值，只有在这个数值记述的那部分代码中才能明确了解其含义。　　魔法数值使代码的可读性大大下降。而且，如果同样的数值多次出现时，到底这些数值是不是带有同样的含义呢，谁也说不清楚。另一方面，如果本来应该使用相同数值的地方，一旦用错了，也很难发现。因此，需要注意以下几点，极力避免使用魔法数值。　　① 不使用魔法数值，代之以有名字的Static fin...

一、概述在多维分析的商业智能解决方案中，根据事实表和维度表的关系，又可将常见的模型分为星型模型和雪花型模型。在设计逻辑型数据的模型的时候，就应考虑数据是按照星型模型还是雪花型模型进行组织。当所有维表都直接连接到“ 事实表”上时，整个图解就像星星一样，故将该模型称为星型模型，如图 1 。星型架构是一种非正规化的结构，多维数据集的每一个维度都直接与事实表相连接，不存在渐变维度，所以数据有一...

此规范源自滴滴工作期间的实践一、数仓层级层级 全拼 中文说明 备注 dim dimension 维度层 DIM数据层的表主要存放维度数据。数据表可以由手动维护的一个文件生成，或者先将mysql的原始数据表拉取到ods层，在通过HQL转换为dim表。该层为维度数据，维度是对具体分析对象的分析角度，维度要具备丰富的属性，历史信息的可追溯性，对通用的维表...

继基础篇讲解了每个Spark开发人员都必须熟知的开发调优与资源调优之后，本文作为《Spark性能优化指南》的高级篇，将深入分析数据倾斜调优与shuffle调优，以解决更加棘手的性能问题。调优概述有的时候，我们可能会遇到大数据计算中一个最棘手的问题——数据倾斜，此时Spark作业的性能会比期望差很多。数据倾斜调优，就是使用各种技术方案解决不同类型的数据倾斜问题，以保证Spark作业的性能。...

今天正好碰到这个问题，也疑惑了好久。看了一圈知乎上的答案，感觉没说到根上。所以自己又好好Google了一下，终于找到了让自己信服的解释。先说两个概念：锁池和等待池锁池:假设线程A已经拥有了某个对象(注意:不是类)的锁，而其它的线程想要调用这个对象的某个synchronized方法(或者synchronized块)，由于这些线程在进入对象的synchronized方法之前必须先获得该对象的锁...

一个线程在未正常结束之前, 被强制终止是很危险的事情. 因为它可能带来完全预料不到的严重后果比如会带着自己所持有的锁而永远的休眠，迟迟不归还锁等。 所以你看到Thread.suspend, Thread.stop等方法都被Deprecated了那么不能直接把一个线程搞挂掉, 但有时候又有必要让一个线程死掉, 或者让它结束某种等待的状态 该怎么办呢?一个比较优雅而安全的做法是:使用等待/通知机制...

当一个方法后面声明可能会抛出InterruptedException 异常时，说明该方法是可能会花一点时间，但是可以取消的方法。抛InterruptedException的代表方法有：1. java.lang.Object 类的 wait 方法2. java.lang.Thread 类的 sleep 方法3. java.lang.Thread 类的 join 方法-...

从 acquire 方法开始 —— 获取 为什么 AQS 需要一个虚拟 head 节点 reelase 方法如何释放锁 总结前言AQS 是 JUC 中的核心，其中封装了资源的获取和释放，在我们之前的并发编程之 AQS 源码剖析文章中，我们已经从 ReentranLock 那里分析了锁的获取和释放。但我有必要再次解释 AQS 的核心 CLH 锁。这里引用一下别人对于 CLH 的解...

此篇博客所有源码均来自JDK 1.8越是核心的东西越是要反复看，本文篇幅较长，希望各位细细品读，来回多读几遍理解下。AQS简介java的内置锁一直都是备受争议的，在JDK 1.6之前，synchronized这个重量级锁其性能一直都是较为低下，虽然在1.6后，进行大量的锁优化策略,但是与Lock相比synchronized还是存在一些缺陷的：虽然synchronized提供了便捷性...

总体来说多数据源配置有两种方式，一种是静态的，一种是动态的。静态的方式我们以两套配置方式为例，在项目中有两套配置文件，两套mapper，两套SqlSessionFactory，各自处理各自的业务，这个两套mapper都可以进行增删改查的操作，在这两个主MYSQL后也可以各自配置自己的slave，实现数据的备份。如果在增加一个数据源就得从头到尾的增加一遍。先看看两个配置文件：##...

spring结合mybatis时一级缓存失效问题之前了解到mybatis的一级缓存是默认开启的，作用域是sqlSession,是基 HashMap的本地缓存。不同的SqlSession之间的缓存数据区域互不影响。当进行select、update、delete操作后并且commit事物到数据库之后，sqlSession中的Cache自动被清空<setting name="localC...

在分布式环境中，一个应用通常都会部署在多个服务器节点上。如果这些应用节点的运行模式是一主多从或者多主多从，这时就需要用到Leader选举策略，从多个节点中选举出Master节点。另外，当某个Master节点意外宕机，这时也需要用到Leader选举策略从它的多个Slave节点中选举出新的Master节点对于Leader选举策略，Apache Curator框架提供了两种策略，开发者可以根据实际需...

假设在你的hdfs集群上有一个/user/hadoop/output目录里面有作业执行的结果（多个文件组成）part-000000,part-000001,part-000002然后你想把所有的文件合拢来一起看 可以使用命令：hadoop fs -getmerge /user/hadoop/output local_file然后就可以在本地使用vi local_file查看内容了...

重分区函数： repartition(numPartitions:Int):RDD[T] coalesce(numPartitions:Int，shuffle:Boolean=false):RDD[T] 它们两个都是RDD的分区进行重新划分，repartition只是coalesce接口中shuffle为true的简易实现，（假设RDD有N个分区，需要重新划分成M个分...

一、什么是数据本地性（data locality）大数据中有一个很有名的概念就是“移动数据不如移动计算”，之所以有数据本地性就是因为数据在网络中传输会有不小的I/O消耗，如果能够想办法尽量减少这个I/O消耗就能够提升效率。那么如何减少I/O消耗呢，当然是尽量不让数据在网络上传输，即使无法避免数据在网络上传输，也要尽量缩短传输距离，这个数据需要传输多远的距离（实际意味着数据传输的代价）就是数据本...

最近在学习spark，理解这两个函数时候费了一些劲，现在记录一下。1. rdd.fold(value)(func)说到fold()函数，就不得不提一下reduce()函数，他俩的区别就在于一个初始值。reduce()函数是这样写的：rdd.reduce(func)参数是一个函数，这个函数的对rdd中的所有数据进行某种操作，比如：val l = List(1,2,3,4)...

fold算子签名：def fold(zeroValue: T)(op: (T, T) => T): T ,算子其实就是先对rdd分区的每一个分区进行使用op函数，在调用op函数过程中将zeroValue参与计算，最后在对每一个分区的结果调用op函数，同理此处zeroValue再次参与计算！此处op函数为： val add = (x: Int, y: Int) => {...

Spark 作为一个基于内存的分布式计算引擎，其内存管理模块在整个系统中扮演着非常重要的角色。理解 Spark 内存管理的基本原理，有助于更好地开发 Spark 应用程序和进行性能调优。本文旨在梳理出 Spark 内存管理的脉络，抛砖引玉，引出读者对这个话题的深入探讨。本文中阐述的原理基于 Spark 2.1 版本，阅读本文需要读者有一定的 Spark 和 Java 基础，了解 RDD、Shuff...

摘要： 1 shuffle原理　　1.1 mapreduce的shuffle原理　　　　1.1.1 map task端操作　　　　1.1.2 reduce task端操作　　 1.2 spark现在的SortShuffleManager 2 Shuffle操作问题解决　　 2.1数据倾斜原理 2.2 数据倾斜问题发现与解决 2...

简介最近从eclipse转到IDEA，一开始就遇到问题，以前eclipse运行的MAVEN管理的程序，在IDEA中，总要报错NoClassDefFoundError比如:Exception in thread "main" java.lang.NoClassDefFoundError: org/apache/spark/api/java/function/Function2...

学习目的首次学习spark时，对分区没有直观的了解，在使用sortBy方式时也不能得预期的结果，通过实践了解spark分区和sortBy的原理SparkContext 的配置val conf = new SparkConf().setAppName(getAppName).setMaster("local[4]")val sc = new SparkContext(conf)12m...

引入一般来说，分布式数据集的容错性有两种方式：数据检查点和记录数据的更新。面向大规模数据分析，数据检查点操作成本很高，需要通过数据中心的网络连接在机器之间复制庞大的数据集，而网络带宽往往比内存带宽低得多，同时还需要消耗更多的存储资源。因此，Spark选择记录更新的方式。但是，如果更新粒度太细太多，那么记录更新成本也不低。因此，RDD只支持粗粒度转换，即只记录单个块上执行的单个操作，然后...

checkpoint在spark中主要有两块应用：一块是在spark core中对RDD做checkpoint，可以切断做checkpoint RDD的依赖关系，将RDD数据保存到可靠存储（如HDFS）以便数据恢复；另外一块是应用在spark streaming中，使用checkpoint用来保存DStreamGraph以及相关配置信息，以便在Driver崩溃重启的时候能够接着之前进度继续进行处理...

宽依赖和窄依赖深度剖析.pngRDD依赖关系与stage划分Spark中RDD的高效与DAG图有着莫大的关系，在DAG调度中需要对计算过程划分stage，而划分依据就是RDD之间的依赖关系。1. 窄依赖与宽依赖针对不同的转换函数，RDD之间的依赖关系分为窄依赖（narrow dependency）和宽依赖（wide dependency，也成shuffle dependency...

在Java开发中，经常需要创建线程去执行一些任务，实现起来也非常方便，但如果并发的线程数量很多，并且每个线程都是执行一个时间很短的任务就结束了，这样频繁创建线程就会大大降低系统的效率，因为频繁创建线程和销毁线程需要时间。此时，我们很自然会想到使用线程池来解决这个问题。使用线程池的好处：降低资源消耗。java中所有的池化技术都有一个好处，就是通过复用池中的对象，降低系统资源消耗。设想一下如果...

拉取远程分支，并创建本地分支正确checkout操作git checkout -b dev（本地分支名） origin/dev（远程分支名）1fatal: Cannot update paths and switch to branch ‘mq_bug_20180524’ at the same time.Did you intend to checkout ‘origin/mq_bug...

虽然仔细看过《linux内核设计与实现》，也参考了很多的博客，并且做了linux进程空间、address_space和文件的关系图（设为图1，参考博客），但是对于页缓存和文件IO之间关系的细节一直不是特别明朗。趁着元旦假期看的博客中思路还算清晰，写下当前对于页缓存的理解及其和文件IO之间的关系。首先明确的一点是，本文所述的是针对linux引入了虚拟内存管理机制以后...

1. Spark SQL的Java开发包Spark SQL提供Java的开发包，当前最新版本是2.1.0版本：spark-sql_2.11-2.1.0.jar，可以从下面链接下载：http://central.maven.org/maven2/org/apache/spark/spark-sql_2.11/2.1.0/spark-sql_2.11-2.1.0.jar或者通过Maven配...

前者强调运行时无法匹配到指定参数名称的类，后者强调编译时没问题，运行时却无法实例化一个类。NoClassDefFoundError是一个错误(Error)，而ClassNotFoundException是一个异常，在Java中对于错误和异常的处理是不同的，我们可以从异常中恢复程序但却不应该尝试从错误中恢复程序。修复ClassNotFoundException最常见的解决方法是检查是否依赖了相关包...

转自：https://blog.csdn.net/briblue/article/details/54973413ClassLoader翻译过来就是类加载器，普通的java开发者其实用到的不多，但对于某些框架开发者来说却非常常见。理解ClassLoader的加载机制，也有利于我们编写出更高效的代码。ClassLoader的具体作用就是将class文件加载到jvm虚拟机中去，程序就可以正确运行了...

转自：https://blog.csdn.net/liuchaoxuan/article/details/80958128JDK8默认的，新生代 ( Young ) 与老年代 ( Old ) 的比例的值为 1:2( 该值可以通过参数 –XX:NewRatio 来指定 )，即：新生代 ( Young ) = 1/3 的堆空间大小。老年代 ( Old ) = 2/3 的堆空间大小。其中，新...

转自：https://www.cnblogs.com/harbin1900/p/8591978.htmlOpenJDK 8 有多种 GC（Garbage Collector）算法，如 Parallel GC、CMS 和 G1。哪一个才是最快的呢？如果在 Java 9 中将 Java 8 默认的 GC 从 Parallel GC 改为 G1 （目前只是建议）将会怎么样呢？让我们对此进行基准测试。...

一，什么是垃圾回收首先，在了解G1之前，我们需要清楚的知道，垃圾回收是什么？简单的说垃圾回收就是回收内存中不再使用的对象。垃圾回收的基本步骤回收的步骤有2步：查找内存中不再使用的对象释放这些对象占用的内存1,查找内存中不再使用的对象那么问题来了，如何判断哪些对象不再被使用呢？我们也有2个方法：引用计数法引用计数法就是如果一个对象没有被任何引用指向，则可视之为垃圾。这种方法的缺点就...

转自：https://www.jianshu.com/p/b79fe594eed3根搜索算法概念根搜索算法的基本思路就是通过一系列名为”GC Roots”的对象作为起始点，从这些节点开始向下搜索，搜索所走过的路径称为引用链(Reference Chain)，当一个对象到GC Roots没有任何引用链相连时，则证明此对象是不可用的。这个算法的基本思想是通过一系列称为“GC Roots...

注：本文的目的并不是鼓励使用finalize方法，而是大致理清其作用、问题以及GC执行finalize的过程。1. finalize的作用finalize()是Object的protected方法，子类可以覆盖该方法以实现资源清理工作，GC在回收对象之前调用该方法。 finalize()与C++中的析构函数不是对应的。C++中的析构函数调用的时机是确定的（对象离开作用域或...

转自：https://www.jianshu.com/p/d9977a048dab8.5 SimpleDateFormat是线程不安全的SimpleDateFormat是Java提供的一个格式化和解析日期的工具类，日常开发中应该经常会用到，但是由于它是线程不安全的，多线程公用一个SimpleDateFormat实例对日期进行解析或者格式化会导致程序出错，本节就讨论下它为何是线程不安全的，以...

转自：https://blog.csdn.net/xinyuan_java/article/details/50005519Mysql中，单个Store Procedure(SP)不是原子操作，而oracle则是原子的。如下的存储过程，即使语句2失败，语句1仍然会被commit到数据库中： create table testproc(id int(4)...

转自：https://blog.csdn.net/xushouwei/article/details/521980651.参数in的使用(代表输入，意思说你的参数要传到存过过程的过程里面去)//为了避免存储过程中分号(";")结束语句，我们使用分隔符告诉mysql解释器,该段命令是否已经结束了。/**案例功能：求1-n的和开发者：徐守威时间：2016-08-13*/delimit...

转自：https://www.aneasystone.com/archives/2017/12/solving-dead-locks-three.html这篇博客将对一些常见的 SQL 语句进行加锁分析，看看我们平时执行的那些 SQL 都会加什么锁。只有对我们所写的 SQL 语句加锁过程了如指掌，才能在遇到死锁问题时倒推出是什么锁导致的问题。在前面的博客中我们已经学习了 MySQL 下不同的锁...

转自：https://www.aneasystone.com/archives/2017/11/solving-dead-locks-two.html在上一篇博客中，我们学习了事务以及事务并发时可能遇到的问题，并介绍了四种不同的隔离级别来解决这些并发问题，在隔离级别的实现一节中，我们提到了锁的概念，锁是实现事务并发的关键。其实，锁的概念不仅仅出现在数据库中，在大多数的编程语言中也存在，譬如 J...

之前也遇到一次，今天又遇到了这个问题，所以这次必须解决，网上找到这篇文章帮了大忙，方便以后复习。这篇文章的解决办法对于我的情况是有效的。我的具体情况是：使用RobotFramework测试时，本来可以通过的一个case报错了，报错为：InternalError: (1205, u'Lock wait timeout exceeded; try restarting transaction。网上...

一、什么是Table Metadata Lock在MySQL以前的版本中，存在这样一个bug：Description:If user1 has an active transaction on a table and then user2 drops this table, then user1 does COMMIT, then in the binlog we have somet...

Mysql 数据库中，最常用的两种引擎是 InnoDB和 MyISAM。InnoDB 是 Mysql 的默认存储引擎。 事务处理上方面 MyISAM 强调的是性能，查询的速度比 InnoDB 类型更快，但是不提供事务支持。 InnoDB 提供事务支持事务。 外键 MyISAM 不支持外键，InnoDB 支持外键。 锁 MyISAM 只支持表级锁，InnoDB ...

最近由于需要大概研究了一下MYSQL的随机抽取实现方法。举个例子，要从tablename表中随机提取一条记录，大家一般的写法就是：SELECT * FROM tablenameORDERBYRAND() LIMIT 1。 但是，后来我查了一下MYSQL的官方手册，里面针对RAND()的提示大概意思就是，在ORDER BY从句里面不能使用RAND()函数，因为这样会导...

转自：https://blog.csdn.net/yangguosb/article/details/79877191概念扇区：磁盘的最小存储单位；磁盘块：文件系统读写数据的最小单位；页：内存的最小存储单位；联系一个磁盘块由连续几个（2^n）扇区组成；页的大小为磁盘块大小的2^n倍；查看页大小查看： getconf PAGE_SIZE，常见为4K；磁盘块大小查看：stat /...

转自：https://blog.csdn.net/gymaisyl/article/details/84696755多属性排序：把需要排序的属性拿出来作为一个 tuple，主要的放前面，次要的放后面。假如某对象有n个属性，那么先按某规则对属性a进行排序，在属性a相等的情况下再按某规则对属性b进行排序，以此类推。终端打印结果如下：按照属性name进行排序：按照ASCII进行排...

转自：https://blog.csdn.net/renyongwang1988/article/details/8050506网上关于文本文件与二进制文件的文章很多，但遗憾的是，这些文章讲得都比较散。下面我将结合所查到的资料，从多个角度谈谈文本文件与二进制文件。一、文本文件与二进制文件的定义大家都知道计算机的存储在物理上是二进制的，所以文本文件与二进制文件的区别并不是物理上的...

python中的字符串一直是困扰小编的一大难题，相信大家伙也曾体验过被各种编码支配的恐惧吧。不过没关系，相信你读了这篇文章，一定会对python字符串豁然开朗！代码链接：https://github.com/princewen/professional-python3一、字符串类型python3:python语言有两种不同的字符串，一个用于存储文本，一个用于存储原始字节。文本字符串内部使...

转自：https://blog.csdn.net/xyh269/article/details/69171545记得在刚上初一的时候，第一堂数学课学的是集合，那时候我知道了集合是不允许重复元素存在的。hashCode 方法用于散列集合的查找，equals 方法用于判断两个对象是否相等。为什么重写了 equals 方法，还要重写 hashCode 方法？因为如果只重写了 equals...

转自：https://blog.csdn.net/kxcfzyk/article/details/38613861注：下文中的“桥接”、“转调”、“绑定”等词基本都是同一个概念。log4j-over-slf4j和slf4j-log4j12是跟java日志系统相关的两个jar包，当它们同时出现在classpath下时，就可能会引起堆栈溢出异常。异常信息大致如下（摘自slf4j官网文档Dete...

参考网址：http://www.2cto.com/database/201211/172380.htmlmyisam和innodb索引实现的不同MyISAM引擎使用B+Tree作为索引结构，叶节点的data域存放的是数据记录的地址。下图是MyISAM索引的原理图：这里设表一共有三列，假设我们以Col1为主键，则上图是一个MyISAM表的主索引（Primary key）示...