- 博客(80)
- 问答 (7)
- 收藏
- 关注
RSS订阅原创 记录一次的spark-submit报错： scheduler.ShuffleMapStage: ShuffleMapStage 0 is now unavailable on executor
必须要记录一次的spark-submit报错spark任务若出现由于内存不足导致任务失败的情况：一：大多数情况想的是可能 因为shuffle过程太耗内存，导致executor执行不成功，所以增大executor-memory的大小和core的数量二、也要记住，虽然你申请了很大的内存，但是可能集群资源并没有那么多：即你在提交spark任务时的contanier的内存总大小(每个excutor个数乘上每个excutor的内存)，超过了在 ambari YARN中配置的container的总大小。一
2020-06-18 17:48:24
1446
转载 IDEA中scala广播变量 asScala报错
转载：asScala报错解决方案：在当前报错的类 import scala.collection.JavaConversions._代码中的asScala就可能不标红了，如果标红，就直接去掉，我的是去掉就不报错了！！！被这个坑过好几次，一定要记住！！！！...
2020-06-12 15:31:56
624
转载 使用Jsoup.clean消除不受信任的HTML (防止XSS攻击)
转自：[Jsoup] 使用Jsoup消除不受信任的HTML (防止XSS攻击)防止XSS攻击的策略个人总结大致有几种：使用正则设置白名单/黑名单进行过滤 通过dom对象进行黑名单/白名单的过滤使用第三方类库Jsoup/AntiXSS等进行过滤HTML标签来防止XSS本文章将主要介绍使用Jsoup消除不受信任的HTML来防止XSS攻击1. 如何使用Jsoup进行清除HTML标签操作使...
2020-02-24 20:24:14
5241
原创 ERROR executor.CoarseGrainedExecutorBackend: RECEIVED SIGNAL 15: SIGTERM
Spark提交任务执行遇到如下错误：1.命令行错误：2.yarn 日志错误：（yarn日志不知如何获取的请参考上一篇博客 yarn日志打印）ERROR executor.CoarseGrainedExecutorBackend: RECEIVED SIGNAL 15: SIGTERM19/12/05 11:03:53 INFO netty.NettyBlockTransferService...
2019-12-05 16:33:05
5688
原创 Container exited with a non-zero exit code 134错误原因查找
问题：spark在yarn执行任务遇到如下的错误：ERROR YarnScheduler: Lost executor 17 on xxx: Container marked as failed: container_e84_1574035425015_31345_01_000018 on host: xxx. Exit status: 134. Diagnostics: Exception ...
2019-12-03 19:33:51
18384
原创 IDEA出现no scala sdk in module intellij idea
IDEA出现no scala sdk in module intellij idea今天突然scala sdk不见了-----百度了一下，好吧，重新导入一下，在project structure中的Modules中左边第三栏Dependencies添加scala，IDEA自带的scala插件下载，导入即可。第二个问题经常遇到项目编译完成，出现大片的红色代码，说明一些包没有导入成功，在pr...
2019-11-07 14:23:41
14216
1
原创 Linux命令行调试程序——常用命令
环境：Python3 ， TensorFlow 1.3LinuxPuttyWinSCP ：文件传输一、运行命令（Putty）1. 运行我们的程序Python3 Train.py这种方法如果退出Putty，或者断开服务器，则程序断开。2. 后台运行并保存运行脚本至nohup.outnohup python3 train.py &在文件中会出现一个nohup...
2019-01-24 21:22:51
898
原创 anaconda下Python 3.5 安装mlab
总有解决的办法：参考链接:Python 3.6.1 安装mlab 出现二进制和str文本格式转换问题pip install mlab报错python调用matlab环境配置，非常详细！！！Python 调用Matlab的函数或者调用M文件方法...
2018-10-18 20:03:11
2805
原创 java中NaN和Infinity基本数据类型和包装类（double，Double）
java浮点数运算中有两个特殊的情况：NAN、INFINITY。1、INFINITY：在浮点数运算时，有时我们会遇到除数为0的情况，那java是如何解决的呢？我们知道，在整型运算中，除数是不能为0的，否则直接运行异常。但是在浮点数运算中，引入了无限这个概念，我们来看一下Double和Float中的定义。Double：public static final do...
2018-09-12 12:15:27
3393
转载 Java GC、新生代、老年代
转载 1、堆内存Java 中的堆是 JVM 所管理的最大的一块内存空间，主要用于存放各种类的实例对象。 在 Java 中，堆被划分成两个不同的区域：新生代 ( Young )、老年代 ( Old )。新生代 ( Young ) 又被划分为三个区...
2018-09-08 15:07:49
325
原创 头条第二批笔试——最大不递减序列的长度
直接上代码好了public class maxLengthNoDownSequence { //题目描述：小名同学观察了一下室内的PM2.5的值，发现PM2.5以小时为周期循环 //即任意时刻的PM2.5的值总是和1小时前相等， // 若在t小时内采样一些点，选取若干采样的数值， // 能否找到一个PM2.5不曾下降的序列，序列长度最大为多少 //输入...
2018-09-01 22:39:15
233
原创 SpringBoot 如何将项目打包成jar包？
1.首先在pom.xml文件中导入Springboot的maven依赖<!--将应用打包成一个可以执行的jar包--> <build> <plugins> <plugin> <groupId>org.sp
2018-08-28 09:47:13
3151
转载 JAVA NIO 缓冲区buffer实例
缓冲区（Buffer）Java NIO中的Buffer用于和NIO通道进行交互。如你所知，数据是从通道读入缓冲区，从缓冲区写入到通道中的。 缓冲区本质上是一块可以写入数据，然后可以从中读取数...
2018-08-24 18:07:08
283
原创 java8中的stream
public class ArraysSort { public static void main(String[] args) { //大写转换 String [] wordlist = {"Pdsgdfgdf","jfsdkjfksdfg","sdfusdf"}; List<String> output = Arrays.strea...
2018-08-23 16:43:37
165
转载 京东一面：图中两个顶点的最短路径——Dijkstra算法原理
数据结构好像忘了看关于图的，然后只说了，深度优先遍历和广度优先遍历。原文地址:http://www.cnblogs.com/skywang12345/p/3711516.htmlDijkstra算法1.定义概览Dijkstra(迪杰斯特拉)算法是典型的单源最短路径算法，用于计算一个节点到其他所有节点的最短路径。主要特点是以起始点为中心向外层层扩展，直到扩展到终点为止。Dijks...
2018-08-08 15:07:47
2546
转载 面试题：Tomcat的架构是什么，http请求从浏览器到进入tomcat服务器的全过程？
1.TomcatTomcat是java的应用web服务器，使用java编写的需要运行在JVM之上。Tomcat实现了javaEE的规范，包括java servlet，java servlet pages，java webservlet等，Tomcat默认提供的。Tomcat最重要的是实现了servlet规范，是一个servlet的容器，运行我们编写的 servlet应用程序处理动态请求。 T...
2018-08-05 22:09:19
929
转载 并发的HashMap为什么会引起死循环？java性能调优
今天研读Java并发容器和框架时，看到为什么要使用ConcurrentHashMap时，其中有一个原因是：线程不安全的HashMap, HashMap在并发执行put操作时会引起死循环，是因为多线程会导致HashMap的Entry链表形成环形数据结构，查找时会陷入死循环。纠起原因...
2018-07-27 21:38:14
334
原创 三个线程轮流执行顺序打印ABC，依次是ABCABCABC......（三种方式）
1.使用synchronized悲观锁（秋招阿里的一个笔试题，应该写的比较复杂，然后就没有然后了o(╥﹏╥)o）public class ThreadThreadp { private int flag = 0; public synchronized void printa() throws InterruptedException { while (tru...
2018-07-25 16:52:28
17543
10
转载 静态web和动态web的区别与联系
静态网站特点： 1. 静态网站是最初的建站方式，浏览者所看到的每个页面是建站者上传到服务器上的一个 html （ htm ）文件，这种网站每增加、删除、修改一个页面，都必须重新对服务器的文件进行一次下载上传。网页内容一经发布到网站服务器上，无论是否有用户访问，每个静态网页的内容都是保存在网站服务器上的，也就是说，静态网页是实实在在保存在服务器上的文件，每个网页都是一个独立的文件； ...
2018-07-23 18:35:59
14498
1
转载 CPU内存，磁盘，缓存关系？（加深理解）
1. 寄存器是中央处理器内的组成部份。寄存器是有限存贮容量的高速存贮部件，它们可用来暂存指令、数据和位址。在中央处理器的控制部件中，包含的寄存器有指令寄存器(IR)和程序计数器(PC)。在中央处理器的算术及逻辑部件中，包含的寄存器有累加器(ACC)。2. 内存包含的范围非常广，一般分为只读存储器（ROM）、随机存储器（RAM）和高速缓存存储器（cache）。3. 寄存器是CPU内部的元件...
2018-07-23 15:14:39
3984
原创 京东金融一面——数组和链表区别？为什么链表查找慢？数组查找快？为什么连续内存就方便查找？（查找速度快）
面试官怒怼(也是我太紧张，没说清楚，这里总结，其实也要说到CPU的一些东西，平时没注意)数组与链表的优缺点； 数组: 优点：使用方便 ，查询效率 比链表高，内存为一连续的区域 缺点：大小固定，不适合动态存储，不方便动态添加 链表： 优点：可动态添加删除 大小可变 ，内存可能是不连续内存，链式...
2018-07-23 14:59:43
2384
转载 Spring是什么
&nbsp;1.1.1.Spring是什么Spring是一个开源的轻量级Java SE（Java 标准版本）/Java EE（Java 企业版本）开发应用框架，其目的是用于简化企业级应用程序开发。应用程序是由一组相互协作的对象组成。而在传统应用程序开发中，一个完整的应用是由一组相互协作的对象组成。所以开发一个应用除了要开发业务逻辑之外，最多的是关注如何使这些对象协作来完成所需功能，而且要低...
2018-07-23 11:28:04
181
转载 Spring之jdbcTemplate：查询的三种方式（单个值、单个对象、对象集合）
JdbcTemplateDemo2.java package helloworld.jdbcTemplate;import org.springframework.jdbc.core.JdbcTemplate;import java.sql.*;import java.util.List;/** * 功能：通过JdbcTemplate实现查询操作 * 查询结果需要自己封装...
2018-06-10 16:11:28
14630
1
转载 java内存划分
JVM的内存区域划分 学过C语言的朋友都知道C编译器在划分内存区域的时候经常将管理的区域划分为数据段和代码段，数据段包括堆、栈以及静态数据区。那么在Java语言当中，内存又是如何划分的呢？ 由于Java程序是交由JVM执行的，所以我们在谈Java内存区域划分的时候事实上...
2018-06-10 15:53:27
168
转载 Linux的软链接和硬链接详解
Linux下的链接文件有点类似于Windows的快捷方式，但又不完全一样。链接文件有两种：一种是硬链接，另一种是符号链接（又称软链接）。下面我给大家说说它们两者之间的区别。硬链接：硬链接是通过索引节点进行的链接。在Linux中，多个文件指向同一个索引节点是允许的，像这样的链接就是硬链接。硬链接只能在同一文件系统中的文件之间进行链接，不能对目录进行创建。如果删除硬链接对应的源文件，则...
2018-05-29 09:27:49
335
原创 关系型数据库和非关系型数据库（MongoDB和redis对比）
1.关系型数据库和非关系型数据库的区别（优缺点，适用环境） 2.博客为什么是mongodb1.关系型代表数据库系统：MySQL， SQL Server， Oracle， 关系型数据库的表是二维表，结构稳定，修改不易。经常需要联表查询。优点： 1.查询能力高，可以操作很复杂的查询 2.一致性高。由于并发高，在数据同步的时候一般采用锁来保证数据的可靠性（还有时间戳什么的方法），在...
2018-05-20 22:08:40
9666
原创 java的反射机制
前段时间看了java的反射机制的内容，但是好像仅停留在理论层面，下面简单的以代码的形式介绍下，自己的理解吧。import java.lang.reflect.Constructor;import java.lang.reflect.Field;import java.lang.reflect.Method;public class reflectDemo { public...
2018-05-19 22:40:06
135
原创 装饰设计模式
装饰设计模式：对一组对象的功能进行增强时，就可以使用该模式来解决问题。//装饰模式。public class Persondemo { public static void main(String[] args) { person p = new person(); newperson np = new newperson(p); ...
2018-05-13 10:40:20
124
原创 字符流和字节流
在程序中所有的数据都是以流的方式进行传输或保存的，程序需要数据的时候要使用输入流读取数据，而当程序需要将一些数据保存起来的时候，就要使用输出流完成。程序中的输入输出都是以流的形式保存的，流中保存的实际上全都是字节文件。字节流与字符流在java.io包中操作文件内容的主要有两大类：字节流、字符流，两类都分为输入和输出操作。在字节流中输出数据主要是使用OutputStream完成，...
2018-05-12 21:54:15
263
转载 java异常类
参考链接异常类体系：在 Java 中，所有的异常都有一个共同的祖先 Throwable（可抛出）。Throwable 指定代码中可用异常传播机制通过 Java 应用程序传输的任何问题的共性。 Throwable： 有两个重要的子类：Exception（异常）和 Error（错误），二者都是 Java 异常处理的重要子类，各自都包含大量子类。 Er...
2018-05-12 11:13:12
136
原创 java内部类
内部类：将一个类定义在另一个类的里面，里面的类称为内部类（内置类，嵌套内）内部类访问特点：内部类可以直接访问外部类的成员，包括私有成员，而外部类要访问内部类的成员 必须建立内部类的对象。如果内部类定义了静态成员，该内部类也必须是静态的。内部类若在局部位置上，只能访问局部位置中被final修饰的局部变量。访问内部类成员方式： ...
2018-05-12 10:46:24
108
原创 成员变量和静态变量的区别
static 的特点：static是一个修饰符，用于修饰成员static修饰的成员被所有的对象所共享static优先于对象存在，因为static的成员随着类的加载就已经存在了。（static变量或代码块在类加载首先加载一次，父类的静态变量，静态代码块，子类的静态变量，静态代码块，然后在新建对象时候，会在调用父类的非静态变量，父类的非静态代码块，父类的构造函数，子类的非静态变量，子类的非静...
2018-05-12 10:27:00
260
原创 内存划分
寄存器本地方法去方法区栈内存：存储的都是局部变量，而且变量所属的作用域一旦结束，该变量就会自动释放。堆内存：存储的是数组和对象，凡是用new建立在堆中。 特点： 1.每一个实体都有首地址值 2.堆内存中每一个变量都有默认初始化值，根据类型的不同而不同。整数是：0，小数是0.0或者0.0f ，boolean false ，char ‘\u0000’...
2018-05-12 10:04:11
109
转载 单播，组播(多播)，广播以及任播
定义单播(unicast): 是指封包在计算机网络的传输中，目的地址为单一目标的一种传输方式。它是现今网络应用最为广泛，通常所使用的网络协议或服务大多采用单播传输，例如一切基于TCP的协议。组播(multicast): 也叫多播， 多点广播或群播。 指把信息同时传递给一组目的地址。它使用策略...
2018-04-26 20:56:20
2576
原创 多线程中wait()和sleep()以及notify()
多线程中会使用到两个延迟的函数，wait()和sleep()。一个唤醒函数notify().wait和notify是Object类中的方法，而sleep是Thread类中的方法。sleep是Thread类中的静态方法。无论是在a线程中调用b的sleep方法，还是b线程中调用a的sleep方法，谁调用，谁睡觉。最主要的是sleep方法调用之后，并没有释放锁，sleep是帮助其他线程获得运行机...
2018-04-20 21:07:10
1660
原创 volatile和synchronized的区别
可见性(Visibility)可见性就是指当一个线程修改了线程共享变量的值，其它线程能够立即得知这个修改。Java内存模型是通过在变量修改后将新值同步回主内存，在变量读取前从主内存刷新变量值这种依赖主内存作为传递媒介的方法来实现可见性的，无论是普通变量还是volatile变量都是如此，普通变量与volatile变量的区别是volatile的特殊规则保证了新值能立即同步到主内存，以及每使用前立即...
2018-04-19 22:11:19
181
原创 简单错误记录——HashMap和LinkedHashMap
最近在刷题的过程中，在使用HashMap进行文件排序遇到的小问题。题目：开发一个简单错误记录功能小模块，能够记录出错的代码所在的文件名称和行号。 处理:1.记录最多8条错误记录，对相同的错误记录(即文件名称和行号完全匹配)只记录一条，错误计数增加；(文件所在的目录不同，文件名和行号相同也要合并)2.超过16个字符的文件名称，只记录文件的最后有效16个字符；(如果文件名不同，而只是...
2018-04-17 12:59:08
759
转载 HashMap、ConcurrentHashMap(1.7和1.8的不同实现)、HashTable的区别
谈谈ConcurrentHashMap1.7和1.8的不同实现 HashMap vs ConcurrentHashMap引入ConcurrentHashMap是为了在同步集合HashTable之间有更好的选择，HashTable与HashMap、ConcurrentHashMap主要的区别在于HashMap不是同步的、线程不安全的和不适合应用于多线程并发环境下，而Co...
2018-04-15 22:43:38
1015
原创 HashMap和HashTable比较
java集合整体分为Collection和Map两种。java.util包中集合详解 Java中Collection与Map详解 Java基础——集合类 左Collection，右Map 总结一下Collection和Map，它们的父子关系为： java.util +Collection 这个接口extends自 --java.lang.Iterable接口 ...
2018-04-15 22:33:11
182
转载 逃逸分析——编译优化技术（最前沿的优化技术之一）
在Java中，典型的对象不再堆上分配的情况有两种：TLAB和栈上分配。一、为什么不在堆上分配 我们知道堆是由所有线程共享的，既然如此那它就是竞争资源，对于竞争资源，必须采取必要的同步，所以当使用new关键字在堆上分配对象时，是需要锁的。既然有锁，就必定存在锁带来的开销，而且由于是对整个堆加锁，相对而言锁的粒度还是比较大的，当对象频繁分配时，不免影响效率。所以对于某些特殊情况，可以采取...
2018-04-15 17:09:07
831
空空如也
比较两份的代码，比较他们的标识符，把代码1中有而代码2中没有的标识符所在的语句读写出来
2016-07-19
C++的问题，知道的大致能说一下思路嘛？谢谢^_^
2016-07-06
DICOM中窗宽窗位的调节
2016-05-14
Delphi中窗宽窗位的调节
2016-05-02
Delphi中读取DICOM文件的代码
2016-04-21
Delphi中如何读取dicom的图片格式？代码怎么写？求大神解救
2016-04-10
TA创建的收藏夹 TA关注的收藏夹
TA关注的人