qq_33915826的博客

必须要记录一次的spark-submit报错spark任务若出现由于内存不足导致任务失败的情况：一：大多数情况想的是可能 因为shuffle过程太耗内存，导致executor执行不成功，所以增大executor-memory的大小和core的数量二、也要记住，虽然你申请了很大的内存，但是可能集群资源并没有那么多：即你在提交spark任务时的contanier的内存总大小(每个excutor个数乘上每个excutor的内存)，超过了在 ambari YARN中配置的container的总大小。一

转载：asScala报错解决方案：在当前报错的类 import scala.collection.JavaConversions._代码中的asScala就可能不标红了，如果标红，就直接去掉，我的是去掉就不报错了！！！被这个坑过好几次，一定要记住！！！！...

转自：[Jsoup] 使用Jsoup消除不受信任的HTML (防止XSS攻击)防止XSS攻击的策略个人总结大致有几种：使用正则设置白名单/黑名单进行过滤 通过dom对象进行黑名单/白名单的过滤使用第三方类库Jsoup/AntiXSS等进行过滤HTML标签来防止XSS本文章将主要介绍使用Jsoup消除不受信任的HTML来防止XSS攻击1. 如何使用Jsoup进行清除HTML标签操作使...

Spark提交任务执行遇到如下错误：1.命令行错误：2.yarn 日志错误：（yarn日志不知如何获取的请参考上一篇博客 yarn日志打印）ERROR executor.CoarseGrainedExecutorBackend: RECEIVED SIGNAL 15: SIGTERM19/12/05 11:03:53 INFO netty.NettyBlockTransferService...

问题：spark在yarn执行任务遇到如下的错误：ERROR YarnScheduler: Lost executor 17 on xxx: Container marked as failed: container_e84_1574035425015_31345_01_000018 on host: xxx. Exit status: 134. Diagnostics: Exception ...

IDEA出现no scala sdk in module intellij idea今天突然scala sdk不见了-----百度了一下，好吧，重新导入一下，在project structure中的Modules中左边第三栏Dependencies添加scala，IDEA自带的scala插件下载，导入即可。第二个问题经常遇到项目编译完成，出现大片的红色代码，说明一些包没有导入成功，在pr...

环境：Python3 ， TensorFlow 1.3LinuxPuttyWinSCP ：文件传输一、运行命令（Putty）1. 运行我们的程序Python3 Train.py这种方法如果退出Putty，或者断开服务器，则程序断开。2. 后台运行并保存运行脚本至nohup.outnohup python3 train.py &在文件中会出现一个nohup...

总有解决的办法：参考链接:Python 3.6.1 安装mlab 出现二进制和str文本格式转换问题pip install mlab报错python调用matlab环境配置，非常详细！！！Python 调用Matlab的函数或者调用M文件方法...

java浮点数运算中有两个特殊的情况：NAN、INFINITY。1、INFINITY：在浮点数运算时，有时我们会遇到除数为0的情况，那java是如何解决的呢？我们知道，在整型运算中，除数是不能为0的，否则直接运行异常。但是在浮点数运算中，引入了无限这个概念，我们来看一下Double和Float中的定义。Double：public static final do...

转载 1、堆内存Java 中的堆是 JVM 所管理的最大的一块内存空间，主要用于存放各种类的实例对象。 在 Java 中，堆被划分成两个不同的区域：新生代 ( Young )、老年代 ( Old )。新生代 ( Young ) 又被划分为三个区...

直接上代码好了public class maxLengthNoDownSequence { //题目描述：小名同学观察了一下室内的PM2.5的值，发现PM2.5以小时为周期循环 //即任意时刻的PM2.5的值总是和1小时前相等， // 若在t小时内采样一些点，选取若干采样的数值， // 能否找到一个PM2.5不曾下降的序列，序列长度最大为多少 //输入...

1.首先在pom.xml文件中导入Springboot的maven依赖<!--将应用打包成一个可以执行的jar包--> <build> <plugins> <plugin> <groupId>org.sp

缓冲区（Buffer）Java NIO中的Buffer用于和NIO通道进行交互。如你所知，数据是从通道读入缓冲区，从缓冲区写入到通道中的。 缓冲区本质上是一块可以写入数据，然后可以从中读取数...

public class ArraysSort { public static void main(String[] args) { //大写转换 String [] wordlist = {"Pdsgdfgdf","jfsdkjfksdfg","sdfusdf"}; List<String> output = Arrays.strea...

数据结构好像忘了看关于图的，然后只说了，深度优先遍历和广度优先遍历。原文地址:http://www.cnblogs.com/skywang12345/p/3711516.htmlDijkstra算法1.定义概览Dijkstra(迪杰斯特拉)算法是典型的单源最短路径算法，用于计算一个节点到其他所有节点的最短路径。主要特点是以起始点为中心向外层层扩展，直到扩展到终点为止。Dijks...

1.TomcatTomcat是java的应用web服务器，使用java编写的需要运行在JVM之上。Tomcat实现了javaEE的规范，包括java servlet，java servlet pages，java webservlet等，Tomcat默认提供的。Tomcat最重要的是实现了servlet规范，是一个servlet的容器，运行我们编写的 servlet应用程序处理动态请求。 T...

今天研读Java并发容器和框架时，看到为什么要使用ConcurrentHashMap时，其中有一个原因是：线程不安全的HashMap, HashMap在并发执行put操作时会引起死循环，是因为多线程会导致HashMap的Entry链表形成环形数据结构，查找时会陷入死循环。纠起原因...

1.使用synchronized悲观锁（秋招阿里的一个笔试题，应该写的比较复杂，然后就没有然后了o(╥﹏╥)o）public class ThreadThreadp { private int flag = 0; public synchronized void printa() throws InterruptedException { while (tru...

静态网站特点： 　 1. 静态网站是最初的建站方式，浏览者所看到的每个页面是建站者上传到服务器上的一个 html （ htm ）文件，这种网站每增加、删除、修改一个页面，都必须重新对服务器的文件进行一次下载上传。网页内容一经发布到网站服务器上，无论是否有用户访问，每个静态网页的内容都是保存在网站服务器上的，也就是说，静态网页是实实在在保存在服务器上的文件，每个网页都是一个独立的文件； 　 ...

1. 寄存器是中央处理器内的组成部份。寄存器是有限存贮容量的高速存贮部件，它们可用来暂存指令、数据和位址。在中央处理器的控制部件中，包含的寄存器有指令寄存器(IR)和程序计数器(PC)。在中央处理器的算术及逻辑部件中，包含的寄存器有累加器(ACC)。2. 内存包含的范围非常广，一般分为只读存储器（ROM）、随机存储器（RAM）和高速缓存存储器（cache）。3. 寄存器是CPU内部的元件...