2017年09月_Xeon-Shao

11月 10月 09月 08月 07月 06月 05月 04月 03月 02月 01月

转载 hashmap冲突的解决方法以及原理分析

HashMap冲突问题看这个就行了在Java编程语言中，最基本的结构就是两种，一种是数组，一种是模拟指针(引用),所有的数据结构都可以用这两个基本结构构造，HashMap也一样。当程序试图将多个 key-value 放入 HashMap 中时，以如下代码片段为例：HashMap m=new HashMap(); m.put("a", "rrr1"); m.put("b",

2017-09-26 21:50:36 595

转载动态规划算法之：最长公共子序列 & 最长公共子串（LCS）

1、先科普下最长公共子序列 & 最长公共子串的区别：找两个字符串的最长公共子串，这个子串要求在原字符串中是连续的。而最长公共子序列则并不要求连续。2、最长公共子串其实这是一个序贯决策问题，可以用动态规划来求解。我们采用一个二维矩阵来记录中间的结果。这个二维矩阵怎么构造呢？直接举个例子吧："bab"和"caba"(当然我们现在一眼就可以看出来最长公共子串是"ba"或"ab")

2017-09-26 21:38:24 711

转载 Java多线程的三种实现方式（重点看Collable接口实现方式）

1、通过继承Thread类来实现多线程在继承Thread类之后，一定要重写类的run方法，在run方法中的就是线程执行体，在run方法中，直接使用this可以获取当前线程，直接调用getName()方法可以获得当前线程的名称，多线程的名称一般为Thread-n。而在主方法中，需要调用Thread.currentThread()方法来获取当前线程。需要注意的是，主

2017-09-24 21:22:03 1302

转载深入理解乐观锁与悲观锁（实战）

在数据库的锁机制中介绍过，数据库管理系统（DBMS）中的并发控制的任务是确保在多个事务同时存取数据库中同一数据时不破坏事务的隔离性和统一性以及数据库的统一性。乐观并发控制(乐观锁)和悲观并发控制（悲观锁）是并发控制主要采用的技术手段。无论是悲观锁还是乐观锁，都是人们定义出来的概念，可以认为是一种思想。其实不仅仅是数据库系统中有乐观锁和悲观锁的概念，像memcache、hibernate、t

2017-09-24 21:09:37 502

转载单例模式的5种实现方式，以及在多线程环境下5种创建单例模式的效率

这段时间从头温习设计模式。记载下来，以便自己复习，也分享给大家。[java] view plain copypackage com.iter.devbox.singleton; /** * 饿汉式 * @author Shearer * */ public class SingletonDemo

2017-09-17 10:17:09 802

转载 Spark面对OOM问题的解决方法及优化总结

转载请保持完整性并注明来源链接： http://blog.csdn.net/yhb315279058/article/details/51035631 Spark中的OOM问题不外乎以下两种情况map执行中内存溢出shuffle后内存溢出 map执行中内存溢出代表了所有map类型的操作，包括：flatMap，filter，mapPatitions等。shuffle后

2017-09-16 19:58:20 367

我们都知道Spark内部提供了HashPartitioner和RangePartitioner两种分区策略(这两种分区的代码解析可以参见：《Spark分区器HashPartitioner和RangePartitioner代码详解》)，这两种分区策略在很多情况下都适合我们的场景。但是有些情况下，Spark内部不能符合咱们的需求，这时候我们就可以自定义分区策略。为此，Spark提供了相应的接口，我们只

2017-09-16 19:33:55 777

转载 RDD Join 性能调优

阅读本篇博文时，请先理解RDD的描述及作业调度：[《深入理解Spark 2.1 Core （一）：RDD的原理与源码分析》]（http://blog.csdn.net/u011239443/article/details/53894611#t16）Join数据是我们在Spark操作中的很重要的一部分。Spark Core 和Spark SQL的基本类型都支持join操作。虽然join很常

2017-09-16 19:29:50 487

转载 [Spark]Could not locate executable null\bin\winutils.exe in the Hadoop binaries

这里集群环境不同，但遇到的问题及解决办法其实一样，时间有限，就不详细修改了。我主要是在Windows本地运行Spark程序出现该错误。本文转自http://www.cnblogs.com/hyl8218/p/5492450.html，所有权力归原作者所有。在已经搭建好的集群环境Centos6.6+Hadoop2.7+Hbase0.98+Spark1.3.1下，在Win7系统Inte

2017-09-16 19:14:05 755

转载 [Spark] - HashPartitioner & RangePartitioner 区别

Spark RDD的宽依赖中存在Shuffle过程，Spark的Shuffle过程同MapReduce，也依赖于Partitioner数据分区器，Partitioner类的代码依赖结构主要如下所示：主要是HashPartitioner和RangePartitioner两个类，分别用于根据RDD中key的hashcode值进行分区以及根据范围进行数据分区一、Partition

2017-09-16 19:11:55 2473

转载关于SPARK_WORKER_MEMORY和SPARK_MEM

在spark中最容易混淆的是各种内存关系。本篇讲述一下SPARK_WORKER_MEMORY和SPARK_MEM。SPARK_WORKER_MEMORY是计算节点worker所能支配的内存，各个节点可以根据实际物理内存的大小，通过配置conf/spark-env.sh来分配内存给该节点的worker进程使用。在spark standalone集群中，如果各节点的物理配置不一样，co

2017-09-16 10:36:35 3965

转载 Collections.sort()和Arrays.sort()排序算法选择

今天面试的时候，被问到Collections.sort();和Arrays.sort();两个方法的排序算法实现，我只记得一个是快速排序一个是归并排序，但是刚刚看到没那么简单。Arrays.sort()先来看看Arrays.sort();，一点进这个方法会看到是这样子的public static void sort(int[] a) { DualPivotQuickso

2017-09-15 20:26:33 632

转载【算法导论33】跳跃表（Skip list）原理与java实现

Skip list是一个用于有序元素序列快速搜索的数据结构，由美国计算机科学家William Pugh发明于1989年。它的效率和红黑树以及 AVL 树不相上下，但实现起来比较容易。作者William Pugh是这样介绍Skip list的： Skip lists are a probabilistic data structure that seem likely to supplant b

2017-09-15 19:49:21 566

转载 HashMap解决hash冲突的方法

在Java编程语言中，最基本的结构就是两种，一种是数组，一种是模拟指针(引用),所有的数据结构都可以用这两个基本结构构造，HashMap也一样。当程序试图将多个 key-value 放入 HashMap 中时，以如下代码片段为例：HashMap m=new HashMap(); m.put("a", "rrr1"); m.put("b", "tt9"); m.put("

2017-09-15 19:06:54 386

转载 K-Means聚类算法原理

K-Means算法是无监督的聚类算法，它实现起来比较简单，聚类效果也不错，因此应用很广泛。K-Means算法有大量的变体，本文就从最传统的K-Means算法讲起，在其基础上讲述K-Means的优化变体方法。包括初始化优化K-Means++, 距离计算优化elkan K-Means算法和大数据情况下的优化Mini Batch K-Means算法。1. K-Means原理初探　　　　K

2017-09-15 16:32:54 500

转载 #include<bits/stdc++.h>包含C++的全部头文件

#include包含C++的所有头文件参考博客：http://blog.kuoe0.tw/posts/2014/01/31/install-gnu-gcc-on-os-x-and-use-the-header-bits-stdcplusplus-h-and-policy-based-data-structure做CF看见别人用这个函数，然后就能直接用vector,set,strin

2017-09-15 16:06:48 1100

转载纸牌博弈问题

题目：有一个整型数组A，代表数值不同的纸牌排成一条线。玩家a和玩家b依次拿走每张纸牌，规定玩家a先拿，玩家b后拿，但是每个玩家每次只能拿走最左或最右的纸牌，玩家a和玩家b都绝顶聪明，他们总会采用最优策略。请返回最后获胜者的分数。给定纸牌序列A及序列的大小n，请返回最后分数较高者得分数(相同则返回任意一个分数)。测试样例：[1,2,100,4],4返回：101解析：a和b都是

2017-09-14 14:42:21 368

原创 mac使用codelite运行程序没有输出

这几天用mac做了些开发，装了一个CodeLite做C++开发，结果运行程序后，虽然启动了两个终端窗口，但是并没有程序的输出IDE中报错xcrun: error: invalid active developer path (/Library/Developer/CommandLineTools), missing xcrun at: /Library/Developer/CommandLin

2017-09-11 16:34:46 2066

原创 OJ系统里用BufferedReader提高效率

在OJ系统中做编程题时，如果从System.in读入的数据非常大的时候，使用Scanner非常影响效率，可能导致最终代码超时，所以最好改用

2017-09-09 10:05:42 905

PHP pgsql驱动文件

PHP pgsql linux平台驱动文件（so文件），适用于PHP7.2版本。用于PHP连接PostgreSQL数据库。包含pgsql.so，pdo_pgsql.so两个文件。

2022-05-13

feralpacket.ini.txt

SecureCRT关键词高亮配置文件配置文件放置路径C:\Users\[你的系统账户名]\AppData\Roaming\VanDyke\Config 将文件后缀名修改为.ini 在session options中设置高亮配置方案为feralpacket

2020-05-13

idea-plugin.zip

idea增强插件，启用此插件后，写代码不会再出现bug /* _ooOoo_ o8888888o 88" . "88 (| -_- |) O\ = /O ____/`---'\____ .' \\| |// `. / \\||| : |||// \ / _||||| -:- |||||- \ | | \\\ - /// | | | \_| ''\---/'' | | \ .-\__ `-` ___/-. / ___`. .' /--.--\ `. . __ ."" '< `.___\__/___.' >'"". | | : `- \`

2019-11-18

TA关注的人

sdujava2011