sunhaoning的专栏

技术杂谈

idea @Override is not allowed when implementing interface method

在编码过程发现报错:@Override is not allowed when implementing interface method 。解决方法: 1、在project/module上,右键选择菜单“Open Module Settings” ; 2、选择Modules,修改“Langu...

2018-08-29 11:36:01

阅读数 28

评论数 0

Flink事件时间处理和水印

原文:http://vishnuviswanath.com/flink_eventtime.html 译文:https://blog.csdn.net/a6822342/article/details/78064815

2018-08-09 18:10:35

阅读数 353

评论数 0

maven项目依赖显示缺少jdk1.6 tools.jar

方法一: 然后在pom.xml中添加: <dependency> <groupId>jdk.tools</groupId> &a...

2018-07-23 09:27:00

阅读数 553

评论数 0

Java8 Stream

Java 8 API添加了一个新的抽象称为流Stream,可以让你以一种声明的方式处理数据。 Stream 使用一种类似用 SQL 语句从数据库查询数据的直观方式来提供一种对 Java 集合运算和表达的高阶抽象。 Stream API可以极大提高Java程序员的生产力,让程序员写出高效率、干净...

2018-06-24 21:10:51

阅读数 53

评论数 0

Kaggle_Titanic生存预测

强烈推荐 http://blog.csdn.net/Koala_Tree/article/details/78725881

2018-03-16 21:50:24

阅读数 111

评论数 0

Java8的Lambda表达式

Lambda是一个匿名函数,可以把Lambda表达式理解为一段可以传递的代码。通过Lambda表达式可以写出更简洁、更灵活的代码,提升了Java语言的表达能力。 从匿名类到Lambda的转换 Java8之前的匿名内部类: Comparator<Integer&a...

2018-03-14 16:42:55

阅读数 177

评论数 0

NullPointerException at org.apache.cxf.jaxrs.client.AbstractClient.setupOutInterceptorChain

使用cloudera manager的API获取集群的参数时,使用maven编译后无法正常运行,抛出异常 解决方法: 在pom.xml文件中的maven-shade-plugin模块添加如下内容:             META-INF/cxf/bus-extensions.txt

2018-01-16 16:26:40

阅读数 115

评论数 0

python学习--list

#encoding=utf8 #1.1创建列表类型数据并给它赋值 aList = [123,'abc',4.56,['inner','list'],7-9j] anotherList = [None,'something to see here'] print (aList) print...

2017-10-23 17:09:43

阅读数 151

评论数 0

卡特兰数

Catalan number,卡特兰数又称卡塔兰数,是组合数学中一个常出现在各种计数问题中出现的数列。以比利时的数学家欧仁·查理·卡塔兰 (1814–1894)命名。 卡特兰数的前几个数  前20项为(OEIS中的数列A000108):1, 1, 2, 5, 14, 42, 132, 42...

2017-09-29 13:56:03

阅读数 154

评论数 0

spark partitioner使用技巧

spark partitioner使用技巧 以下源码分析基于Spark-1.5.2 在Spark的PairRDDFunctions,OrderedRDDFunctions这两个类中,都会用到RDD的partitioner信息.具体使用到的partitioner的方法如下: combine...

2017-09-03 21:40:46

阅读数 222

评论数 0

Linux tr命令详解

tr命令可以对来自标准输入的字符进行替换、压缩和删除。它可以将一组字符变成另一组字符,经常用来编写优美的单行命令,作用很强大。语法tr(选项)(参数) 选项-c或——complerment:取代所有不属于第一字符集的字符; -d或——delete:删除所有属于第一字符集的字符; -s或--...

2017-08-24 20:44:03

阅读数 170

评论数 0

ubuntu-E:Encountered a section with no Package: header的解决办法

使用ubuntu 12.04,sudo apt install sysstat,出现如下错误: E: Encountered a section with no Package: header E: Problem with MergeList /var/lib/apt/lists/secur...

2017-08-23 23:30:22

阅读数 145

评论数 0

RDD转换为DataFrame案例

文件students.txt中内容如下: 1,leo,17 2,marry,17 3,jack,18 4,tom,19 1. 使用反射方式将RDD转换为DataFrame Java代码如下: public class RDD2DataFrameReclection { public st...

2017-08-15 20:01:38

阅读数 943

评论数 0

ubuntu 常见错误--Could not get lock /var/lib/dpkg/lock

ubuntu 常见错误--Could not get lock /var/lib/dpkg/lock 通过终端安装程序sudo apt-get install xxx时出错: E: Could not get lock /var/lib/dpkg/lock - open (11: Re...

2017-08-09 22:15:34

阅读数 173

评论数 0

Linux sort指令

sort将文件的每一行作为一个单位,相互比较,比较原则是从首字符向后,依次按ASCII码值进行比较,最后将他们按升序输出。 # cat sort.txt hello:1:5 hello:1:5 world:2:5 tom:4:3 hi:3:2 hello:1:5 # ...

2017-08-08 20:44:32

阅读数 120

评论数 0

SparkContext的初始化机制

1. createTaskScheduler():创建SparkScheduler,SparkDeploySchedulerBackend(它在底层负责接收TaskSchedulerImpl的控制,实际上负责与Master的注册,Executor的反注册,task发送到Executor等操作),调...

2017-07-30 21:45:10

阅读数 159

评论数 0

xargs命令详解

xargs是给命令传递参数的一个过滤器,也是组合多个命令的一个工具。它把一个数据流分割为一些足够小的块,以方便过滤器和命令行进行处理。通常情况下,xargs从管道或者stdin中读取数据,但是它也能够从文件的输出中读取数据。xagrs的默认命令是echo,这意味着通过管道传递给xagrs的输入将会...

2017-07-28 23:37:22

阅读数 225

评论数 0

Java读取Unicode文件(UTF-8等)时碰到的BOM首字符问题,及处理方法

在Windows下用文本编辑器创建的文本文件,如果选择以UTF-8等Unicode格式保存,会在文件头(第一个字符)加入一个BOM标识。 这个标识在Java读取文件的时候,不会被去掉,而且String.trim()也无法删除。如果用readLine()读取第一行存进String里...

2017-07-27 15:56:11

阅读数 163

评论数 0

Scala学习—隐式转换与隐式参数

scala隐式转换,其实最核心的就是定义意识转换函数,即implicit conversion function。定义的隐式转换函数,只要在编写的程序内引入,就会被scala自动使用。scala会根据隐式转换函数的签名,在程序中使用到隐式转换函数接收的参数类型定义的对象时,会自动将其传入隐式转换函...

2017-07-26 13:59:10

阅读数 159

评论数 0

Scala学习—类型参数

泛型类 使用泛型类,通常是需要对类中的某些成员,比如field和method中的参数或变量,进行统一的类型限制,这样可以保证程序更好的健壮性和稳定性。 如果不使用泛型进行统一的类型限制,那么在后期程序运行过程中,难免会出现问题,比如传入了不希望的类型,导致程序出问题。 在使用类的时候,如果创...

2017-07-26 13:20:24

阅读数 112

评论数 0

提示
确定要删除当前文章?
取消 删除
关闭
关闭