JackLi_csdn-CSDN博客

转载并行流与串行流

parallel() 与sequential()底层是fork join框架@Test public void test3(){ long start = System.currentTimeMillis(); Long sum = LongStream.rangeClosed(0L, 10000000000L) .parallel() .sum...

2018-10-04 00:41:51 288

转载 Scala入门学习之【wordcount】

https://blog.csdn.net/freefish_yzx/article/details/77278271

2018-10-03 23:03:04 99

转载 Scala

Scala 下划线https://blog.csdn.net/i6448038/article/details/50017427https://www.cnblogs.com/joymufeng/p/6866999.html

2018-10-03 23:00:09 91

原创 SpringMvc

spring Is it an abstract class?; nested exception is java.lang.InstantiationException: 自定义的实体类，一定要有无参数的构造方法

2018-09-29 10:24:02 121

原创 web开发总结

1、redirect和forward直接return到jsp时，是不会经过拦截器的，也就是直接返回到webapp的路径下，而无法访问到WEB-INF目录下的资源的，只能return到一个url，用这个url return到经过拦截器后的WEB-INF下的资源 2、ajax的回调函数，是可以success:function() {}success:function(data) {}3...

2018-08-29 18:17:25 218

转载 JQuery ajax

https://www.cnblogs.com/applerosa/p/7125367.html

2018-07-08 03:00:30 186

原创 jdbc等使用

https://blog.csdn.net/Changui_/article/details/78484935

2018-06-19 16:47:11 239

转载 ftp

ftp和sftp不一样，需要安装ftp服务器service vsftpd status 查看状态vsftpd: unrecognized service——表明FTP没装https://jingyan.baidu.com/article/380abd0a77ae041d90192cf4.html

2018-05-16 14:01:05 303

原创 Python 使用

在Mac和Linux上直接运行.py文件#!/usr/bin/env python3print('hello, world')chmod a+x hello.py字符串：单引号或者双引号括起来，但不能混用单引号和双引号

2018-05-08 09:34:48 245

原创 Kafka问题

Error while fetching metadata with correlation id 10 : {monitor-desc-pedestrian-attr-recog_gpu-task-nod1=LEADER_NOT_AVAILABLE}config配置server.properties 解决：# listeners = PLAINTEXT://your.host.name

2018-05-04 17:10:23 673

原创 java 资源池

http://secfree.github.io/blog/2014/12/28/spark-streaming-pool.htmlhttps://www.bbsmax.com/A/1O5EpMZaJ7/

2018-02-21 22:38:35 1116

当你调用toJson（obj）时，Gson调用obj.getClass（）获取要序列化的字段的信息。同样的，你通常可以在fromJson（json，MyClass.class）方法中传递MyClass.class对象。如果对象是非泛型类型，这工作正常。但是，如果对象是泛型类型，那么泛型类型信息由于Java类型擦除而丢失。import com.google.gson.reflect.TypeToken

2017-12-11 16:13:32 199

原创 java jni

cmd下javac 错误: 编码GBK的不可映射字符javac -encoding utf-8 文件名javac -encoding utf-8 JavaJNI.javajavah -encoding utf-8 -classpath E:\mycode\Cripac\JniDemo\src\main\java jni.JniDemo.JavaJNIjavah 错误: 找不到 ‘XX’ 的类文件或E

2017-10-26 00:17:29 322

原创 java 调用Linux shell

java通过ssh操作linux服务器 http://blog.csdn.net/u012621115/article/details/53434548调用命令final Process process = Runtime.getRuntime().exec(command); BufferedReader bufReader = new BufferedReader(new Inp

2017-10-25 14:45:30 400

转载 jdbc

mysql数据库的连接以及增删改查Java代码实现（PreparedStatement版） http://blog.csdn.net/zzy1078689276/article/details/46042035http://www.cnblogs.com/wuyuegb2312/p/3872607.html

2017-10-16 14:48:28 231

原创 neo4j 导入数据

load csv默认路径：/home/VpeWebServer/neo4j/import LOAD CSV WITH HEADERS FROM "file:///export-node.csv" AS line CREATE (a:Hour{hour:line.hour}),(b:Minute{start:line.start}),(c:Person{trackletID:line.trackl

2017-09-30 11:17:37 612

原创 java 锁

Lock、synchronized和ReadWriteLock的区别和联系 http://blog.csdn.net/qq_20641565/article/details/53208909Java中的ReentrantLock和synchronized两种锁定机制的对比 http://blog.csdn.net/fw0124/article/details/6672522java volita

2017-09-24 22:21:27 343

原创 JAVA 多线程和并发

http://www.cnblogs.com/GarfieldEr007/p/5746362.html http://www.cnblogs.com/wxd0108/p/5479442.html

2017-09-23 18:10:28 252

原创 spark 错误

一、Error for /api/v1/applicationsjava.lang.ClassNotFoundException: org.apache.spark.status.api.v1.ApiRequestContext错误比较诡异，spark api 里根本没有这个类，不行的话，只能把org.apache.spark.status.api.v1，这个包在spark-core_2.11-2

2017-09-19 14:43:23 1025

原创 spark 运行原理

job task stage http://litaotao.github.io/deep-into-spark-exection-model

2017-09-18 16:34:15 535

原创数据倾斜

http://www.jianshu.com/p/06b67a3c61a9任务倾斜

2017-09-17 22:10:04 281

原创 spark 小技巧

一、把结果带出foreachval e= b.map(f⇒{ var dbConnector:GraphDatabaseConnector=new Neo4jConnector(); val eachList=dbConnector.getPersonSimList(f._1) dbConnector.finalize() dbConnec

2017-09-17 22:03:24 768

原创 spark 共享变量

闭包原则 https://fangjian0423.github.io/2016/01/27/spark-programming-guide/

2017-09-17 21:57:16 410

原创 neo4j 服务器

启动服务，停止服务，重启服务和查询服务的状态：bin\neo4j startbin\neo4j stopbin\neo4j restartbin\neo4j statushttp://www.cnblogs.com/ljhdo/p/5521577.html

2017-09-11 14:59:20 731

原创 java jni native

No native JavaCPP library in memory. (Has Loader.load() been called?)解决办法：import org.bytedeco.javacpp.Loader;import org.bytedeco.javacpp.opencv_core;在main方法里，或者static方法里调用Loader.load(opencv_c...

2017-09-10 17:37:15 1091

转载 flann

http://blog.csdn.net/jasonding1354/article/details/44038539

2017-09-07 15:31:09 540

原创新技术

nginx 日志正则表达式：http://rubular.com/ SmartBI、PowerBIFluentd 日志 http://www.linuxidc.com/topicnews.aspx?tid=13 type script https://azure.microsoft.com/zh-cn/services/hdinsight/ xpath 爬虫 mysql 索引 ansi

2017-09-07 15:00:23 324

原创 java 小技巧

函数返回值 1、return操作，如果返回值为多个，寻找或者构造一个数据结构带回去 2、TestKNN t = new TestKNN();String datafile = new File("").getAbsolutePath() + File.separator +"resource"+File.separator + "datafile.data"; try {

2017-09-01 14:19:46 401

原创 scala 使用

时间戳val now = new Date() def getCurrent_time():Long = { val a = now.getTime var str = a+"" str.toLong }

2017-08-23 18:10:56 521

原创 win7 eclipse 调试spark

还没测试成功 http://blog.csdn.net/fly_leopard/article/details/51250443 http://jingyan.baidu.com/article/d3b74d64cc2a0c1f77e609d2.html目前的问题是：hadoop -version 出现的是java的环境变量

2017-08-23 17:02:28 424

原创欧氏距离计算

一、不转换成rddval pointsWithIndex=list.asScala.toList.zipWithIndex val dis = pointsWithIndex.flatMap(a => pointsWithIndex.filter(_._2 > a._2).map((a, _))) .map({ case (a, b) => (a._1.getTrackletID, b.

2017-08-23 16:59:10 4106

转载 spark mllib 相关使用

spark向量、矩阵类型 http://blog.csdn.net/bluejoe2000/article/details/44217949 BLAS （不太明白为何是private）http://snacktrace.com/artifacts/org.apache.spark/spark-mllib_2.11/2.0.0-preview/org.apache.spark.mllib.lin

2017-08-23 16:44:40 415

原创 spark rdd scala相关使用

一、Sort排序详解val rdd3=rdd2.map(r⇒(r._1._1._1,r._2._1._1,euclidean(r._1._1._2,r._2._1._2)))val rdd4=rdd3.map(r⇒(r._3,r))val rdd6=rdd4.sortByKey(false)var rdd7= rdd3.sortBy(r⇒(r._3),false)false代表降序http:/

2017-08-23 16:42:29 695

原创 java 细节

一、String[] args 参数如何传递java -jar test.jar 你的参数二、;Syntax error on token ")", ; expected 某些方法的使用要在方法里，而不能在类里三、eclipse 配置jre 四、查看java 对象内存，下面这个方法不太准Runtime r = Runtime.getRuntime(); ...

2017-08-13 03:32:01 304

原创 git 命令

克隆git仓库中的一个分支git clone -b <branch> <remote_repo>git回滚到任意版本 1、先显示提交的loggit log -3commit 4dc08bb8996a6ee02fAuthor: Mark <xxx@xx.com>Date: Wed Sep 7 08:08:53 2016 +0800 xxxxxcommit 9cac9ba76574da

2017-08-11 13:56:57 372

原创 MAP

排序 http://www.cnblogs.com/chenssy/p/3264214.html

2017-08-10 20:50:53 387 1

原创 neo4j使用

创建关系，并且关系有属性MATCH (a:Person{id:"/user/vpe.cripac/new2/20131223141032-20131223141628/d3fba52d-c1a5-4aa0-8c95-6be46892688f/4"}),(b:Person{id:"/user/vpe.cripac/new2/20131223141032-20131223141628/d3fba52d-

2017-08-02 08:48:58 1447

转载相似度计算方式的总结：java或python实现代码

http://blog.csdn.net/zy825316/article/details/19129531

2017-08-01 17:10:17 550

转载使用base64编码

https://www.zhihu.com/question/36306744/answer/71626823

2017-08-01 17:09:20 269

原创 WIN7 磁盘分区

删除OEM隐藏分区 1. win+r 键打开运行程序，输入diskpart.exe 回车 2. 扫描硬盘输入 rescan 3：输入“list disk”敲回车，用来显示磁盘列表 4：输入“select disk 磁盘号”（例“selectdisk 0”）敲回车，选择隐藏分区所在的磁盘。//一定要选择，即使是当前盘 5：输入“list partition”命令，敲回车，显示所选择磁盘

2017-07-30 20:45:44 492

空空如也

空空如也