- 博客(14)
- 收藏
- 关注
原创 Fate On Spark 大文件上传异常
目录背景原始代码内存信息总结解决方案背景Fate On Spark在测试大文件上传的时候,遇到当文件大小超过fate所在机器内存大小的时候,上传任务最终状态为canceled,经过多次测试发现整个文件其实是已经完整上传到HDFS上,但是Fate在文件上传完毕之后会调用count()函数,当fate底层storage为hdfs时:count()执行逻辑其实就是将刚刚上传到hdfs的数据重新read一遍,读一行就做一下计数。问题就在于fate读取hdfs上数据使用的方法上面:python的第三方库pyarr
2021-12-30 20:57:54
1792
原创 linux scp命令
上传目录到服务器# 命令格式scp -r local_dir username@servername:remote_dir# 例子:把当前目录下的test目录上传到服务器的/var/www/ 目录scp -r test root@192.168.0.101:/var/www/ 从服务器上下载文件# 命令格式scp username@servername:/path/filename /var/www/local_dir(本地目录)# 把192.168.0.101上的/var/w
2021-08-25 20:47:48
126
原创 typora画流程图、时序图(顺序图)、甘特图
1. 横向流程图源码:~~~mermaidgraph LRA[方形] -->B(圆角) B --> C{条件a} C -->|a=1| D[结果1] C -->|a=2| E[结果2] F[横向流程图]~~~效果如图:2. 竖向流程图源码:~~~mermaidgraph TDA[方形] -->B(圆角) B --> C{条件a} C -->|a=1| D[结果1]...
2021-08-23 20:11:53
1905
1
原创 java.lang.String.split与org.apache.commons.lang3.StringUtils.split性能对比
文件数据如下:1. csv(85kb)2.csv(186.5M)测试结果:按如下字符切分 1.csv 2.csv 1.csv 2.csv , java.lang.String.split 22 1763 15 1596 org.apache.commons.lang3.StringUtils.split 43 1340 38 1402 0. java.lang.String.split
2021-08-22 20:59:58
454
原创 Java8 list与map转换
list转map<User.getCode,User>Map<String,User> map =list.stream().collect(Collectors.toMap(User::getCode, Function.identity(), (key1, key2) -> key2));list1转list2<User.getCode>,当userType==1List list2 =list1.stream().filter(e -> e
2021-08-18 14:08:15
260
原创 jar包运行的两种方式
运行jar包的两种方式 :java -jar 和 java -cp 区别运行jar包的两种方式1. java -jar Test.jar 2. java -cp com.test.Test Test.jarJava -jar我们解压jar包,在META-INF文件夹下都会有一个名为MANIFEST.MF的文件,内容如图:java -jar就是通过属性Main-Class来找到运行的main方法,所以如果你的MANIFEST.MF中没有Main-Class属性,就会提示Cant load ma
2021-08-17 20:58:53
39305
原创 list转化
list<User>转map<User.getCode,User>Map<String,User> map = list.stream().collect(Collectors.toMap(User::getCode, Function.identity(), (key1, key2) -> key2));list1<...
2019-08-20 21:28:55
170
原创 idea快捷键
windows下idea使用安装ideaidea 快捷键安装ideahttps://blog.csdn.net/SIMPLE1995/article/details/89354031idea 快捷键IntelliJ Idea 常用快捷键列表Ctrl+N 查找类Ctrl+Shift+N 查找文件Ctrl+Alt+L 格式化代码(安装阿里代码规范工具)Alt+Insert 生成代码...
2019-08-13 17:58:08
166
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人