- 博客(14)
- 收藏
- 关注
RSS订阅原创 Fate On Spark 大文件上传异常
目录背景原始代码内存信息总结解决方案背景Fate On Spark在测试大文件上传的时候，遇到当文件大小超过fate所在机器内存大小的时候，上传任务最终状态为canceled，经过多次测试发现整个文件其实是已经完整上传到HDFS上，但是Fate在文件上传完毕之后会调用count()函数，当fate底层storage为hdfs时：count()执行逻辑其实就是将刚刚上传到hdfs的数据重新read一遍，读一行就做一下计数。问题就在于fate读取hdfs上数据使用的方法上面：python的第三方库pyarr
2021-12-30 20:57:54
1785
原创 linux scp命令
上传目录到服务器# 命令格式scp -r local_dir username@servername:remote_dir# 例子：把当前目录下的test目录上传到服务器的/var/www/ 目录scp -r test root@192.168.0.101:/var/www/ 从服务器上下载文件# 命令格式scp username@servername:/path/filename /var/www/local_dir（本地目录）# 把192.168.0.101上的/var/w
2021-08-25 20:47:48
91
原创 typora画流程图、时序图(顺序图)、甘特图
1. 横向流程图源码：~~~mermaidgraph LRA[方形] -->B(圆角) B --> C{条件a} C -->|a=1| D[结果1] C -->|a=2| E[结果2] F[横向流程图]~~~效果如图：2. 竖向流程图源码：~~~mermaidgraph TDA[方形] -->B(圆角) B --> C{条件a} C -->|a=1| D[结果1]...
2021-08-23 20:11:53
1835
1
原创 java.lang.String.split与org.apache.commons.lang3.StringUtils.split性能对比
文件数据如下：1. csv(85kb)2.csv(186.5M)测试结果：按如下字符切分 1.csv 2.csv 1.csv 2.csv , java.lang.String.split 22 1763 15 1596 org.apache.commons.lang3.StringUtils.split 43 1340 38 1402 0. java.lang.String.split
2021-08-22 20:59:58
438
原创 Java8 list与map转换
list转map<User.getCode,User>Map<String,User> map =list.stream().collect(Collectors.toMap(User::getCode, Function.identity(), (key1, key2) -> key2));list1转list2<User.getCode>,当userType==1List list2 =list1.stream().filter(e -> e
2021-08-18 14:08:15
230
原创 jar包运行的两种方式
运行jar包的两种方式 ：java -jar 和 java -cp 区别运行jar包的两种方式1. java -jar Test.jar 2. java -cp com.test.Test Test.jarJava -jar我们解压jar包，在META-INF文件夹下都会有一个名为MANIFEST.MF的文件,内容如图：java -jar就是通过属性Main-Class来找到运行的main方法，所以如果你的MANIFEST.MF中没有Main-Class属性，就会提示Cant load ma
2021-08-17 20:58:53
39156
原创 list转化
list<User>转map<User.getCode,User>Map<String,User> map = list.stream().collect(Collectors.toMap(User::getCode, Function.identity(), (key1, key2) -> key2));list1<...
2019-08-20 21:28:55
162
原创 idea快捷键
windows下idea使用安装ideaidea 快捷键安装ideahttps://blog.csdn.net/SIMPLE1995/article/details/89354031idea 快捷键IntelliJ Idea 常用快捷键列表Ctrl+N 查找类Ctrl+Shift+N 查找文件Ctrl+Alt+L 格式化代码（安装阿里代码规范工具）Alt+Insert 生成代码...
2019-08-13 17:58:08
108
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人