编程学习
文章平均质量分 92
Pallas_Cat
这个作者很懒,什么都没留下…
展开
-
S3对象存储上传文件夹
背景:Amazon S3提供了方便易用的对象存储接口,在对象存储中数据是以key-value的形式存放,对象之间默认没什么关联。在实际应用场景中,我们可能需要将一个文件夹上传到S3中,而不是一个一个文件地上传,并且期望保留文件夹里文件的层级关系。本文介绍三种方法,第三种用代码是重点。1.使用S3Browser在S3的客户端S3Browser中,我们发现可以upload floder,我将本地 H:\video\test 文件夹上传,test文件夹里有1.txt,2.txt两个文件和一个名为test2的原创 2020-12-10 16:11:48 · 6315 阅读 · 0 评论 -
基于thrift的简单Java RPC框架
背景:RPC是一种常用的技术,比如游戏服务器,算法服务等都会用到。有时我们想使用一个简单的RPC框架;或者客户端服务端程序是由不用语言编写,但是要使用RPC技术,这时thrift是一种很好的选择。thrift是一种跨语言的RCP框架(不跨语言也可以),下面讲解如何用thrift编写一个简单的客户端服务端均为Java语言的RPC框架。定义接口,生成代码创建一个helloworld.thrift文件,内容如下service Hello {string helloString(1:string wor原创 2020-12-09 10:12:24 · 443 阅读 · 0 评论 -
Java调用cmd命令复制文件到指定目录
背景:有时我们想把一个文件复制多份,而且存放在指定目录,并且复制得到的文件命名按照我们的需要来,而不是 XX–(副本)。手动复制太慢,尤其是要切换文件夹,这时候我们可以借助脚本或者代码完成工作。受到这篇博客的启发,使用JavaIO流复制可能较慢,我也调用cmd里的命令,复制文件到指定路径,对原博客的代码做了一些修改,更好用。import java.io.File;public class CopyFile { public static void main(String[] arg原创 2020-12-03 15:51:10 · 1011 阅读 · 0 评论 -
用Nexus3部署本地(python)pypi仓库
1.安装和启动Nexus3官网下载nexus3,解压,CMD窗口进入安装目录,cd H:\work\nexus-3.28.1-01-win64\nexus-3.28.1-01\binnexus.exe /run等待启动完,然后浏览器进入localhost:80默认端口是80,可以修改IP和端口,后面有详细介绍2.建立仓库点上面的设置按钮,进入如下页面,点击create repository在repositories中找到下面三个。他们的区别是:proxy – 远程仓库的代理,当原创 2020-11-26 11:35:01 · 2716 阅读 · 0 评论 -
Java创建/删除文件及文件夹
背景:有时我们想批量地创建一些小文件,用于其他功能的测试,比如测试存储性能,人工地在操作系统创建文件及文件夹显然很费时,我们就需要自动化地对文件和文件夹操作。1.创建空文件夹输入是文件夹目的地点,比如想在D盘创建名为smallfile的文件夹,输入参数则应该是 “D:\\smallfile”。 public static String createDirectory(String dir){ /*如果sPath不以文件分隔符结尾,自动添加文件分隔符,对于创建文件夹可以不加这几句原创 2020-11-19 22:25:15 · 540 阅读 · 3 评论 -
flink datastream读取csv数据集并处理
从csv格式的数据集中读取数据,创建我自定义的GeoMessage对象,把对象放在集合里,通过flink的fromCollection()方法把集合作为数据源,然后通过实现map接口转换数据。需要注意的是GeoMessage类必须继承实现序列化接口,即public class GeoMessage implements Serializableimport org.apache.flink.api.java.DataSet;import org.apache.flink.streaming.api.d原创 2020-11-05 19:28:15 · 2678 阅读 · 1 评论 -
Java实现简单的倒排索引
背景:一个Subscription里包含ID和关键词,现有多个Subscription,他们的关键词会有重复,通常是索引表是以Subscription的ID为key,keywords为value,那么检索哪些Subscription包含了指定的keywords,就要遍历所有的Subscription。这么做效率比较低。为了提高检索效率,建立倒排索引,以keywords为key,Subscription为value,这样检索包含指定keykeywords的Subscription时候,遍历索引表的key即可原创 2020-10-28 21:04:12 · 2293 阅读 · 3 评论