私人
weixin_44690103
这个作者很懒,什么都没留下…
展开
-
穷尽集合之间的元素组合
穷尽集合之间的元素组合。input: list of list[ [‘a’, ‘b’, ‘c’], [‘1’, ‘2’, ‘3’, ‘4’, ‘5’, ‘6’] , [‘A’, ‘B’, ‘C’, ‘D’] ]output:[[‘a’, ‘1’, ‘A’],[‘a’, ‘1’, ‘B’],[‘a’, ‘1’, ‘C’],[‘a’, ‘1’, ‘D’],…[‘c’, ‘6’, ‘D’]]实现下面的方法, 要求不要用递归的方法。class CombinationProblem {pu原创 2020-06-15 15:33:25 · 911 阅读 · 0 评论 -
字典查找的算法
问题二:字典查找的算法。input:1. input_file每一行有一个词汇,如“浙江”, “浙江大学”, “美国”, “美国政府”。该文件可能有100万词2. a document,字符串。一般有2000字左右。如 “美国规划协会中国办公室揭牌仪式及美国规划领域合作研讨会在浙江大学城乡规划设计研究院208会议室举行。美国规划协会CEO James Drinan,国际项目及外联主任Jeffrey Soule先生,浙江大学党委副书记任少波,浙江大学控股集团领导杨其和,西湖区政府代表应权英副主任…”原创 2020-06-15 17:20:35 · 1261 阅读 · 0 评论 -
hdfs入门
hdfs入门:https://www.jianshu.com/p/6bf9b466330bhttps://blog.csdn.net/strongyoung88/article/details/53608909viewFs入门:https://blog.csdn.net/Androidlushangderen/article/details/51315618原创 2020-04-26 09:21:33 · 105 阅读 · 0 评论 -
hdfs->obs翻译使用说明
hdfs->obs翻译使用说明功能说明:通过HDFS地址映射到OBS地址的方式,支持将线下数据迁移到OBS后,不需要变动业务逻辑中的数据地址。用户场景:1. 客户端不能修改自己的的业务代码逻辑的情况下,实现上云,将数据从HDFS文件系统迁移到OBS系统,通过使用翻译功能简单配置即可访问存储到OBS的数据。2. 将元数据信息从HDFS文件系统部分迁移到OBS,通过使用翻译功能简单配置即可...原创 2020-04-25 13:11:36 · 881 阅读 · 0 评论 -
okio的jar包冲突解决
在文件/opt/client/Flink/flink/conf/flink-conf.yaml中配置映射关系:XXXX执行flink run -m yarn-cluster -ynm “test” /opt/client/Flink/flink/examples/streaming/WordCount.jar --input hdfs://hacluster/yy/ --output hdfs...原创 2020-01-17 17:51:49 · 2039 阅读 · 0 评论 -
翻译功能rename的bug解决
不通文件系统rename的源码实现不同,为了解决不同文件系统相互兼容,参考hive源码。问题:190 T3镜像使用这两种方式创建表和插入数据是有问题的最后一步rename失败1)create table pea(id int,name string,company string) row format delimited fields terminated by ‘,’ stored as ...原创 2020-01-17 17:47:16 · 468 阅读 · 0 评论 -
presto临时文件目录bug解决
Presto执行sql插入语句会建立一个临时目录/tmp/presto-root在默认文件系统,使用hdfs翻译功能时候,需要将临时文件(在hdfs://hacluster/tmp/presto-root下)mv到目标文件目录(obs://yyp/job/yy,即映射的目标文件目录),文件不能跨文件系统移动,导致错误。java.lang.UnsupportedOperationException...原创 2020-01-17 17:29:25 · 565 阅读 · 0 评论 -
git学习
创建分支a. git checkout -b feature_dev //创建并切换分支b. git branch feature_devgit checkout feature_dev在新分支上开发新特性本地创建分支,同时开发多个特性方便点分支合并git checkout master //切换到本地master分支git merge feature_dev //合fea...原创 2019-07-04 17:31:18 · 63 阅读 · 0 评论