- 博客(18)
- 收藏
- 关注
RSS订阅
1原创 go 中的array和slice
go 中的array和slicearray 和slice 类似但是也有区别arrayarray是定长的, 类似于c语言里面的数组 可能修改内容 但是不能够扩容array 的类型本身包含了长度信息比如定义时array1 := [5]int{1, 2, 3, 4, 5}其中[5]int 是类型sliceslice 类似于python里面的数组 不仅仅可以修改内容还可以 扩容。每次...
2020-01-05 22:52:55
279
原创 spark job 使用定制python环境 + 上传额外环境的方法
spark 上传额外的文件的方法当pyspark 运行在cluster mode下的时候 driver不能直接获取到client上的文件 所以要把一些文件上传上去 pyspark_submmit 在提交的时候有三个参数和上传文件相关上传压缩文件例如--archives ./py_276_cityhash_env.zip#HashEnvDir这个参数的意思是 将压缩包 zip文件分发到...
2019-12-27 18:51:03
611
原创 常用shell命令
grepformat: grep [option] <pattern>-i # 忽略大小写-o #只显示匹配内容-v # 只显示不匹配的行-P # 正则表达式-l # 列出包含对应内容的文件名-L # 列出不包含对应内容的文件名-C 5 # 显示匹配行的前后五行-A 5 # 显示匹配行的后五行-B 5 # 显示匹配行的前五行WC...
2019-12-26 13:16:54
209
原创 hdfs yarn kill 任务
hdfs kill 任务先说结论hdfs 上的hadoop 任务 直接在终端ctrl+C是不行的 任务一旦提交到集群上 就会继续 运行所以应该使用yarn application -kill application_1571706429831_129599 这个命令来kill job起因使用hadoop distcp 提交了一个拷贝任务 中途用ctrl+c取消了 然后去删除拷贝了一...
2019-12-26 11:44:32
515
原创 pyspark RDD 的介绍和基本操作
pyspark RDD 的介绍和基本操作RDD介绍虽然现在pyspark已经支持了DataFrame 但是有的时候不得不用一下RDD但是 官方文档很多地方说的不明不白 所以自己做了实验在这里总结一下。RDD是用位置来做映射的 可以看做是一个大号的python list 区别在于他是被分布式存储 不是python中的list 是单机存储的 里面装的全是 单个元素或者元组(元素大于等于2的元...
2019-12-20 18:56:19
760
原创 hdfs 权限设置问题
HDFS 权限设置hdfs 系统的权限和 linux 相似 分为三个部分所有者 第一列 对应权限位2,3.4位用户组 第二列 对应权限位5,6,7位其他人 对应权限位8,9,10位hdfs的用户 是和本地机器的用户绑定的使用 比如hdfs 用户 上有一个用户叫profile 想要使用这个用户权限操作hdfs 就要在本地使用 sudo -u profile 的方式来使用指...
2019-12-19 14:35:04
713
原创 crontab 踩坑记录
crontab是linux 下的定时工具但是有很多坑1. 第一个坑 crontab 命令中 %如果原始命令中带有 %那么很可能会执行失败 因为crontab中的%号有特殊含义 需要使用 转义字符去转义例如 下面这个命令 手动执行时候好好的 在crontab中就会失败 就是因为% 已经两次掉进坑里面了 其实可以发现加了反斜杠的%好不加反斜杠的%在crontab 用vim编辑时候的颜色已...
2019-12-19 14:29:53
654
原创 pytorch小问题
pytorch张量的保存和恢复tensor本身就是对象 如果想要保存和恢复对应的对象 使用 torch.save 和 torch.load即可就像picke的load 和dump一样t2 = torch.randn([1024, 1024])torch.save(t2, "t1.pth")t2l = torch.load(t2, "t1.pth")当然save和load 还涉及到具...
2019-12-19 13:13:20
231
原创 关于git中文件的删除
#一般的情况都是只涉及文件数量一定或者只是增多的情况 现在要说一下git涉及到删除是个什么情况使用删除的方式有两种一种是 git rm另一种是系统的rm 区别在于 git rm 直接将删除文件的命令做了暂存 只需要后续commit即可而rm命令只是删除了工作区的文件 需要后续再使用add --all 和commit删除操作也会作为一个提交放到版本库中，如果commit了一个 删
2017-03-15 14:36:42
407
原创 git 上合并分之的冲突解决
关于git的分支合并git开发的过程中涉及到分支，也就是不同的开发路径。如:a->b->c此时从c点开始分叉有两个人可以同时在c上开发。c->dc->e但是这就涉及到一个问题 冲突两个人的版本均是基于c版本的假使两个人都修改了c版本中的同一个文件，那么如果两个人都向master push(向master合并)时，到底master该存储谁呢？这时候后推
2017-03-15 14:33:55
982
原创 github上的分支合并
1：点击New pull request2：在没有冲突的情况下 看到上方写着 able to merge注意上图是在分支选择dev0的情况下 才会出现可以合并如果选择了master分支 那么就不会有什么显示就像下面这样注意两个框里面有 base 和compare 是将compare像base合并如果base 和compare的分支在共同点后分别有前进
2017-03-15 14:31:29
1529
原创 problem 001
leetcode 001QuestionTwo SumGiven an array of integers, return indices of the two numbers such that they add up to a specific target. You may assume that each input would have exactly one solution. Ex
2016-09-12 10:39:26
342
原创 problem 387
leetcode 387QuestionFirst Unique Character in a StringGiven a string, find the first non-repeating character in it and return it’s index. If it doesn’t exist, return -1.Examples:s = “leetcode” return
2016-09-12 10:37:19
230
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人