GitHub
沈子恒
计算机视觉 自然语言处理 推荐系统 架构设计
展开
-
GitHub上传本地代码到仓库[Windows]
1.前言GitHub很久之前就想比划了,今天装了一下。可是在将本地代码上传到项目仓库中的时候遇到了一点问题,CSDN上也讲了很多方法,作为小白简单地记录一下我的心得。2.GitHub安装我采用了最简单粗暴的方法,一路默认安装。3.本地代码上传到项目仓库3.1 GitHub创建项目仓库http://blog.csdn.net/stven_king/arti原创 2017-08-18 00:37:04 · 2098 阅读 · 0 评论 -
Windows下配置环境变量和需不需要重启?
1.前言小师弟最近忙着依赖一个大型开源软件进行深度开发,该开源软件依赖了大量的开源库,所以在编译过程中多次报“无法启动此程序,因为计算机中丢失*****************.DLL,尝试重新安装解决程序以解决此问题”。这个问题多是*******************.dll没有注册引起的,所以最常见的就是开源软件的.../bin目录添加到系统变量PATH中,或者利用cmd.exe原创 2017-08-24 10:16:40 · 15505 阅读 · 2 评论 -
RDD 与 DataFrame原理-区别-操作详解
1. RDD原理及操作RDD (resilientdistributed dataset),指的是一个只读的,可分区的分布式数据集,这个数据集的全部或部分可以缓存在内存中,在多次计算间重用。RDD内部可以有许多分区(partitions),每个分区又拥有大量的记录(records)。RDD具有五大特征:dependencies:建立RDD的依赖关系,主要RDD之间是宽窄依赖的关系,具有窄依...原创 2019-08-06 01:07:39 · 2702 阅读 · 0 评论 -
Spark算子:RDD基本转换操作–coalesce、repartition
1. coalescedef coalesce(numPartitions: Int, shuffle: Boolean = false)(implicit ord: Ordering[T] = null): RDD[T]该函数用于将RDD进行重分区,使用HashPartitioner。第一个参数为重分区的数目,第二个为是否进行shuffle,默认为false.代码测试如下:s...原创 2019-08-06 01:17:57 · 1070 阅读 · 0 评论