- 博客(5)
- 资源 (16)
- 收藏
- 关注
原创 Linux查看内存大小与内存插槽数
查看内存插槽数:sudo dmidecode|grep -P -A5 "Memory\s+Device"|grep Size|grep -v Range 查看最大容量:sudo dmidecode | grep -P 'Maximum\s+Capacity'
2018-06-27 15:54:14 2043
原创 spark学习与理解
One stack to rule them all!先来看一下:MapReduce的流程图:首先从hdfs上取来数据,map任务加载进来解析成kv形式,通过inputformat格式进行解析,然后在环形缓冲区进行缓存排序,然后把排好序的文件分发到磁盘上面,通过partitions进行分片,然后把一片片已经内部排好序的分片传到下一个reduce上去,然后merge合成同一个大文件,然后reduce...
2018-06-26 21:32:21 419
原创 spark学习
spark上下文对象,是spark程序的主入口点,负责连接到spark cluster。 一旦有了上下文,就可以创建RDD,子集群上创建累加器和广播变量每个jvm只能激活一个sparkcontext,创建新的时候必须停止前一个sparkcontext需要传入sparkconf ,用来设置spark参数,参数是kv对RDD:是不可变的,可分区的元素集合,可进行并行操作。该类包含了用于所有R...
2018-06-24 20:59:40 449
转载 计算机顶会与数据集汇总
这里是相关计算机顶级会议的记录 在这里留个记录 以防忘记 具体信息请看原文 : https://blog.csdn.net/cserchen/article/details/40508181 数据集:https://cloud.tencent.com/developer/article/1080393...
2018-06-14 15:48:09 2925
用最简单的方式删除excel某一行
2019-03-13
基于改进的logistics的人口预测模型 数学建模报告
2018-09-30
Hadoop实践报告 分布式系统设计报告
2018-09-30
蚁群算法在TSP问题上的应用与实现(代码+论文+相关截图)
2018-09-30
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人