- 博客(6)
- 收藏
- 关注
RSS订阅转载 Spark的代码模块
scheduler：负责整体的Spark应用、任务调度的代码。 broadcast：Broadcast（广播变量）的实现代码 deploy：含有Spark部署与启动运行的代码。 common：不是一个文件夹，而是代表Spark通用的类和逻辑实现 metrics：运行时状态监控逻辑代码，Executor中含有Worker节点负责计算的逻辑代码。 partial：含有近似评估代码。...
2016-01-20 14:23:00
97
转载 spark实战@wordcount-处理目录下的多个文件
import org.apache.hadoop.fs.{Path, FileSystem} import org.apache.spark.SparkConf import org.apache.spark.SparkContext class WordCount { } /** 处理目录下每个文件，进行wordcount计算，并将结果保存为list */ object WordCo...
2016-01-20 11:28:00
247
转载 使用uuid-ossp
9.4版本添加uuid-ossp很简单，只需要添加扩展包内容即可 CREATE EXTENSION "uuid-ossp"; 具体路径是在：/usr/pgsql-9.4/share/extension/uuid-ossp--1.0.sql 刚开始采用以前的方法手动创建，直接提示直接使用create extension即可，很方便 ...
2015-12-03 17:32:00
581
转载 使用IDEA+MVN 编译Spark 1.5.2 without hive
编译前可以参考下官方文档http://spark.apache.org/docs/1.5.0/building-spark.html 参考文档：http://mmicky.blog.163.com/blog/static/1502901542014312101657612/ 经多次测试以及和别人的交流，确认spark 1.5和hive 1.2.1兼容有问题，请使用s...
2015-11-12 15:06:00
183
转载 VMware通过NAT模式访问外网
============= 说明 ============= 这里只记录自己的配置，详细参考 注意：其中默认网关有时不稳定，可能和NAT模式有关 ============= PC机配置 ============= ============= 虚拟机配置 ============= 转载于:https://www.cnb...
2015-11-11 23:19:00
121
转载 正式开博，Mark
感谢Windows Live Writer，让一切都变得更加美好… 转载于:https://www.cnblogs.com/TerrenceYtq/p/4952671.html
2015-11-10 13:38:00
96
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人