- 博客(5)
- 资源 (2)
- 收藏
- 关注
RSS订阅原创 Spark中的共享变量
import org.apache.log4j.{Level, Logger}import org.apache.spark.{SparkConf, SparkContext}/** * @author Jacky * Spark中的共享变量 * 在Spark中，只要不涉及任务的提交，那么所有的代码都在Spark程序的Driver端运行， *...
2018-12-16 18:40:03
511
原创 Spark中的自定义Partitioner分区器
import org.apache.spark.Partitionerimport scala.collection.mutable/** * @author Jacky * 自定义分区器 * 自定义类Scala_HostNamePartitioner继承Partitioner分区器这个抽象类 */class Scala_HostName...
2018-12-16 00:42:46
738
原创 Spark中的RDD持久化
import org.apache.log4j.{Level, Logger}import org.apache.spark.{SparkConf, SparkContext}/** * @author Jacky * RDD持久化 */object Scala_PersistDemo { def main(args: Array[String]): Un...
2018-12-15 23:27:51
236
原创 Flink中Transformation算子（二）
package batch.BatchAPIimport org.apache.flink.api.common.operators.Orderimport org.apache.flink.api.scala.ExecutionEnvironmentimport scala.collection.mutable.ListBuffer/** * @author Jacky */...
2018-12-08 21:42:27
611
原创 Flink中Transformation算子（一）
package batch.BatchAPIimport org.apache.flink.api.common.operators.Orderimport org.apache.flink.api.scala.{DataSet, ExecutionEnvironment}import scala.collection.mutable.ListBuffer/** * @autho...
2018-12-08 21:39:03
3259
Hive数据仓库（一）
2016-09-25
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人