2017年12月_yjgithub

12月 11月 10月 09月 08月 07月 05月 04月 03月 02月 01月

原创 Java数据结构与算法之Array数组

目录: 1.数据概述 2.java数组的初始化 3.java数组API 4.数组排序 5.字符串转数组 6.数组封装后的使用

2017-12-22 15:14:33 276

原创 Java数据结构与算法之学习

目录 1.数据结构与常用算法思维导图 2.线性结构使用场景

2017-12-22 10:55:32 370

原创 SparkStreamingj集成Kafka的几个重要参数

sparkstreaming集成kafka

2017-12-18 09:31:02 402

原创安全停止sparkStreaming任务

目的: 1.确保数据处理完后,才停止Job 原因: 因为Spark Streaming流程序比较特殊，所以不能直接执行kill -9 这种暴力方式停掉，如果使用这种方式停程序，那么就有可能丢失数据或者重复消费数据。为什么呢？因为流程序一旦起来基本上是一个7*24小时的状态，除非特殊情况，否则是不会停的，因为每时每刻都有可能在处理数据，如果要停，也一定要确认当前正在处理的数据执行完毕，并且不能在

2017-12-18 08:24:06 4931 2

原创 Spark Streaming的恢复机制——Checkpoint

前言: 一个Streaming Application 往往需要7*24 不间断的跑,所以需要有自动恢复失败前的状态(机器冗机,系统挂掉,jvm crash等),为了让上述成为可能,Spark Streaming需要checkpoint 足够多信息至一个具有容错设计的存储系统(HDFS数据备份)才能让Application从失败中恢复过来Spark Streaming 会 checkpoint 两

2017-12-13 15:39:45 3335

原创 Spark SQL案例介绍与编程实现

要点 Spark SQL/DataFrame如何理解？如何使用spark SQL编写统计代码？如何查看spark任务监控过程？ Spark SQL程序开发需要注意哪些内容？1、Spark SQL/DataFrame如何理解Spark SQL 是 Spark 生态系统里用于处理结构化大数据的模块，该模块里最重要的概念就是 DataFrame, 相信熟悉 R 语言的工程师对此并不陌生。Spa

2017-12-11 10:54:32 4020