自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(27)
  • 收藏
  • 关注

原创 Java Spark算子:take 与 takeOrdered

import org.apache.spark.SparkConf;import org.apache.spark.api.java.JavaRDD;import org.apache.spark.api.java.JavaSparkContext;import java.util.Arrays;import java.util.List;/** * take(num)算子: ...

2020-02-26 14:09:15 530

原创 Java Spark算子:reduce

import org.apache.spark.SparkConf;import org.apache.spark.api.java.JavaRDD;import org.apache.spark.api.java.JavaSparkContext;import org.apache.spark.api.java.function.Function2;import java.util.A...

2020-02-26 13:56:49 734

原创 Java Spark算子:count 与 countByKey

import org.apache.spark.SparkConf;import org.apache.spark.api.java.JavaPairRDD;import org.apache.spark.api.java.JavaSparkContext;import scala.Tuple2;import java.util.Arrays;import java.util.List...

2020-02-26 13:47:10 280

原创 Java Spark算子:coalesce

import org.apache.spark.SparkConf;import org.apache.spark.api.java.JavaRDD;import org.apache.spark.api.java.JavaSparkContext;import java.util.ArrayList;import java.util.Arrays;import java.util.L...

2020-02-26 13:33:35 253

原创 Java Spark算子:cartesian

import org.apache.spark.SparkConf;import org.apache.spark.api.java.JavaPairRDD;import org.apache.spark.api.java.JavaRDD;import org.apache.spark.api.java.JavaSparkContext;import java.util.Arrays;...

2020-02-26 11:27:28 167

原创 Java Spark算子:cogroup

import org.apache.spark.SparkConf;import org.apache.spark.api.java.JavaPairRDD;import org.apache.spark.api.java.JavaSparkContext;import scala.Tuple2;import java.util.Arrays;import java.util.List...

2020-02-26 11:15:52 188

原创 Java Spark算子:join

import org.apache.spark.SparkConf;import org.apache.spark.api.java.JavaPairRDD;import org.apache.spark.api.java.JavaSparkContext;import scala.Tuple2;import java.util.Arrays;import java.util.List...

2020-02-26 11:05:05 346

原创 Java Spark算子:sortByKey

import org.apache.spark.SparkConf;import org.apache.spark.api.java.JavaPairRDD;import org.apache.spark.api.java.JavaSparkContext;import scala.Tuple2;import java.util.Arrays;import java.util.List...

2020-02-26 10:54:03 528

原创 Java Spark算子:reduceByKey

import org.apache.spark.SparkConf;import org.apache.spark.api.java.JavaPairRDD;import org.apache.spark.api.java.JavaSparkContext;import org.apache.spark.api.java.function.Function2;import scala.Tu...

2020-02-26 10:31:19 745

原创 Java Spark算子:groupByKey

import org.apache.spark.SparkConf;import org.apache.spark.api.java.JavaPairRDD;import org.apache.spark.api.java.JavaSparkContext;import scala.Tuple2;import java.util.Arrays;import java.util.List...

2020-02-19 17:36:29 363

原创 Java Spark算子:distinct

import org.apache.spark.SparkConf;import org.apache.spark.api.java.JavaRDD;import org.apache.spark.api.java.JavaSparkContext;import java.util.Arrays;import java.util.List;/** * distinct()算子 *...

2020-02-19 17:07:42 230

原创 Java Spark算子:intersection

import org.apache.spark.SparkConf;import org.apache.spark.api.java.JavaRDD;import org.apache.spark.api.java.JavaSparkContext;import java.util.Arrays;import java.util.List;/** * intersection算子:...

2020-02-19 15:13:34 138

原创 Java Spark算子:union

import org.apache.spark.SparkConf;import org.apache.spark.api.java.JavaRDD;import org.apache.spark.api.java.JavaSparkContext;import java.util.Arrays;import java.util.List;/** * union() 算子: * 取...

2020-02-19 14:47:30 343

原创 Java Spark算子:sample

import org.apache.spark.SparkConf;import org.apache.spark.api.java.JavaRDD;import org.apache.spark.api.java.JavaSparkContext;import java.util.Arrays;import java.util.List;/** * sample(withRepl...

2020-02-19 14:37:27 175

原创 Java Spark算子:mapPartitionsWithIndex

import org.apache.spark.SparkConf;import org.apache.spark.api.java.JavaRDD;import org.apache.spark.api.java.JavaSparkContext;import org.apache.spark.api.java.function.Function2;import java.util.A...

2020-02-19 14:09:14 588

原创 Jave Spark算子:mapPartitions

import org.apache.spark.SparkConf;import org.apache.spark.api.java.JavaRDD;import org.apache.spark.api.java.JavaSparkContext;import org.apache.spark.api.java.function.FlatMapFunction;import org.ap...

2020-02-19 11:45:51 478

原创 Java Spark算子: flatMap

import org.apache.spark.SparkConf;import org.apache.spark.api.java.JavaRDD;import org.apache.spark.api.java.JavaSparkContext;import org.apache.spark.api.java.function.FlatMapFunction;import java....

2020-02-19 10:34:56 1746

原创 Java Spark算子:filter

import org.apache.spark.SparkConf;import org.apache.spark.api.java.JavaRDD;import org.apache.spark.api.java.JavaSparkContext;import org.apache.spark.api.java.function.Function;import java.util.Ar...

2020-02-18 15:25:51 1275

原创 Java Spark算子:map

import org.apache.spark.SparkConf;import org.apache.spark.api.java.JavaRDD;import org.apache.spark.api.java.JavaSparkContext;import org.apache.spark.api.java.function.Function;import java.util.Ar...

2020-02-18 15:10:05 407

原创 Java Spark算子:union

import org.apache.spark.SparkConf;import org.apache.spark.api.java.JavaRDD;import org.apache.spark.api.java.JavaSparkContext;import org.apache.spark.api.java.function.VoidFunction;import java.util...

2020-02-18 14:34:10 240

原创 Java Spark算子:forEach

import org.apache.spark.SparkConf;import org.apache.spark.api.java.JavaRDD;import org.apache.spark.api.java.JavaSparkContext;import org.apache.spark.api.java.function.VoidFunction;import java.uti...

2020-02-18 14:24:04 822

原创 在window和linux下部署jar包

一. java执行jar的语句1. 最简单的执行语句语句:java -jar jar包名.jar例如:我要运行的jar包名是 love.jar,那么执行语句如下。java -jar like.jar2. 常用的参数-Xms:设置jar包启动时所占用的内存-Xmx:设置jar包运行时所占用的最大内存例如:我需要的启动内存为512m,最大运行内存为1024m,那么执行语句就变成了下面...

2020-01-22 09:41:00 986

原创 POI-解析Excel

一. POI介绍1. 简介POI为“Poor Obfuscation Implementation”的首字母缩写。Apache POI是Apache软件基金会的开放源码函式库,POI提供API给Java程序对Microsoft Office格式档案读和写的功能。2. 结构HSSF - 提供读写Microsoft Excel XLS 格式档案的功能。XSSF - 提供读写Microsoft...

2020-01-20 16:05:31 265

原创 JavaScript基础语法-条件语句

一.if-else语句语法if-else的语法分为三种:(1)if( 条件 ){ 条件为true时执行代码 }(2)if( 条件 ){ 条件为true时执行的代码 } else { 条件为false时执行的代码 }(3)if( 条件1 ){ 条件1为true时执行的代码 } esle if ( 条件2 ) { 条件1false条件2true } else { 都false }例子...

2020-01-15 22:04:04 213

原创 JavaScript基础语法-2

一.注释(1)单行注释://(2)多行注释:/* */例如:<!DOCTYPE html><html lang="en"><head> <meta charset="UTF-8"> <title>Demo4</title></head><body><script ...

2020-01-14 21:14:49 69

原创 kafka常见问题之重复消费问题

一.问题描述kafka出现重复消费的问题,一条传入卡夫卡中的消息可能被消费好几次。而且服务器出现以下日志:二.问题原因分析以及解决方案原因1:消费端的能力过于低下。消息处理完之后提交下一个消费的offset,但是在session-time-out前,消息还没有处理完,出现了超时问题。于是被kafka视为消费失败了,导致一直重复消费。解决方法1:(1)关闭spring-kafka的自动...

2020-01-14 11:21:05 1840

原创 JavaScript基础语法-1

一.标记javascript是包含在<script type="text/javascript"> </script>中间的。例如:<!DOCTYPE html><html lang="en"><head> <meta charset="UTF-8"> <title>demo1</t...

2020-01-13 14:23:18 100

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除