葫芦娃九爷爷-CSDN博客

原创 leetCode9：判断一个整数是否是回文数的Java代码实现

//问题描述：判断一个整数是否是回文数。回文数是指正序（从左向右）和倒序（从右向左）读都是一样的整数。// 示例 1:// 输入: 121//输出: true// 输入: -121//输出: false//解释: 从左向右读, 为 -121 。从右向左读, 为 121- 。因此它不是一个回文数。// 示例 3:// 输入: 10//输出: false//解释: 从右向左读, 为 01 。因此它不是一个回文数。这是一道判断整数是否为回文数的问题，其实就是翻转过来是否等于原来的数，第一反

2020-12-24 13:51:52 451 1

原创 Spark的RDD怎么以CSV格式保存到HDFS上？

一般在Spark开发过程中，有时候存在将RDD的结果直接保存为CSV文件的这种需求，那么如何将RDD直接保存为CSV文件写到HDFS上呢？1.在SparkSQL的API中，目前支持将DataFrame的write()可以将DataFrame直接保存为CSV文件，只需指定保存文件路径。形如：DataFrame.write.csv("Path")2.但对于Spark任务往往得到的是RDD的结果，而并非DataFrame,这种RDD是不能够直接调用write()方法的，因此需要先将RDD转为DataFram

2020-12-03 15:41:13 3131 1

原创 Flink+Kafka做有状态的实时计算实例

Flink消费Kafka数据，对消费的数据做实时计算是实时计算领域应用最为广泛的场景。下面介绍下如何使用Flink对接Kafka,并成功消费数据（考虑到计算程序复杂性本文以WordCount为例）做实时计算，1.首先是pom文件，这里的Flink，Kafka版本要与集群中安装的一致。 <dependency> <groupId>org.apache.flink</groupId> <artifactId>

2020-11-27 15:04:28 1450

原创 Spark中常用的join操作的区别

Spark中常用的join操作有leftOuterJoin、rightOuterJoin、fullOuterJoin及join,这4个join 类似于mysql中的join操作，其中join就相当于mysql中的innerJoin。下面以代码和结果的形式展示这几个join的区别: val conf = new SparkConf().setAppName("JoinTest").setMaster("local") val sc = new SparkContext(conf) v

2020-11-24 09:58:35 644

原创 Scala编程语言中的隐式转换

一般在开发过程中，也很少用到隐式转换，但在面试中又会经常问到，下面描述下什么是隐式转换？*1. 隐式转换的定义简单地说，隐式转换就是：当Scala编译器进行类型匹配时，如果找不到合适的候选，那么隐式转化提供了另外一种途径来告诉编译器如何将当前的类型转换成预期类型*2. 隐式转换的方法隐式转换完成的方式一般有2种，旧的定义方法指是的“implict def”形式，这种形势下，隐式转换只是一种普通的方法，只不过这种方法要用implicit修饰符修饰，下面以代码举例：object ImplicitTr

2020-09-25 15:39:18 164

原创 Spark任务部署模式之yarn-client与yarn-cluster的区别

Spark任务部署模式之yarn-client与yarn-cluster的区别Spark on Yarn的方式有两种，分别是yarn-client和yarn-cluster，这是在Spark提交任务时通过Spark-submit --deploy-mode指定的，这两种模式有什么区别呢？什么时候使用客户端模式，什么情况使用集群模式呢？其实最大的区别在于当任务工作后，Dirver端进程在哪里启动？1.我们使用spark-submit提交任务的所在节点，也就是Master节点，使用客户端模式时，其节点启

2020-09-23 10:15:02 609 1

原创 Scala基础语法与Java常见的异同点

1.scala中 -> <- => 符号的区别？一般而言，在scala的for循环中使用到<-,表示循环遍历某个内容，如 for(i <- 0 to 4){ }而 -> 则用于在Map结构中构造K-V对，如 “Alice”->1=> 则用在创建函数的函数体时或模式匹配时用到的 def multi() =>{ }2.scala中的通...

2020-01-10 16:15:12 476

weixin_43424643的博客