spark snappy save text file

最新推荐文章于 2023-10-19 16:06:19 发布
最新推荐文章于 2023-10-19 16:06:19 发布
阅读量704 收藏
点赞数
分类专栏： hadoop 文章标签： 大数据 scala
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/fypop1/article/details/84814951
版权
SQL context available as sqlContext.

scala> var myVar : String = "Foo"
myVar: String = Foo

scala> val myVal : String = "Foo"
myVal: String = Foo

scala> var myVar : String = "Foo1"
myVar: String = Foo1

scala> myVal="aa"
<console>:27: error: reassignment to val
myVal="aa"
^

scala&gt; myVal="aa";
<console>:27: error: reassignment to val
myVal="aa";
^

scala&gt; myVal="Foo";
<console>:27: error: reassignment to val
myVal="Foo";
^

scala&gt; myVar="jack"
myVar: String = jack

scala&gt; var myVar = 10;
myVar: Int = 10

scala&gt; val myVal = "Hello, Scala!";
myVal: String = Hello, Scala!

scala&gt; val (myVar1: Int, myVar2: String) = Pair(40, "Foo")
myVar1: Int = 40
myVar2: String = Foo

scala&gt; val jack: (myVar1: Int, myVar2: String) = Pair(40, "Foo")
<console>:1: error: ')' expected but ':' found.
val jack: (myVar1: Int, myVar2: String) = Pair(40, "Foo")
^

scala&gt; val jack: (myVar1: Int, myVar2: String) = Pair(40, "Foo")
<console>:1: error: ')' expected but ':' found.
val jack: (myVar1: Int, myVar2: String) = Pair(40, "Foo")
^

scala&gt; val (myVar1, myVar2) = Pair(40, "Foo")
myVar1: Int = 40
myVar2: String = Foo

scala&gt; object Test{
| def main(args:Array[String]){
| var x = 10
| if(x Test
res0: Test.type = $iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$Test$@63843e11

scala&gt; Test
res1: Test.type = $iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$iwC$Test$@63843e11

scala&gt; Test.main("a")
<console>:28: error: type mismatch;
found : String("a")
required: Array[String]
Test.main("a")
^

scala&gt; Test.main(List.("a"))
<console>:1: error: identifier expected but '(' found.
Test.main(List.("a"))
^

scala&gt; val arr = sc.parallelize(Array(("A",1),("B",2),("C",3)));
arr: org.apache.spark.rdd.RDD[(String, Int)] = ParallelCollectionRDD[0] at parallelize at <console>:27

scala&gt; arr.flatmap(x=&gt;(x._1+x_2)).foreach(println);
<console>:30: error: value flatmap is not a member of org.apache.spark.rdd.RDD[(String, Int)]
arr.flatmap(x=&gt;(x._1+x_2)).foreach(println);
^

scala&gt; arr.map(x=&gt;(x._1+x_2)).foreach(println);
<console>:30: error: not found: value x_2
arr.map(x=&gt;(x._1+x_2)).foreach(println);
^

scala&gt; arr.map(x=&gt;(x._1+x._2)).foreach(println);

scala&gt; val arr = sc.parallelize(Array(("A",1),("B",2),("C",3)));
arr: org.apache.spark.rdd.RDD[(String, Int)] = ParallelCollectionRDD[2] at parallelize at <console>:27

scala&gt; arr.map(x=&gt;(x._1+x._2)).foreach(println);

scala&gt; List("a","b").foreach(println);
a
b

scala&gt; val arr = sc.parallelize(Array(("A",1),("B",2),("C",3)));
arr: org.apache.spark.rdd.RDD[(String, Int)] = ParallelCollectionRDD[4] at parallelize at <console>:27

scala&gt; println(arr);
ParallelCollectionRDD[4] at parallelize at <console>:27

scala&gt; arr.foreach(println);

scala&gt; val arr=sc.parallelize(Array(("A",1),("B",2),("C",3)))
arr: org.apache.spark.rdd.RDD[(String, Int)] = ParallelCollectionRDD[5] at parallelize at <console>:27

scala&gt; arr.flatmap(x=&gt;(x._1+x._2)).foreach(println)
<console>:30: error: value flatmap is not a member of org.apache.spark.rdd.RDD[(String, Int)]
arr.flatmap(x=&gt;(x._1+x._2)).foreach(println)
^

scala&gt; val arr=sc.parallelize(Array(("A",1),("B",2),("C",3)))
arr: org.apache.spark.rdd.RDD[(String, Int)] = ParallelCollectionRDD[6] at parallelize at <console>:27

scala&gt; arr.map(x=&gt;(x._1+x._2)).foreach(println)

scala&gt; arr.flatMap(x=&gt;(x._1+x._2)).foreach(println)

scala&gt; arr.flatMap(x=&gt;(x._1+x._2)).foreach(println)

scala&gt; arr.flatMap(x=&gt;(x._1+x._2)).foreach(println)

scala&gt; arr.map(x=&gt;(x._1+","+x._2)).foreach(println)

scala&gt; arr.first();
res16: (String, Int) = (A,1)

scala&gt; arr.count()
res17: Long = 3

scala&gt; val rdd = sc.parallelize(1,10,2);
<console>:27: error: too many arguments for method parallelize: (seq: Seq[T], numSlices: Int)(implicit evidence$1: scala.reflect.ClassTag[T])org.apache.spark.rdd.RDD[T]
val rdd = sc.parallelize(1,10,2);
^

scala&gt; val rdd = sc.parallelize(1 to 10,2);
rdd: org.apache.spark.rdd.RDD[Int] = ParallelCollectionRDD[12] at parallelize at <console>:27

scala&gt; val reduceRDD = rdd.reduce(_ + _)
reduceRDD: Int = 55

scala&gt; rdd.first()
res18: Int = 1

scala&gt; rdd.count
res19: Long = 10

scala&gt; val reduceRDD1 = rdd.reduce(_ - _)
reduceRDD1: Int = 15

scala&gt; val countRDD = rdd.count()
countRDD: Long = 10

scala&gt; val firstRDD = rdd.first()
firstRDD: Int = 1

scala&gt; val takeRDD = rdd.take(5)
takeRDD: Array[Int] = Array(1, 2, 3, 4, 5)

scala&gt; val topRDD = rdd.top(3)
topRDD: Array[Int] = Array(10, 9, 8)

scala&gt; val takeOrderedRDD = rdd.takeOrdered(3)
takeOrderedRDD: Array[Int] = Array(1, 2, 3)

scala&gt; println("func +: "+reduceRDD)
func +: 55

scala&gt; println("func -: "+reduceRDD1)
func -: 15

scala&gt; println("count: "+countRDD)
count: 10

scala&gt; println("first: "+firstRDD)
first: 1

scala&gt; println("take:")
take:

scala&gt; takeRDD.foreach(x =&gt; print(x +" "))
1 2 3 4 5
scala&gt; takeRDD.foreach(x =&gt; println(x +" "))
1
2
3
4
5

scala&gt; arr.flatMap(x=&gt;(x._1+x._2)).foreach(x=&gt;println(x +""))

scala&gt; val arr=sc.parallelize(Array(("A",1),("B",2),("C",3)))
arr: org.apache.spark.rdd.RDD[(String, Int)] = ParallelCollectionRDD[16] at parallelize at <console>:27

scala&gt; arr.take(1)
res28: Array[(String, Int)] = Array((A,1))

scala&gt; arr.foreach(x=&gt;println(x._1 +","+x._2))

scala&gt; arr.lookup("A");
res30: Seq[Int] = WrappedArray(1)

scala&gt; arr.countByKey()
res31: scala.collection.Map[String,Long] = Map(B -&gt; 1, A -&gt; 1, C -&gt; 1)

scala&gt; arr.collectAsMap
res32: scala.collection.Map[String,Int] = Map(A -&gt; 1, C -&gt; 3, B -&gt; 2)

scala&gt; val arr = List(("A", 1), ("B", 2), ("A", 2), ("B", 3))
arr: List[(String, Int)] = List((A,1), (B,2), (A,2), (B,3))

scala&gt; val rdd = sc.parallelize(arr,2)
rdd: org.apache.spark.rdd.RDD[(String, Int)] = ParallelCollectionRDD[21] at parallelize at <console>:29

scala&gt; val countByKeyRDD = rdd.countByKey()
countByKeyRDD: scala.collection.Map[String,Long] = Map(B -&gt; 2, A -&gt; 2)

scala&gt; val collectAsMapRDD = rdd.collectAsMap()
collectAsMapRDD: scala.collection.Map[String,Int] = Map(A -&gt; 2, B -&gt; 3)

scala&gt; countByKeyRDD.foreach(print)
(B,2)(A,2)
scala&gt; collectAsMapRDD.foreach(print)
(A,2)(B,3)
scala&gt; val rdd = sc.parallelize(List(1,2,3,4),2)
rdd: org.apache.spark.rdd.RDD[Int] = ParallelCollectionRDD[24] at parallelize at <console>:27

scala&gt; val aggregateRDD = rdd.aggregate(2)(_+_,_ * _)
aggregateRDD: Int = 90

scala&gt; println(aggregateRDD)
90

scala&gt; def setOp(a:String,b:String):String={
| println("seqOp:"+a+"\t"+b);
| math.min(a.length, b.length).toString();
| }
setOp: (a: String, b: String)String

scala&gt; def combOp(a:String,b:String):String = {
| println("combOp:"+a+"\t"+b);
| a+b;
| }
combOp: (a: String, b: String)String

scala&gt; val z = sc.parallelize(List("12","23","345","4567"),2);
z: org.apache.spark.rdd.RDD[String] = ParallelCollectionRDD[25] at parallelize at <console>:27

scala&gt; z.aggregate("")(seqOp,combOp);
<console>:32: error: not found: value seqOp
z.aggregate("")(seqOp,combOp);
^

scala&gt; def seqOp(a:String,b:String):String={
| println("seqOp:"+a+"\t"+b);
| math.min(a.length, b.length).toString();
| }
seqOp: (a: String, b: String)String

scala&gt; z.aggregate("")(seqOp,combOp);
[Stage 30:&gt; (0 + 2) / 2]combOp: 1
[Stage 30:=============================&gt; (1 + 1) / 2]combOp:1 1
res37: String = 11

scala&gt; z.aggregate("")(seqOp,combOp);
combOp: 1
combOp:1 1
res38: String = 11

scala&gt; z.aggregate("")(seqOp,combOp);
combOp: 1
combOp:1 1
res39: String = 11

scala&gt; def seqOp(a:String,b:String):String={
| println("seqOp jack:"+a+"\t"+b);
| math.min(a.length, b.length).toString();
| }
seqOp: (a: String, b: String)String

scala&gt; def combOp(a:String,b:String):String = {
| println("combOp jack:"+a+"\t"+b);
| a+b;
| }
combOp: (a: String, b: String)String

scala&gt; val z = sc.parallelize(List("12","23","345","4567"),2);
z: org.apache.spark.rdd.RDD[String] = ParallelCollectionRDD[26] at parallelize at <console>:27

scala&gt; z.aggregate("")(seqOp,combOp);
[Stage 33:&gt; (0 + 2) / 2]combOp jack: 1
[Stage 33:=============================&gt; (1 + 1) / 2]combOp jack:1 1
res40: String = 11

scala&gt; z.aggregate("")(seqOp,combOp);
combOp jack: 1
[Stage 34:=============================&gt; (1 + 1) / 2]combOp jack:1 1
res41: String = 11

scala&gt; z.aggregate("")(seqOp,combOp);
[Stage 35:&gt; (0 + 0) / 2]combOp jack: 1
combOp jack:1 1
res42: String = 11

scala&gt; z.first()
res43: String = 12

scala&gt; z.top(4)
res44: Array[String] = Array(4567, 345, 23, 12)

scala&gt; z.count
res45: Long = 4

scala&gt; val z = List("12","23","345","4567");
z: List[String] = List(12, 23, 345, 4567)

scala&gt; z.aggregate("")(seqOp,combOp);
seqOp jack: 12
seqOp jack:0 23
seqOp jack:1 345
seqOp jack:1 4567
res46: String = 1

scala&gt; def seqOp(a:String,b:String):String={
| println("seqOp jack:"+a+"\t"+b);
| println("return:"+math.min(a.length, b.length).toString());
| return math.min(a.length, b.length).toString();
| }
seqOp: (a: String, b: String)String

scala&gt; def combOp(a:String,b:String):String = {
| println("combOp jack:"+a+"\t"+b);
| a+b;
| }
combOp: (a: String, b: String)String

scala&gt; val z = List("12","23","345","4567");
z: List[String] = List(12, 23, 345, 4567)

scala&gt; z.aggregate("")(seqOp,combOp);
seqOp jack: 12
return:0
seqOp jack:0 23
return:1
seqOp jack:1 345
return:1
seqOp jack:1 4567
return:1
res47: String = 1

scala&gt; countByKeyRDD.foreach(print)
(B,2)(A,2)
scala&gt; collectAsMapRDD.foreach(print)
(A,2)(B,3)
scala&gt; collectAsMapRDD.saveAsTextFile("hdfs://192.168.1.56/tmp/jackteset")
<console>:34: error: value saveAsTextFile is not a member of scala.collection.Map[String,Int]
collectAsMapRDD.saveAsTextFile("hdfs://192.168.1.56/tmp/jackteset")
^

scala&gt; var rdd1 = sc.makeRDD(1 to 10,2)
rdd1: org.apache.spark.rdd.RDD[Int] = ParallelCollectionRDD[28] at makeRDD at <console>:27

scala&gt; rdd1.saveAsTextFile("hdfs://192.168.1.56/tmp/jackteset")

scala&gt; rdd1.saveAsTextFile("hdfs://192.168.1.56/tmp/jackteset1",classOf[org.apache.hadoop.io.compress.SnappyCodec])</console></console></console></console></console></console></console></console></console></console></console></console></console></console></console></console></console></console></console></console></console></console></console></console></console></console>
fypop1
关注
专栏目录
Spark大数据处理讲课笔记4.2 Spark SQL数据源 - 基本操作
howard2005的专栏
05-15 1096
1. 学会使用默认数据源； 2. 学会手动指定数据源； 3. 理解数据写入模式； 4. 掌握分区自动推断
spark的读取方法textFile和wholeTextFiles
kaku1230的博客
04-23 595
sc.textFiles(path)能将path 里的所有文件内容读出，以文件中的每一行作为一条记录的方式， 文件的每一行 相当于 List中以 “,”号 隔开的一个元素， 而使用 sc.wholeTextFiles()时: 返回的是[(K1, V1), (K2, V2)...]的形式，其中K是文件路径，V是文件内容，这里我们要注意的重点是： 官方一句话：''Each file is ...
spark saveAsTextFile保存到文件
热门推荐
跟我一起去征服
05-03 4万+
spark的saveAsTextFile方法只能指定文件夹，但是保存到本地的话，会报空指针错误。 代码如下： public static void mySaveAsFile(){         SparkConf conf=new SparkConf()         .setAppName("mySaveAsFile")         .setMaster("local");
实现数据库存入html代码，并在前端就页面返回。
梵高的向日葵
12-11 2312
获取页面代码的方法，并保存到后端 function submitHandler() { //获取html代码 var html=$('#table').html(); //提交到后台，基于若依框架 $.operate.save(prefix + "/add", {html:html}); } 上面的save方法实现 save: function(url, data, callback) {
jQuery的serialize方法
wqr111的博客
12-15 773
jQuery ajax - serialize() 方法+bootstrap的$.operate.save(url,data)使用 $.operate.save(url,$('#表格id').serialize());
多附件上传下载删除（表格形式展示）
weixin_42599079的博客
02-10 855
HTML 代码 <form class="form-horizontal m" id="form-blacklist-add"> <div class="form-group"> <label class="col-sm-3 control-label" style="padding-top: 10px;">附件： </labe...
【spark2】【源码学习】【分区数】spark读取 本地/可分割/单个 的文件时是如何划分分区
梦，不可及，所以可期待...
10-06 1963
大数据计算中很关键的一个概念就是分布式并行计算，意思就是讲一份原始数据切分成若干份，然后分发到多个机器或者单个机器多个虚拟出来的内存容器中同时执行相同的逻辑，先分发(map)，然后聚合(reduce)的一个过程。 那么问题是原始文件是怎么切分的呢，在spark读取不同的数据源，切分的逻辑也是不同的。 首先spark是有改变分区的函数的，分别是Coalesce()方法和rePartition()方法，但是这两个方法只对shuffle过程生效，包括参数spark.default.parallelism也只是对.
spark.write.save
最新发布
10-29
Spark.write.save是Apache Spark提供的一种用于将DataFrame或Dataset持久化到外部存储系统的函数。它支持多种文件格式，如CSV、JSON、Parquet、Hadoop Sequence File等。这个API的主要目的是方便数据的批量写入，...
Spark SQL数据源-基本操作
new_renren的博客
05-31 998
默认情况下，load()方法和save()方法只支持Parquet格式的文件，Parquet文件是以二进制方式存储数据的，因此不可以直接读取，文件中包括该文件的实际数据和Schema信息，也可以在配置文件中通过参数spark.sql.sources.default对默认文件格式进行更改。除了使用select()方法查询外，也可以使用SparkSession对象的sql()方法执行SQL语句进行查询，该方法的返回结果仍然是一个DataFrame。
若依记录Thymeleaf
m0_58746619的博客
10-19 261
【代码】若依生成前台代码记录。
ajax post 表格,ajax提交表格内容问题
weixin_32617915的博客
08-05 387
作者好，我参考demo的表格内行编辑的功能，html加了editable: true等，现在想提交当前修改的行数据到后台，前台能打印出数据了，但是后台打断点显示没有接收到数据。前台ajaxfunction onEditableSave(field, row, oldValue) {alert("row：" + JSON.stringify(row) );$.operate.save(prefix...
若依/RuoYi框架（Thymeleaf模板引擎）前端遍历list显示select下拉框，根据选择option动态加载内容
BUG设计师
01-12 1万+
一、前端遍历list显示select下拉框 后台代码： @GetMapping("/addPets/{id}") public String addPets(@PathVariable("id") Long id, ModelMap mmap) { Users users = usersService.selectUsersById(id); ...
表单特殊输入处理收集
ξσ Dicky's Blog σξ
01-26 2018
只能是写限定的东西 代码如下:ENTER键可以让光标移到下一个输入框 只能是中文 只能是英文和数字.屏蔽了输入法 只能输入英文和数字 只能是数字只能显示，不能修改的文本框只能是数字,判断按键 代码如下:function  onlyNum(){if(!((event.keyCode>=48&&event.keyCode=96&&event.keyCodeevent.returnValu
error:value reduceByKey is not a member of Array[(String, Int)]
说文科技，做有态度的研究。
04-09 4837
Scala报错value reduceByKey is not a member of Array[(String, Int)] 1.原因在于在spark中，使用scala编程时，没有使用pairRDD 。 2.错误代码示例： val book = Array(("spark",2),("hadoop",6),("hadoop",4),("spark",6)) val result =...
Spark报错：error: not found: value metrics
Mr Zhu's little cute
06-01 1169
跑一下代码： import org.apache.spark.ml.linalg.{Vector, Vectors} import org.apache.spark.ml.stat.Summarizer val data = Seq( (Vectors.dense(2.0, 3.0, 5.0), 1.0), (Vectors.dense(4.0, 6.0, 7.0), 2.0) ) val df = data.toDF("features", "weight") val (meanVal,
ruoyi bootstrap 弹窗(弹页面)，确定按钮提交表单
test
05-15 9731
父级页面操作按钮，弹窗(弹页面) <a class="btn btn-success" onclick="waitFinancial()" > <i class="fa fa-plus"></i> 认领款项 </a> ... <script th:inline="javascript"> //加载页面（弹窗） 可认领的分款列表 function waitFinancial(){ var url = "xxxx/waitFinancial
Spark读取压缩文件
主要分享大数据相关的知识，如Spark、Hudi
06-05 1万+
转载请务必注明原创地址为：https://dongkelun.com/2018/05/30/sparkGZ/ 前言 本文讲如何用spark读取gz类型的压缩文件，以及如何解决我遇到的各种问题。 1、文件压缩 下面这一部分摘自Spark快速大数据分析：   在大数据工作中，我们经常需要对数据进行压缩以节省存储空间和网络传输开销。对于大多数Hadoop输出格式来说，我们可以指定一种压缩编......
Spark Snappy Save: Java算法示例与兔子繁殖问题解析
然而，由于提供的部分没有直接涉及Spark的`Snappy`保存操作，这部分内容可能需要结合其他资源或实际代码片段来进行详细讲解。 本篇博客介绍了Java中的经典算法实现（如斐波那契数列和素数检测），以及潜在的Spark `...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值