scala中var,val和def三个关键字之间的区别?

var是变量声明关键字,类似于Java中的变量,变量值可以更改,但是变量类型不能更改。

val常量声明关键字。

def 关键字用于创建方法(注意方法和函数的区别) 还有一个lazy val(惰性val)声明,意思是当需要计算时才使用,避免重复计算

代码示例:
var x = 3 //  x是Int类型
x = 4      // 
x = "error" // 类型变化,编译器报错'error: type mismatch'
val y = 3
y = 4        //常量值不可更改,报错 'error: reassignment to val'
def fun(name: String) = "Hey! My name is: " + name
fun("Scala") // "Hey! My name is: Scala"
//注意scala中函数式编程一切都是表达式
lazy val x = {
  println("computing x")
  3
}
val y = {
  println("computing y")
  10
}
x+x  //
y+y  // x 没有计算, 打印结果"computing y" 
​

  • 1
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
在sparkScala和Python可以混合编写,通过PySpark的接口可以使用Python编写Spark应用程序,而Scala则可以使用Spark的原生API编写应用程序。下面我们将介绍如何在Spark混合使用Scala和Python编写应用程序。 首先,我们需要安装PySpark: ```bash pip install pyspark ``` 接下来,我们将介绍如何在Scala调用Python代码。 Scala调用Python代码 在Scala,我们可以使用`ProcessBuilder`类来启动Python进程,并且可以传递参数和读取Python进程的输出。下面是一个简单的Scala程序,它调用一个Python脚本并打印输出: ```scala import scala.collection.JavaConversions._ import java.io._ object ScalaPythonSample { def main(args: Array[String]) { val pb = new ProcessBuilder("python", "/path/to/python_script.py", "arg1", "arg2") val process = pb.start() val inputStream = process.getInputStream() val reader = new BufferedReader(new InputStreamReader(inputStream)) var line: String = null while ({line = reader.readLine(); line != null}) { println(line) } val exitCode = process.waitFor() println("Python script exited with code " + exitCode) } } ``` 在上面的代码,我们使用`ProcessBuilder`类启动Python进程,并传递了两个参数`arg1`和`arg2`。然后,我们读取Python进程的输出并打印到控制台。最后,我们等待Python进程退出并打印退出码。 Python调用Scala代码 在Python,我们可以使用Py4J库来调用Java/Scala代码。Py4J是一个Python库,它允许Python和Java之间的交互。下面是一个简单的Python程序,它调用一个Scala类: ```python from py4j.java_gateway import JavaGateway gateway = JavaGateway() scala_object = gateway.entry_point.getScalaObject() result = scala_object.add(1, 2) print(result) ``` 在上面的代码,我们使用Py4J库连接到Java/Scala进程,并获取Scala对象的引用。然后,我们调用Scala对象的`add`方法,并将结果打印到控制台。 Scala和Python混合编写 在Scala和Python之间调用代码是有用的,但通常我们需要更紧密的集成。为了实现这个目标,我们可以使用Spark的Python UDF(用户定义的函数)和Scala UDF。 下面是一个示例,演示如何在Scala定义一个UDF,并将其用作Spark DataFrame的列操作。该UDF使用Python函数来计算字符串的长度。 首先,我们定义一个Python函数,并将其保存到文件: ```python # save this file as len.py def len(s): return len(s) ``` 然后,我们定义一个Scala UDF,它调用我们的Python函数: ```scala import org.apache.spark.sql.functions._ object ScalaPythonUDF { def main(args: Array[String]) { val spark = SparkSession.builder() .appName("ScalaPythonUDF") .getOrCreate() // define Python UDF val myPythonUDF = udf((s: String) => { val pythonInterpreter = new PythonInterpreter() pythonInterpreter.execfile("/path/to/len.py") val pythonFunc = pythonInterpreter.get("len").asInstanceOf[PyObject] val result = pythonFunc.__call__(new PyString(s)).asInstanceOf[PyInteger] result.getIntValue() }) // use Python UDF in DataFrame val df = Seq("abc", "def", "ghi").toDF("col") val result = df.select(myPythonUDF(col("col"))) result.show() } } ``` 在上面的代码,我们定义了一个Python UDF,它使用PythonInterpreter类来执行我们的Python脚本并调用`len`函数。然后,我们可以在DataFrame使用该UDF,如下所示: ```scala val result = df.select(myPythonUDF(col("col"))) ``` 这样,我们就可以在Scala使用Python函数,并将其用作Spark DataFrame的列操作。 总结 通过PySpark的接口,我们可以在Spark使用Python编写应用程序。同时,我们也可以通过Py4J库在Python调用Java/Scala代码。最后,我们还可以在Scala使用Python函数,并将其用作Spark DataFrame的列操作。这些功能使得Spark的编写更加灵活和方便。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值