guodongtanghe的专栏

import org.apache.spark.sql.SparkSessionimport org.apache.spark.sql.functions.{col, split, udf}import scala.reflect.runtime._import scala.tools.reflect.ToolBoxobject Test0625 { def main(args: Array[String]): Unit = { val spark = SparkSession.bu.

还有些8020端口，9000端口的各种java连接失败，几次三番确认了配置没有问题，namenode也格式化过无数遍，最终发现是、etc/hosts导致的。。。修修改改了多个版本，最终这样才成功了，并且浏览器访问50070端口也没问题了：...

安装好hadoop后开始安装spark，首先安装scala2.12.2.上传后解压vim /etc/profileexport SCALA_HOME=/opt/client/servers/scala-2.12.2export PATH=$PATH:$SCALA_HOME/binsource /etc/profilescala -version验证是否安装成功解压spark到安装目录修改/etc/profile文件export SPARK_HOME=/o.

当工程只有Scala文件时没有问题，然而当我同时写入java文件后发现打包文件里只有java文件的class文件，scala文件被无视了。于是引入net.alchim31.maven。然而编译确实各种报错Failed to execute goal net.alchim31.maven:scala-maven-plugin:3.2.2:compile修改alchim31内容如下net.alchim31.mavenscala-maven-plugin3.2.22.11.8src/main/sc

因为sparksession读取文件会自动生成dataframe文件，虽然可以逐条解析，但是十分不方便，并且需要预知json格式，延展性比较差，所以使用scala读取本地文件的方法转化为json字符串，再解析为数组。json文件格式：[ { "param": "id1", "method": "11111", "seq": "22222", "relatedseq": "33333", "parametertype": "44444", "value": "55555" }, { "param": "i