- 博客(6)
- 收藏
- 关注
RSS订阅原创 Scala环境搭建
Scala环境搭建1）安装步骤（1）首先确保 JDK1.8 安装成功（2）下载对应的 Scala 安装文件 scala-2.12.11.zip（3）解压 scala-2.12.11.zip，我这里解压到 D:\Tools（4）配置 Scala 的环境变量注意 1：解压路径不能有任何中文路径，最好不要有空格。注意 2：环境变量要大写 SCALA_HOME（5）在命令行启动scala环境Scala插件安装默认情况下 IDEA 不支持 Scala 的开发，需要安装 Scala 插件。
2022-05-31 16:17:20
540
原创 Spark-Mlib &Spark GraphX
RandomForest(sbt打包)Find full example code at “examples/src/main/scala/org/apache/spark/examples/ml/RandomForestClassifierExample.scala” in the Spark repo.进入spark目录 mycode中， 自定义randomforest文件夹mkdir -p randomforest/src/main/scalacd randomforest/src/m
2022-05-29 15:46:53
181
原创 Spark独立应用程序编程
（一）编写Scala独立应用程序安装sbtsbt（Simple Build Tool）是对Scala或Java语言进行编译的一个工具，类似于Maven或Ant，需要JDK1.8或更高版本的支持，并且可以在Windows和Linux两种环境下安装使用。sbt需要下载安装，可以访问“http://www.scala-sbt.org”下载安装文件sbt.tgz，保存到下载目录。/home/CCX/software/sbt接着在安装目录中使用下面命令创建一个Shell脚本文件，用于启动sbt：vim
2022-04-11 12:05:20
1217
原创 zookeeper和kafka的集群安装配置
横向配置Kafka内部有自置的zookeeper，此处我们选择外部从新安装配置zookeeper。 先选择一个结点进行配置，后面在远程拷贝到其他结点，此处选用westgisB062为例：下载zookeeper和Kafka的安装包并解压配置环境变量vim .bashrc并在其加入：#zookeeperexport ZOOKEEPER_HOME=/home/CCX/software/zookeeperexport PATH=$PATH:$ZOOKEEPER_HOME/bin#kafkaex
2022-03-22 18:08:28
280
原创 Spark集群安装配置
Spark集群安装配置集群规划Spark集群的规划要确定以下问题：（1）集群结点数，每个结点资源：5个结点，每个结点 4个core，8GB内存，磁盘空间（2）结点机器名和IP地址（3）Sparky与HDFS是否混合部署（4）主从结点个数及对应角色序号机器名IP地址HDFS角色Sparke角色备注1westgisB05810.103.105.58client提交任务，集群管理2westgisB05910.103.105.59DataNodeWo
2022-03-15 18:08:10
285
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人