环境搭建
文章平均质量分 74
gumi*
这个作者很懒,什么都没留下…
展开
-
Tensorflow安装
Tensorflow安装原创 2022-06-13 15:07:30 · 222 阅读 · 0 评论 -
Spark独立应用程序编程
(一)编写Scala独立应用程序安装sbtsbt(Simple Build Tool)是对Scala或Java语言进行编译的一个工具,类似于Maven或Ant,需要JDK1.8或更高版本的支持,并且可以在Windows和Linux两种环境下安装使用。sbt需要下载安装,可以访问“http://www.scala-sbt.org”下载安装文件sbt.tgz,保存到下载目录。/home/CCX/software/sbt接着在安装目录中使用下面命令创建一个Shell脚本文件,用于启动sbt:vim原创 2022-04-11 12:05:20 · 1224 阅读 · 0 评论 -
zookeeper和kafka的集群安装配置
横向配置Kafka内部有自置的zookeeper,此处我们选择外部从新安装配置zookeeper。 先选择一个结点进行配置,后面在远程拷贝到其他结点,此处选用westgisB062为例:下载zookeeper和Kafka的安装包并解压配置环境变量vim .bashrc并在其加入:#zookeeperexport ZOOKEEPER_HOME=/home/CCX/software/zookeeperexport PATH=$PATH:$ZOOKEEPER_HOME/bin#kafkaex原创 2022-03-22 18:08:28 · 281 阅读 · 0 评论 -
Spark集群安装配置
Spark集群安装配置集群规划Spark集群的规划要确定以下问题:(1)集群结点数,每个结点资源:5个结点,每个结点 4个core,8GB内存,磁盘空间(2)结点机器名和IP地址(3)Sparky与HDFS是否混合部署(4)主从结点个数及对应角色序号机器名IP地址HDFS角色Sparke角色备注1westgisB05810.103.105.58client提交任务,集群管理2westgisB05910.103.105.59DataNodeWo原创 2022-03-15 18:08:10 · 290 阅读 · 0 评论