Spark
文章平均质量分 86
spark
Agatha方艺璇
路遥马急的人间,愿成长得明媚,与优秀为伍
展开
-
Spark 环境安装与案例演示
spark 环境安装与案例演示原创 2023-09-01 14:28:31 · 638 阅读 · 0 评论 -
Spark及其生态简介
Spark及其生态简介原创 2023-08-31 15:24:28 · 596 阅读 · 0 评论 -
Idea 报错找不到streaming --- NoClassDefFoundError: org/apache/spark/streaming/StreamingContext
错误样式Exception in thread "main" java.lang.NoClassDefFoundError: org/apache/spark/streaming/StreamingContext at com.scalalearn.scala.main.LogAnalyzerAppMain$.main(LogAnalyzerAppMain.scala:65) at com.scalalearn.scala.main.LogAnalyzerAppMain.main(LogA原创 2020-10-22 11:35:47 · 684 阅读 · 0 评论 -
查看端口被占用并删除端口( Ubuntu )
Ubuntu 查看端口被占用并删除端口一、首先查看特定端口是占用了:sudo netstat -nplt二、其次要删除特定端口并查看:kill -9 pid_num三、这里顺便熟悉一下netstat的参数:-a (all)显示所有选项,默认不显示LISTEN相关-t (tcp)仅显示tcp相关选项-u (udp)仅显示udp相关选项-n 拒绝显示别名,能显示数字的全部转化成数字。-l 仅列出有在 Listen (监听) 的服務状态-p 显示建立相关链接的程序名-r 显示路由原创 2020-10-21 22:58:43 · 3268 阅读 · 0 评论 -
安装 MySQL8.0(Ubuntu)
Ubuntu安装MySQL8.0一、下载安装1、更新源sudo apt-get update2、安装mysql服务sudo apt-get install mysql-server二、初始化配置1、mysql配置sudo mysql_secure_installation#1VALIDATE PASSWORD PLUGIN can be used to test passwords…Press y|Y for Yes, any other key for No: N (选择N原创 2020-10-18 18:44:02 · 249 阅读 · 0 评论 -
Canal安装(Ubuntu)
1)登录mysql2)创建用户 用户名:canal 密码:canal3)授权所有库。原创 2020-10-18 18:25:46 · 1129 阅读 · 2 评论 -
安装Zookeeper以及Kafka(Ubuntu)
安装Zookeeper以及Kafka(Ubuntu)一、安装zookeeper1、解压zookeeper至虚拟机tar -zxvf apache-zookeeper-3.5.8-bin.tar.gz -C ~/training2、配置zookeepermv/home/niit01/training/zookeeper3.5.8/conf/zoo_sample.cfg /home/niit01/training/zookeeper-3.5.8/conf/zoo.cfg vim /home/ni原创 2020-10-14 23:10:15 · 680 阅读 · 0 评论 -
Scala 语言基础
Scala 语言基础一、Scala 语言简介Scala 是一种多范式的编程语言,其设计的初衷是要集成面向对象编程和函数式编程的各种特性。Scala 运行于 Java 平台(Java 虚拟机),并兼容现有的 Java 程序。它也能运行于 CLDC 配置的 Java ME 中。目前还有另一.NET 平台的实现,不过该版本更新有些滞后。Scala 的编译模型(独立编译,动态类加载)与 Java 和 C#一样,所以 Scala代码可以调用 Java 类库(对于.NET 实现则可调用.NET 类库)。Sc原创 2020-08-27 19:06:10 · 296 阅读 · 0 评论 -
Spark 环境安装与案例演示
Spark 环境安装一、准备工作1、hadoop成功安装2、防火墙关闭二、解压安装1、上传 spark 安装包到/tools 目录,进入 tools 下,执行如下命令:tar -zxvf spark-2.1.0-bin-hadoop2.7.tgz -C /training/由于 Spark 的脚本命令和 Hadoop 有冲突,只需在.bash_profile 中设置一个即可(不能同时设置)2、进入training,进入spark安装路径,配置文件spark-env.sh1,cd /t原创 2020-08-24 21:22:40 · 548 阅读 · 0 评论