spark
文章平均质量分 56
Steve_Monster
这个作者很懒,什么都没留下…
展开
-
Unable to load sink type: org.apache.spark.streaming.flume.sink.SparkSink, class: org.apache.spark.
Unable to load sink type: org.apache.spark.streaming.flume.sink.SparkSink, class: org.apache.spark.streaming.flume.sink.SparkSink在使用pull得方式,启动Flume时,出现如下报错这是因为,我们使用了pull方法中,官方网站中指定得sink.type,但官网指定的...原创 2020-01-27 23:07:39 · 629 阅读 · 0 评论 -
在用maven项目写spark程序的时候出现的错误
Exception in thread “main” java.lang.NoSuchMethodError: scala.Product.initinitinit(Lscala/Product;)V出现这一问题,从网上找到了很多的信息,主要是在讲说,在project Structure 的 Global Libraries的有添加Scala SDK 并且在Maven的pom.xml中也有写了s...原创 2020-01-13 10:07:45 · 364 阅读 · 1 评论 -
Linux虚拟机网络配置(即能连接内网,也能连接外网)
Linux虚拟机网络配置(即能连接内网,也能连接外网)在网卡后加入DNS配置DNS1=8.8.8.8DNS2=144.144.144.1448.8.8.8是一个IP地址,是Google提供的免费DNS服务器的IP地址,Google提供的另外一个免费DNS服务器的IP地址是:8.8.4.4 。用户可以使用Google提供的DNS服务器上网。114.114.114.114是国内移动、电信和...原创 2019-11-19 17:39:06 · 938 阅读 · 0 评论 -
Kafka简介
Kafka简介官方文档http://kafka.apache.org/documentation/#introductionKafka是一种分布式发布-订阅消息系统。1.起因 在大数据系统中,常常会碰到一个问题,整个大数据是由各个子系统组成,数据需要在各个子系统中高性能,低延迟的不停流转。传统的企业消息系统并不是非常适合大规模的数据处理。为了已在同时搞定在线应用(消息)和离线应用(数据文...原创 2019-11-19 16:10:37 · 96 阅读 · 0 评论 -
安装zookeeper,中myId设置脚本
前提:该脚本是通过服务器的主机名,读取主机号,进而设置zookeeper中的myid参数笔者的主机名格式为:slave1,slave2,slave3…通过$(hostname##*e)来将读取到的主机名,截取单词e之前的,保留最终的数字,最后通过数字+1来追加到myid中#!/bin/bashhostname=`hostname`a=${hostname##*e}echo `expr...原创 2019-11-07 17:02:20 · 3428 阅读 · 0 评论 -
Spark入门
Spark入门 Spark是用scala语句实现,是一种快速运行在廉价集群中的计算引擎,他提供了高级的Java API,同时支持Scala , Python 和R等多种语言,同时他也拥有高级组件如用于处理结构化数据的Spark Sql,机器学习算法库MLlib,实时流数据处理Spark Streaming,以及图计算框架GraphxSpark特点 1.高速性 park在内存中对数据...原创 2019-11-19 16:16:05 · 141 阅读 · 0 评论