spark
liuhehe123
这个作者很懒,什么都没留下…
展开
-
解决Hadoop集群环境启动后Live Nodes只有一个的问题
网上搜了很多解决方案,针对我遇到的问题目前有效的解决方案如下:删除DataNode的所有资料,我的做法是删除hadoop下dfs目录和tmp目录【sudo rm -r dfs】,然后重新格式化 【hdfs namenode -format】再启动 【sbin/start-all.sh】master:界面 ...原创 2019-01-08 20:41:10 · 5691 阅读 · 2 评论 -
虚拟机安装Centos6.9遇到的网络配置问题
我安装了四个centos 服务器版 其中 后面三个是克隆第一个的。 主要是配置网络。虚拟机网络配置:hdp-01的网络配置:由于hdp-02/03/04都是克隆的hdp-01的 所以后面三个的网络需要重新配置具体配置如下:拿hdp-0...原创 2019-03-16 22:10:26 · 797 阅读 · 0 评论 -
Spark textFile在读取数据遭遇empty string或者ArrayIndexOutOfBoundsException: 2
Spark textFile在读取数据遭遇empty string或者ArrayIndexOutOfBoundsException: 2在使用spark textFile读取一个大数据文本 有3万多行,然而在处理过程中 即使用collect().foreach(println)进行打印输出,爆出empty string错误,经过排查,发现并不是存在空行,而是某一行数据存在空值,由于在处理过程中,将...原创 2019-03-04 16:38:28 · 1191 阅读 · 0 评论 -
运行SparkStreaming的NetworkWordCount实例出错:Error connecting to localhost:9999 java.net.ConnectException:
运行SparkStreaming的NetworkWordCount实例出错:Error connecting to localhost:9999 java.net.ConnectException: Connection refused 解决办法一、背景首先按照Spark的官方文档来运行此实例,具体方法参见这里,当运行命令$ nc -lk 9999开启端口后,再运行命令$ ./bin/ru...转载 2019-03-06 18:14:04 · 1061 阅读 · 0 评论 -
spark shell 启动 出现org.apache.spark.SparkException: Found both spark.executor.extraClassPath and SPARK
启动spark shell报错:Setting default log level to "WARN".To adjust logging level use sc.setLogLevel(newLevel). For SparkR, use setLogLevel(newLevel).19/02/26 16:56:07 WARN util.NativeCodeLoader: Unable...原创 2019-02-26 18:19:38 · 3762 阅读 · 0 评论 -
IDEA+SBT+Spark+MySQL SparkSQL连接mysql数据库驱动依赖问题(略坑)
spark-shell中并不会遭遇这么多问题 这是在IDEA中sbt依赖问题。1、导入包问题import java.util.Propertiesimport org.apache.spark.sqlimport org.apache.spark.sql.types._import org.apache.spark.sql.Rowimport org.apache.spark...原创 2019-02-26 16:26:56 · 1781 阅读 · 0 评论 -
Hive踩坑之The specified datastore driver ("com.mysql.jdbc.Driver") was not found in the CLASSPATH,找不到驱动
在mysql中创建hive数据库,并允许hive接入mysql> create database hive; #这个hive数据库与hive-site.xml中localhost:3306/hive的hive对应,用来保存hive元数据mysql> grant all on *.* to hive@localhost identified by 'hive'; #将所...原创 2019-02-26 16:13:01 · 6313 阅读 · 4 评论 -
IDEA下sparkMLlib出现java.lang.AbstractMethodError错误
在写sparkMLlib程序的时候 出现java.lang.AbstractMethodError错误,at org.apache.spark.internal.Logging$class.initializeLogIfNecessary(Logging.scala:99)。。。balabalabala这个一般是包的版本出现了问题,我当时用的包 spark-mllib 2.1....原创 2019-03-01 10:24:12 · 691 阅读 · 2 评论 -
关于scala占位符_的一点理解
在看到 scala> val f = (_:Int) + (_:Int)f: (Int, Int) => Int = $$Lambda$1108/2058316797@4a8bf1dc scala> f(1,2)res5: Int = 3有点不太明白占位符的使用。在scala REPL测试了下:scala> val f2 = (_:Int) + (_...原创 2019-02-18 21:02:20 · 1676 阅读 · 0 评论 -
Spark读取本地文件问题
Spark 读取本地文件问题网上给出的多是下面两种方案 解决方式1:让每个Worker节点的相应位置都有要读取的数据文件。 解决方式2:直接将数据文件上传到hdfs,达到数据共享。(强烈推荐,比格更高更专业) 不过多是将文件发到hdfs,明明记得可以读取本地文件,后来在林子雨老师厦门大学大数据实验室博客上找到解决办法:本地文件数据读写textFile ...原创 2019-01-14 18:51:00 · 13966 阅读 · 11 评论 -
Scala的getter、setter方法以及构造方法
scala 为每一个私有变量提供了getter、setter方法,不用显性的定义:下面是几种方式:package scalaLearnclass Counter { private var mycount = 10 // 默认提供了 getter和 setter方法 private var myname = "Scala" // 实际上他自动实现了getter setter方...原创 2019-08-27 16:06:03 · 574 阅读 · 0 评论