Hikigaya-Hachiman-CSDN博客

原创 Spark 2.0 DataFrame mapPartitions操作中Unable to find encoder for type stored in a Dataset.问题的分析与解决

在项目开发的过程中,遇到了一个dataframe.mapPartitions操作的时候,出现上述的错误,看了提醒的问题,主要是:需要一个encode操作.但是为了简化操作可以直接将dataframe转换成rdddataframe.rdd.mapPartitions...

2018-03-21 09:49:32 2475 1

原创 hbase的认证

现在很多的公司都开始使用了kerberos认证,进行权限控制.下面我就说说hbase的kerberos认证.def putLogsToHTable(p: Iterator[(HBaseKey,String)],bp:Broadcast[Properties]):Unit = { val (ugi,hBaseConf): (UserGroupInformation,Configuration) ...

2018-03-07 11:36:08 2503

原创关于maven中的<scope></scope>

maven中的<scope>provided</scope>是为了解决冲突的.因此如果某个依赖加了scope的话,在打包的时候这个依赖就不会打进jar包中.

2018-03-07 11:00:56 1380

原创运行sparksubmit出现java.lang.NoClassDefFoundError: scala/collection/GenTraversableOnce$class

当我运行sparksubmit提交任务的时候报了这个scala/collection/GenTraversableOnce$class的错误.后来进行网上查看说是依赖包中存在与scala版本不匹配的依赖包然后我去maven当中查看,确实是有一个依赖的版本不一样<dependency> <groupId>org.apache.spark</groupId>...

2018-03-07 10:44:11 6092

原创提交spark的代码的时候出现Exception in thread "main" org.apache.SparkException:Yarn application has already end

出现的具体错误是:Exception in thread "main" org.apache.SparkException:Yarn application has already ended! It might have been killed or unable to launch application master.我最开始运行的是client模式出现了Spark的任务无法提交的情况.之后...

2018-03-06 17:08:32 7163

原创关于IDEA下出现Failed to execute goal org.apache.maven.plugins:maven-compiler-plugin:3.1:compile 的解决方法

出现这个问题的主要原因是项目路径存在中文导致,因此只要将目录换成没有中文字符的就可以了.

2017-11-10 19:09:11 6969 1

转载 Scala 强大的集合数据操作示例

Scala是数据挖掘算法领域最有力的编程语言之一，语言本身是面向函数，这也符合了数据挖掘算法的常用场景：在原始数据集上应用一系列的变换，语言本身也对集合操作提供了众多强大的函数，本文将以List类型为例子，介绍常见的集合变换操作。一、常用操作符（操作符其实也是函数）++ ++[B](that: GenTraversableOnce[B]): List[B] 从列表的尾部添加另外一个列表

2017-10-16 21:01:19 643

原创 pixhawk当中关于NMEA类型的gps数据处理流程

1.启动跟新gps的数据的任务是在ArduCopter.cpp中scheduler_tasks中调用的速度是50hz 2.通过执行update_GPS方法中的 3.调转到ap_gps.cpp中的update方法中 4.在update中通过for循环遍历每个gps 5.当AP_GPS,type[0],1选择的参数是1及为自动判断类型 6

2017-09-06 22:30:29 3081 3

转载在Linux下利用Tomcat发布web项目

最近在学习Linux,因此想实现一下再Linux下安装发布web项目.1.下载tomcat7 http://tomcat.apache.org/download-70.cgi 选择core 中的tar.gz。2.我这里使用的是SercureCRT将tomcat7上传到Linux下3.解压到指定位置tar -zxvf apache-tomcat-7.0.8

2017-09-04 14:39:24 337

原创关于ERROR 2002 (HY000): Can't connect to local MySQL server through socket '/var/lib的解决方案之一

在Linux下安装mysql时遇到了这样的一个问题就是有时候启动mysql时会出现ERROR 2002 (HY000): Can't connect to local MySQL server through socket '/var/lib/mysql/mysql.sock' .然后我通过netstat -nltp查询了一下mysql的进程号.用kill -9 加进程号.将mysql的进程杀

2017-09-02 10:46:59 803

wangxiyanw的博客