- 博客(10)
- 收藏
- 关注
原创 Spark 2.0 DataFrame mapPartitions操作中Unable to find encoder for type stored in a Dataset.问题的分析与解决
在项目开发的过程中,遇到了一个dataframe.mapPartitions操作的时候,出现上述的错误,看了提醒的问题,主要是:需要一个encode操作.但是为了简化操作可以直接将dataframe转换成rdddataframe.rdd.mapPartitions...
2018-03-21 09:49:32
2484
1
原创 hbase的认证
现在很多的公司都开始使用了kerberos认证,进行权限控制.下面我就说说hbase的kerberos认证.def putLogsToHTable(p: Iterator[(HBaseKey,String)],bp:Broadcast[Properties]):Unit = { val (ugi,hBaseConf): (UserGroupInformation,Configuration) ...
2018-03-07 11:36:08
2516
原创 关于maven中的<scope></scope>
maven中的<scope>provided</scope>是为了解决冲突的.因此如果某个依赖加了scope的话,在打包的时候这个依赖就不会打进jar包中.
2018-03-07 11:00:56
1385
原创 运行sparksubmit出现java.lang.NoClassDefFoundError: scala/collection/GenTraversableOnce$class
当我运行sparksubmit提交任务的时候报了这个scala/collection/GenTraversableOnce$class的错误.后来进行网上查看说是依赖包中存在与scala版本不匹配的依赖包然后我去maven当中查看,确实是有一个依赖的版本不一样<dependency> <groupId>org.apache.spark</groupId>...
2018-03-07 10:44:11
6106
原创 提交spark的代码的时候出现Exception in thread "main" org.apache.SparkException:Yarn application has already end
出现的具体错误是:Exception in thread "main" org.apache.SparkException:Yarn application has already ended! It might have been killed or unable to launch application master.我最开始运行的是client模式出现了Spark的任务无法提交的情况.之后...
2018-03-06 17:08:32
7174
原创 关于IDEA下出现Failed to execute goal org.apache.maven.plugins:maven-compiler-plugin:3.1:compile 的解决方法
出现这个问题的主要原因是项目路径存在中文导致,因此只要将目录换成没有中文字符的就可以了.
2017-11-10 19:09:11
6976
1
转载 Scala 强大的集合数据操作示例
Scala是数据挖掘算法领域最有力的编程语言之一,语言本身是面向函数,这也符合了数据挖掘算法的常用场景:在原始数据集上应用一系列的变换,语言本身也对集合操作提供了众多强大的函数,本文将以List类型为例子,介绍常见的集合变换操作。一、常用操作符(操作符其实也是函数)++ ++[B](that: GenTraversableOnce[B]): List[B] 从列表的尾部添加另外一个列表
2017-10-16 21:01:19
649
原创 pixhawk当中关于NMEA类型的gps数据处理流程
1.启动跟新gps的数据的任务是在ArduCopter.cpp中scheduler_tasks中调用的速度是50hz 2.通过执行update_GPS方法中的 3.调转到ap_gps.cpp中的update方法中 4.在update中通过for循环遍历每个gps 5.当AP_GPS,type[0],1选择的参数是1及为自动判断类型 6
2017-09-06 22:30:29
3110
3
转载 在Linux下利用Tomcat发布web项目
最近在学习Linux,因此想实现一下再Linux下安装发布web项目.1.下载tomcat7 http://tomcat.apache.org/download-70.cgi 选择core 中的tar.gz。2.我这里使用的是SercureCRT将tomcat7上传到Linux下3.解压到指定位置tar -zxvf apache-tomcat-7.0.8
2017-09-04 14:39:24
341
原创 关于ERROR 2002 (HY000): Can't connect to local MySQL server through socket '/var/lib的解决方案之一
在Linux下安装mysql时遇到了这样的一个问题就是有时候启动mysql时会出现ERROR 2002 (HY000): Can't connect to local MySQL server through socket '/var/lib/mysql/mysql.sock' .然后我通过netstat -nltp查询了一下mysql的进程号.用kill -9 加进程号.将mysql的进程杀
2017-09-02 10:46:59
810
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人