- 博客(3)
- 资源 (5)
- 收藏
- 关注
原创 通过maven-shade-plugin 解决Elasticsearch与spark的jar包冲突问题
最近由于公司的spark版本升级使用spark2.1.1版本,个人感觉spark2.1.1确实好用些。我写的代码上需要连接elasticsearch,去es查询然后返回结果,这个时候在使用maven打包然后运行就会报下面的错之前在使用spark1.6的就没有出现过这个情况。查看错误发现是无法创建ES的客户端,上网查看质料原因是guava18个和包和spark自带的冲突了。然
2017-08-16 09:58:47 1406
原创 CentOS 7 离线安装 MySql
CentOS 7安装MySqlCentOS 7不带Mysql数据库了,默认的数据库是MariaDB(Mysql的一个分支)。安装MySQL前,先把系统自带的mariadb卸载掉安装包可以去我的资源中下载2.1查询Mysql和Mariadb# find / -name mysql 查找mysql名字的文件和文件夹# rpm -qa|grep my
2017-08-12 11:47:15 395
原创 解决 Error:Unable to find encoder for type stored in a Dataset
Error: Unable to find encoder for type stored in a Dataset. Primitive types (Int, String, etc) and Product types (case classes) are supported by importing spark.implicits._ Support for serializing o
2017-08-10 14:58:42 10004 2
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人