- 博客(3)
- 收藏
- 关注
RSS订阅原创 Spark SQL with Alluxio 环境搭建
背景 这里搭建使用yarn的node label特性隔离出测试集群环境，使用Spark Thriftserver提供adhoc 查询服务，查alluxio scheme的表对用户来说是透明的。 环境配置部分 总体上来说，配置依据官网 https://www.alluxio.org/docs/1.6/en/Running-Spark-on-Alluxio.html和 https://w...
2018-03-22 19:08:15
1170
原创 Alluxio 1.6.1 与Spark SQL结合使用踩坑总结
1、 扫表问题 表不存在hdfs，但在元数据中 java.lang.RuntimeException: serious problem at org.apache.hadoop.hive.ql.io.orc.OrcInputFormat.generateSplitsInfo(OrcInputFormat.java:1021) at org.apache.ha...
2018-03-22 17:50:47
1501
原创 Elasticsearch 6.2 集群搭建问题小记
搭了了一个单机的ELK，基本没有太多配置就好了，没什么坑，然后看ES有集群模式，然后尝试搭建一个集群模式，发有几个需要注意的地方。 首先集群配置ES参数含义参考https://www.jianshu.com/p/149a8da90bbc，集群模式搭建参考http://blog.csdn.net/napoay/article/details/52202877，然后启动ES就碰到下面小坑。 E...
2018-03-12 19:19:02
4466
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人