![](https://img-blog.csdnimg.cn/20201014180756918.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
hadoop&&spark
文章平均质量分 50
BASEDEDATO
这个作者很懒,什么都没留下…
展开
-
hadoop 高可用集群搭建
#关闭防火墙systemctl disable firewalldsystemctl stop firewalld#关闭selinux /etc/selinux/config 将SELINUX=enforcing 改为SELINUX=disabledsed -i "s/SELINUX=enforcing/SELINUX=disabled/g" /etc/selinux/config...原创 2017-06-12 16:39:58 · 1227 阅读 · 0 评论 -
spark ha集群配置
spark集群 hadoop配置参见hadoop 高可用集群搭建su - rdatocd /u01tar -zxvf spark-2.1.1-bin-hadoop2.7.tgzmv spark-2.1.1-bin-hadoop2.7 spark#复制模版cp /u01/spark/conf/spark-env.sh.template /u01/spark/conf/spark...原创 2017-08-04 16:31:59 · 439 阅读 · 0 评论 -
TiDB的存储层(TiKV)做为spark分布式数据源事例
TiSpark深度整合了Spark Catalyst引擎,可以对计算提供精确的控制,使Spark能够高效的读取TiKV中的数据,提供索引支持以实现高速的点查;通过多种计算下推减少Spark SQL需要处理的数据大小,以加速查询;利用TiDB的内建的统计信息选择更优的查询计划。从数据集群的角度看,TiSpark + TiDB可以让用户无需进行脆弱和难以...原创 2018-11-14 15:44:13 · 719 阅读 · 0 评论