- 博客(3)
- 收藏
- 关注
RSS订阅原创 高可用下DFSZKFailoverController没有启动
出现connection refused异常 ， zoo.cfg 文件配置问题server.1=0.0.0.0:2888:3888server.2=hxb02:2888:3888server.3=hxb03:2888:3888本机地址要写成 0.0.0.0高可用集群，zookeeper 启动成功，zkfc 显示启动成功。namenode节点DFSZKFailoverController...
2019-12-19 12:46:40
5561
3
原创 Spark学习总结---RDD
RDD概念：Resilient Distributed Dataset 弹性（优先放在内存，内存不够，磁盘）的分布式（RDD分布在多个节点上）数据集，Spark核心的数据抽象，本质是一个只读的分区记录集合特点一组分片（Partition），即数据集的基本组成单位。对于RDD来说，每个分片都会被一个计算任务处理，并决定并行计算的粒度。用户可以在创建RDD时指定RDD的分片个数，如果没有指定，那...
2019-12-06 19:41:38
308
原创 Spark简介
概念：Spark是一种快速、通用、可扩展的大数据分析引擎，作为mapreduce的替代方案，可以兼容Hive、HDFS，融入Hadoop生态圈，弥补mapreduce的不足特点- 快速：与Hadoop的MapReduce相比，Spark基于内存的运算要快100倍（实验环境）以上，基于硬盘的运算也要快10倍以上。Spark实现了高效的DAG执行引擎，可以通过基于内存来高效处理数据流。易用...
2019-12-06 18:25:03
163
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人