- 博客(16)
- 收藏
- 关注
RSS订阅原创 Spark（四）共享变量与数据写出
共享变量1.通常，当在远程集群节点上执行传递给Spark操作（例如map或reduce）的函数时，如果这些function需要用到Driver中定义的变量，spark会将这些定义在Driver中的变量拷贝到所有的worker节点，并且这些变量的修改的值并不会传递回来给Driver定义的变量。这样看来通常跨任务的读写共享变量效率不高，但是，Spark确实为两种常见的使用模式提供了两种有限类型的共享...
2020-02-23 20:49:11
293
原创 Spark RDD Operations(操作)转换算子与动作算子
RDD支持两种类型的操作： transformations-转换算子，将⼀个已经存在的RDD转换为一个新的RDD，另外⼀种称为actions-动作算子 ，动作算子一般在执行结束以后，会将结果返回给Driver。在Spark中所有的transformations都是lazy的，所有转换算子并不会立即执行，它们仅是记录对当前RDD的转换逻辑。仅当 Actions 算子要求将结果返回给Driver程...
2020-02-23 19:20:10
772
原创 Spark RDD创建API mysql Hbase
总体上看Spark，每个Spark应用程序都包含一个Driver，该Driver程序运行用户的main方法并在集群上执行各种并行行操作。Spark提供的主要抽象概念，是弹性分布式数据集（RDD resilient distributeddataset），它是 跨集群 分的元素的集合，可以并行操作。RDD可以通过从Hadoop文件系统（或任何其他Hadoop支持的文件系统）中的文件或驱动程序...
2020-02-23 18:22:27
157
原创 Spark概述与环境搭建（yarn|Standlone）
概述Spark是一个快如闪电的统一分析引擎（计算框架）用于大规模数据集的处理。Spark在做数据的批处理计算，计算性能大约是Hadoop MapReduce的10~100倍，因为Spark使用比较先进的基于 DAG 任务调度，可以将一个任务拆分成若干个阶段，然后将这些阶段分批次交给 集群计算节点 处理。MapReduce VS SparkMapReduce作为第一代大数据处理框架，在设计初...
2020-02-18 09:25:37
222
原创 Apache Hive 概述
概述Hive是建立在 Hadoop 上的数据仓库基础构架。它提供了一系列的工具，可以用来进行数据提取转化加载（ETL），这是一种可以存储、查询和分析存储在 Hadoop 中的大规模数据的机制。 Hive 查询操作过程严格遵守Hadoop MapReduce 的作业执行模型，Hive 将用户的HiveQL 语句通过解释器转换为提交到Hadoop 集群上，Hadoop 监控作业执行过程，然后返回作业...
2020-02-05 22:12:11
143
原创 Hbase中常用shell命令以及命令在java中的使用，Mappreduce集成Hbase
Hbase安装（伪分布）HDFS基本环境(存储)1,安装JDK,配置环境变量JAVA_HOME [root@CentOS ~]# rpm -ivh jdk-8u171-linux-x64.rpm Preparing... ################################# [100%]Updating / insta...
2020-01-08 21:55:28
332
原创 Hbase的HA高可用搭建
基础配置1， 保证所有物理主机的时钟同步，否则集群搭建失败 [root@CentOSX ~]# yum install -y ntp -y [root@CentOSX ~]# ntpdate time.apple.com [root@CentOSA ~]# clock -w由于Hbase服务器之间需要通过心跳确定服务器是否在正常运行，所以这里在搭建的物理主机的时候一定要确...
2020-01-08 21:10:37
254
原创 Hbase宏观架构
宏观架构HBase采用Master/Slave架构搭建集群，它隶属于Hadoop生态系统，由一下类型节点组成：HMaster节点、HRegionServer节点、ZooKeeper集群，而在底层，它将数据存储于HDFS中，因而涉及到HDFS的NameNode、DataNode等，总体结构如下：在物理上，HBase由master/slave类型体系结构中的三种服务器组成。RegionServe...
2020-01-08 20:57:22
177
原创 Hbase列存储理解
常见的NoSQL数据库常见分类:Key-Value- Redis|SSDB Document - MongoDB|Elasticsearch|Solr 列存储 - HBase 图像关系 - Neo4j 等.和关系数据库不同,NoSQL不同种类产品之间不可相互替换. 行存储特点-RDBMS ID name password age sex address ...
2020-01-08 20:36:30
652
1
原创 HDFS完全分布式（简单版）NameNode的持久化
1.NameNode的数据存放如果存储在NameNode节点的磁盘中，因为经常需要进行随机访问，还有响应客户请求，必然是效率过 低。因此，元数据需要存放在内存中。2.NameNode的持久化NameNode数据存在内存中，一旦断电，元数据丢失，整个集群就无法工作了。因此产生在磁盘中备份元数据的FsImage。这样又会带来新的问题，当在内存中的元数据更新时，如果同时更新FsImag...
2019-12-29 11:50:00
877
1
原创 SSH免密登录
SSH为Secure Shell的缩写，由IETF的网络小组（Network Worling Group）所制定，SSH为建立在应用层基础上的安全协议。从客户端来看，SSH提供两种级别的安全验证。**一，基于口令的安全验证**只要你知道自己帐号和口令，就可以登录到远程主机。所有传输的数据都会被加密，但是不能保证你正在连接的服务器就是你想连接的服务器。可能会有别的服务器在冒充真正的服务器，也...
2019-12-29 10:37:49
174
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人