![](https://img-blog.csdnimg.cn/20200705113352213.jpg?x-oss-process=image/resize,m_fixed,h_224,w_224)
大数据
文章平均质量分 62
大数据学习心得分享,欢迎查看哦
煮酒、
这个作者很懒,什么都没留下…
展开
-
Hbase常用操作命令
Hbase常用操作命令(1)进入hbase shell(2)创建、查看、删除命名空间(3)创建、查看、删除表以及使表有效和无效(4)添加、获取、删除单元格添中的数据(5)修改表的结构(6)退出Hbase shell(7)查看Hbase集群的状态(1)进入hbase shell在启动HDFS和Hbase之后,在Linux客户端输入“hbase shell”命令将进入Hbase Shell。打开Hbase Shell之后,首先输入“help”命令,Hbase Shell会显示Hbase所提供的所有She原创 2021-05-19 18:32:06 · 9638 阅读 · 0 评论 -
Spark基本原理总结
Spark基本原理Spark概述Scala简介Spark与Hadoop的对比Spark运行架构基本概念架构设计Spark运行基本流程RDD的设计与运行原理RDD概念RDD主要属性1.数据的分区列表2.计算每个分区的函数3.与其他RDD之间的依赖4.优先列表位置5.分区策略6.RDD的两类操作6.RDD的常见转换操作7.RDD的依赖关系8.RDD的容错机制:Spark概述Spark由AMP实验室与2009年开发,有以下四个特点:运行速度快使用有向无环图(DAG)执行引擎,基于内存速度比Hadoop原创 2021-05-12 13:33:14 · 417 阅读 · 6 评论 -
Spark的安装部署
1.将安装包拖入到Linux虚拟机的桌面,然后进入桌面所在的文件路径,使用如下命令对Spark进行解压和重命名等操作2. 通过如下Linux命令进入Spark解压文件中的conf文件夹,并根据Spark自带的模板创建spark-env.sh配置文件3. 通过在Linux终端使用命令“vim spark-env.sh”修改配置文件spark-env.sh。在配置文件的空白处,添加如下内容,换成自己的路径4. 在spark-env.sh修改完成之后,我们进一步配置Spark的环境变量。使用如下命令打原创 2021-05-12 13:23:03 · 232 阅读 · 1 评论 -
Hbase的部署安装实践
安装部署hbase一、安装zookeeper1.进入压缩包所在文件夹,解压并安装解压安装路径2.重命名安装文件3.赋予用户当前目录的权限4、将Zookeeper的安装路径添加到系统的环境变量之中编辑用户根目录下的./bashrc文件,在尾部添加如下信息,并使用source ~/.bashrc命令使配置立即生效5、配置Zookeeper存储数据的目录和日志输出目录,在zookeeper安装目录下创建data和log目录修改配置文件,将zookeeper存储数据的目录修改为已创建的da原创 2021-05-12 13:13:15 · 386 阅读 · 1 评论 -
HDFS常用操作命令
HDFS Shell 实践(1) 列举一个目录的所有文件(2) 创建文件夹(3) 将本地文件上传至HDFS(4) 将本地文件从HDFS下载到本地文件系统(5) 查看文件内容(6) 删除文件或者文件夹原创 2021-05-12 12:51:32 · 108 阅读 · 0 评论 -
Hadoop MapReduce概述
这里写目录标题概述MapReduce工作流程Shuffle过程Map端的Shuffle过程Reduce端的Shuffle过程概述MapReduce是一种并行编程模型,用于大规模数据集的并行运算,将复杂的、运行于大规模集群上的并行计算过程高度抽象到两个函数:Map和Reduce,极大的方便了分布式编程工作,对不会分布式并行编程的人员十分友好。MapReduce将复杂的、运行于大规模集群上的并行计算过程高度抽象到两个函数:Map和Reduce,在MapReduce中,一个存储在分布式文件系统中的大规模数据原创 2021-04-07 21:06:35 · 628 阅读 · 1 评论