Hadoop
lpqupup
这个作者很懒,什么都没留下…
展开
-
HBase 安装snappy压缩软件以及相关编码配置
HBase 安装snappy压缩软件以及相关编码配置本文转载自:https://www.cnblogs.com/mojita/p/11899486.html前言 在使用HBase过程中因为数据存储冗余、备份数等相关问题占用过多的磁盘空间,以及在入库过程中为了增加吞吐量所以会采用相关的压缩算法来压缩数据,降低存储空间和在入库过程中通过数据压缩提高吞吐量HBase-2.1.5Hadoop-2.7.7一、HBase安装Snappy压缩软件$ wget wget https...转载 2020-10-23 14:31:01 · 498 阅读 · 0 评论 -
大数据(三)---------搭建Hadoop伪分布式和完全分布式集群
伪分布式:只需要一个虚拟机,所有节点都在该虚拟机上1.首先,需要安装JDK,将上传的jdk解压tar -zxvf jdk压缩包2.配置环境变量,位置:/etc/profileexport JAVA_HOME=/opt/software/jdk1.8.0_121export PATH=$PATH:$JAVA_HOME/bin注:两个地方都能配置 用户变量 .b...原创 2019-06-12 14:58:52 · 560 阅读 · 0 评论 -
大数据(四)---------在Eclipse上搭建Hadoop开发环境,HDFS---API简单实现
Eclipse环境搭建:1.保证电脑上已经配置JDK2.配置hadoop的环境变量,变量名:HADOOP_HOME,变量值:hadoop的路径修改Path路径----->新增 %HADOOP_HOME%\bin在系统变量中新建HADOOP_USER_NAME,值为root3.配置eclipse环境①在eclipse启动之前,将hadoop-eclipse-...原创 2019-06-13 20:41:07 · 711 阅读 · 0 评论 -
大数据(五)---------Map/Reduce原理,Yarn工作机制
Map/Reduce原理,Yarn运行机制原创 2019-06-14 21:23:15 · 187 阅读 · 0 评论 -
大数据(七)---------Hive详解
Hive详解原创 2019-06-19 21:31:06 · 520 阅读 · 1 评论 -
大数据(一)---------大数据基本概念和HDFS内部机制
大数据基本概念和HDFS内部机制原创 2019-06-10 20:32:05 · 232 阅读 · 0 评论 -
大数据(二)---------HDFS--SecondaryNamenode----持久化
在HDFS里,主节点(NN)掌握一批元数据(描述数据的数据) ---->放在内存里面硬盘和内存的区别: 硬盘:内存大、便宜、但是慢 内存:内存小、贵、但是快为什么要持久化?为了保证元数据的安全,要将内存中的数据放到磁盘(硬盘)中---->这就是持久化。当我们的集群因为断电等原因产生问题的时候,问题解决,重新开机,会去磁...原创 2019-06-11 21:52:52 · 279 阅读 · 0 评论