资料
陳某某某
这个作者很懒,什么都没留下…
展开
-
zookeeper 3.6.0分布式安装
1.下载 zookeeper 3.6.0apache-zookeeper-3.6.0-bin.tar.gz新版zk有两种:apache-zookeeper-3.6.0-bin.tar.gzapache-zookeeper-3.6.0.tar.gz要下载:apache-zookeeper-3.6.0-bin.tar.gzapache-zookeeper-3.6.0.tar.gz是源码包...原创 2020-04-23 10:28:22 · 532 阅读 · 0 评论 -
Hive下查看表占用空间大小的方法
一、Hive下查看数据表信息的方法方法1:查看表的字段信息desc table_name;方法2:查看表的字段信息及元数据存储路径desc extended table_name;方法3:查看表的字段信息及元数据存储路径desc formatted table_name;备注:查看表元数据存储路径是,推荐方法3,信息比较清晰。二、查看表容量大小方法1:查看一个hive表文件总大小...原创 2020-04-21 13:48:43 · 7645 阅读 · 0 评论 -
Hadoop组成
1 Hadoop组成1.1 HDFS架构概述 1)NameNode(nn):存储文件的元数据,如文件名,文件目录结构,文件属性(生成时间、副本数、文件权限),以及每个文件的块列表和块所在的DataNode等。 2)DataNode(dn):在本地文件系统存储文件块数据,以及块数据的校验和。 3)Secondary NameNode(2nn):用来监控HDFS...转载 2019-05-07 22:40:51 · 116 阅读 · 0 评论 -
Flume安装
1 Flume安装地址1) Flume官网地址http://flume.apache.org/2)文档查看地址http://flume.apache.org/FlumeUserGuide.html3)下载地址http://archive.apache.org/dist/flume/2 安装部署1)将apache-flume-1.7.0-bin.tar.gz上传到linux的/opt...原创 2019-05-09 17:05:50 · 137 阅读 · 0 评论 -
Hive安装
1 Hive安装地址1.Hive官网地址http://hive.apache.org/2.文档查看地址https://cwiki.apache.org/confluence/display/Hive/GettingStarted3.下载地址http://archive.apache.org/dist/hive/4.github地址https://github.com/apache/...原创 2019-05-09 16:31:24 · 110 阅读 · 0 评论 -
Hadoop(MapReduce)
MapReduce核心思想1)分布式的运算程序往往需要分成至少2个阶段。2)第一个阶段的MapTask并发实例,完全并行运行,互不相干。3)第二个阶段的ReduceTask并发实例互不相干,但是他们的数据依赖于上一个阶段的所有MapTask并发实例的输出。4)MapReduce编程模型只能包含一个Map阶段和一个Reduce阶段,如果用户的业务逻辑非常复杂,那就只能多个MapReduce...转载 2019-05-09 14:59:00 · 103 阅读 · 0 评论 -
HDFS HA高可用
1 HA概述1)所谓HA(High Available),即高可用(7*24小时不中断服务)。2)实现高可用最关键的策略是消除单点故障。HA严格来说应该分成各个组件的HA机制:HDFS的HA和YARN的HA。3)Hadoop2.0之前,在HDFS集群中NameNode存在单点故障(SPOF)。4)NameNode主要在以下两个方面影响HDFS集群NameNode机器发生意外,如宕机,集群...转载 2019-05-09 14:14:19 · 305 阅读 · 0 评论 -
Hadoop(HDFS)
HDFS写数据流程1)客户端通过Distributed FileSystem模块向NameNode请求上传文件,NameNode检查目标文件是否已存在,父目录是否存在。2)NameNode返回是否可以上传。3)客户端请求第一个 Block上传到哪几个DataNode服务器上。4)NameNode返回3个DataNode节点,分别为dn1、dn2、dn3。5)客户端通过FSDataOut...原创 2019-05-09 11:47:41 · 160 阅读 · 0 评论 -
Hadoop完全分布式运行模式
1)准备3台客户机(关闭防火墙、静态ip、主机名称)2)安装JDK3)配置环境变量4)安装Hadoop5)配置环境变量6)配置集群7)单点启动8)配置ssh9)群起并测试集群编写集群分发脚本xsyncxsync集群分发脚本xsync要同步的文件名称说明:在/home/chen/bin这个目录下存放的脚本,chen用户可以在系统任何地方直接执行。脚本实现在/home...原创 2019-05-09 10:32:22 · 186 阅读 · 0 评论 -
Redis的介绍及安装
Redis的介绍Redis是一个开源的key-value存储系统。和Memcached类似,它支持存储的value类型相对更多,包括string(字符串)、list(链表)、set(集合)、zset(sorted set --有序集合)和hash(哈希类型)。这些数据类型都支持push/pop、add/remove及取交集并集和差集及更丰富的操作,而且这些操作都是原子性的。在此基础上,Redis...原创 2019-05-13 23:04:02 · 166 阅读 · 0 评论