大数据从入门到精通
编程界的彭于晏
这个作者很懒,什么都没留下…
展开
-
HBase安装
1.准备Zookeeper集群环境首先保证Zookeeper集群的正常部署,并启动之:Zookeeper环境搭建[lzh@hadoop102 zookeeper-3.4.10]$ bin/zkServer.sh start[lzh@hadoop103 zookeeper-3.4.10]$ bin/zkServer.sh start[lzh@hadoop104 zookeeper-3.4....原创 2019-11-15 17:07:43 · 97 阅读 · 0 评论 -
Kafka命令行操作
1)查看当前服务器中的所有topic[lzh@hadoop102 kafka]$ bin/kafka-topics.sh --zookeeper hadoop102:2181 --list2)创建topic[lzh@hadoop102 kafka]$ bin/kafka-topics.sh --zookeeper hadoop102:2181 --create --replication-...原创 2019-11-15 10:29:19 · 122 阅读 · 0 评论 -
kafka集群安装
集群规划|hadoop102hadoop103hadoop104zookeeperzookeeperzookeeperkafkakafkakafka1.解压安装包[lzh@hadoop102 software]$ tar -zxvf kafka_2.11-0.11.0.2.tgz -C /opt/module/2.修改解压后的文件名称[lzh@ha...原创 2019-11-15 10:05:44 · 172 阅读 · 0 评论 -
Zookeeper内部原理详解
1.节点类型持久(Persistent):客户端和服务器端断开连接后,创建的节点不删除短暂(Ephemeral):客户端和服务器端断开连接后,创建的节点自己删除(1)持久化目录节点客户端与Zookeeper断开连接后,该节点依旧存在(2)持久化顺序编号目录节点客户端与Zookeeper断开连接后,该节点依旧存在,只是Zookeeper给该节点名称进行顺序编号(3)临时目录节点客户...原创 2019-11-14 13:55:16 · 109 阅读 · 0 评论 -
zookeeper集群安装部署
1.集群规划在hadoop102、hadoop103和hadoop104三个节点上部署Zookeeper。2.解压安装解压Zookeeper安装包到/opt/module/目录下[lzh@hadoop102 software]$ tar -zxvf zookeeper-3.4.10.tar.gz -C /opt/module/3.配置zoo.cfg文件(1)重命名/opt/modul...原创 2019-11-14 11:37:24 · 133 阅读 · 0 评论 -
zookeeper入门及安装
1.Zookeeper入门1.1Zookeeper原创 2019-11-14 11:34:02 · 107 阅读 · 0 评论 -
NameNode和SecondaryNameNode详解
思考:NameNode中的元数据是存储在哪里的?是磁盘中还是内存中? 首先,我们假设储存在NameNode节点的磁盘中,因为经常要对NameNode进行访问获取DataNode的信息以相应客户请求,存放在磁盘中会导致效率过低。 &n...原创 2019-10-31 22:41:39 · 374 阅读 · 0 评论 -
HDFS读写数据流程
1.HDFS写数据流程解析1)客户端通过Distributed FileSystem模块向NameNode请求上传文件,NameNode检查目标文件是否已存在,父目录是否存在。2)NameNode返回是否可以上传。3)客户端请求第一个 Block上传到哪几个DataNode服务器上。4)NameNode返回3个DataNode节点,分别为dn1、dn2、dn3。5)客户端通过FSDat...原创 2019-10-31 19:36:18 · 214 阅读 · 0 评论 -
HDFS概述
1.HDFS优缺点优点:1)高容错性2)适合处理大数据(1)数据规模:能够处理数据量规模达到GB、TB、甚至PB级别的数据。(2)文件规模:能够处理百万规模以上的文件数量,数量相当之大。3)可构建在廉价的机器上,通过多副本机制提高可靠性。缺点:1)不适合低延时数据访问,比如毫秒级的存储数据,是做不到的。2)无法高效的对大量小文件进行存储:(1)存储大量小文件的话,它会占用Na...原创 2019-10-29 22:28:11 · 351 阅读 · 0 评论 -
Hadoop完全分布式运行
1.准备3台客户机(关闭防火墙、静态ip、主机名称)Hadoop运行环境搭建+Linux上安装Hadoophadoop102hadoop103hadoop1042.配置免密登录(1)切换至root用户下 输入命令ssh-keygen -t rsa[root@hadoop102 ~]$ ssh-keygen -t rsa然后敲(三个回车),就会生成两个文件id_rsa(私钥)、id...原创 2019-10-29 21:21:36 · 169 阅读 · 0 评论 -
集群时间同步
时间同步的方式:找一个机器,作为时间服务器,所有的机器与这台集群时间进行定时的同步,比如,每隔十分钟,同步一次时间。1. 时间服务器配置(必须root用户操作)(1)检查ntp是否安装(集群上所有机器都需要安装)输入rpm -qa|grep ntp如下图所示表示已经安装了ntp如果未安装 执行命令 yum -y install ntp 进行安装[root@hadoop102 ~]# rp...转载 2019-10-29 21:05:45 · 295 阅读 · 0 评论 -
Hadoop伪分布式运行(单机版)
1.安装hadoophadoop安装步骤2.配置集群(1)修改配置文件:hadoop-env.shLinux系统中获取JDK的安装路径:[lzh@hadoop101 hadoop]$ echo $JAVA_HOME/opt/module/jdk1.8.0_144进入hadoop-env.sh文件:[lzh@hadoop101 hadoop]$ vi /opt/module/hado...原创 2019-10-26 14:35:04 · 275 阅读 · 0 评论 -
Linux上安装Hadoop
0. 先在linux上安装JDK(1)查询是否安装Java软件:[lzh@hadoop101 opt]$ rpm -qa | grep java(2)如果安装的版本低于1.7,卸载该JDK:[lzh@hadoop101 opt]$ sudo rpm -e 软件包(3)查看JDK安装路径:[lzh@hadoop101 ~]$ which java(4)下载、上传、安装jdkjdk1....原创 2019-10-24 00:24:15 · 250 阅读 · 0 评论 -
Hadoop运行环境搭建
1.关闭防火墙//防火墙服务关闭service iptables stop//关闭开机自启防火墙chkconfig iptables off2.创建一个普通用户lzhuseradd lzh //用户名是lzhpasswd lzh //更改lzh用户的密码 回车执行后输入两次相同的密码即可3.在/opt目录下创建software module文件夹3.1创建名字为software、...原创 2019-10-21 00:22:48 · 168 阅读 · 0 评论 -
Hadoop入门
1.Hadoop是什么(1)Hadoop是一个由Apache基金会所开发的分布式系统基础架构(2)主要解决问题:海量数据的存储和海量数据的分析计算(3)广义上来说,Hadoop通常是指一个更广泛的概念——Hadoop生态圈...原创 2019-10-20 22:50:28 · 137 阅读 · 0 评论