Hadoop
文章平均质量分 53
LLLSoul
这个作者很懒,什么都没留下…
展开
-
HBase初步学习与性能测试
HBase初步学习1、HBase定义HBase(Hadoop Database)是一个分布式、可扩展的NoSQL数据库。基于Big Table,为Hadoop框架当中的结构化数据提供存储服务,是面向列的分布式数据库。这一点与HDFS是不一样的,HDFS是分布式文件系统,管理的是存放在多个硬盘上的数据文件,不支持随机修改,而Hbase管理的是类似于key—value映射的表。2、HBase数据模型Name space:关系型数据库中表放在database中,而Hbase的表放在命名空间中,自带的命名原创 2021-07-09 18:12:32 · 1653 阅读 · 1 评论 -
Hadoop(1.7)——常见面试题
常用端口号:Hadoop 3.XHDFS:NameNode内部端口:8020/9000/9820NameNode对用户的查询端口:9870Yarn查看任务运行情况端口:8088历史服务器:19888Hadoop 2.XHDFS:NameNode内部端口:8020/9000NameNode对用户的查询端口:50070Yarn查看任务运行情况端口:8088历史服务器:19888常用配置文件:Hadoop 3.X:core-site.xml hdfs-sit原创 2021-06-26 09:25:34 · 79 阅读 · 2 评论 -
Hadoop(1.6)——批量启动服务脚本、批量查看jps脚本
批量启动服务脚本:脚本存放路径:/root/bin脚本内容:#!/bin/bash if [ $# -lt 1 ] then echo "No Args Input..." exit ; fi case $1 in "start") echo " =================== 启动 hadoop 集群 ===================" echo " --------------- 启动 hdfs -----原创 2021-06-26 08:57:40 · 297 阅读 · 0 评论 -
Hadoop(1.5)——配置历史服务器
配置历史服务器配置mapred.xml在该文件下增加如下配置: <!--历史服务器地址端口(节点之间用)--> <property> <name>mapreduce.jobhistory.address</name> <value>hadoop102:10020</value> </property> <!--历史服务器地址端口(用户浏览器通过该端口访问)--&原创 2021-05-18 19:08:25 · 432 阅读 · 0 评论 -
Hadoop(1.4)——群起集群
1. 配置workers几台主机配置几个worker。先切换到$HADOOP_HOME/etc/hadoop/文件夹,编辑其内部的workers文件。[root@hadoop102 hadoop]# cat workershadoop102hadoop103hadoop104再使用xsync workers将workers文件分发至其他主机。2. 启动集群集群第一次启动:在102节点格式化NameNode,初始化完毕后,会在hadoop_home目录下产生data、logs文件夹[原创 2021-05-18 10:03:21 · 365 阅读 · 0 评论 -
Hadoop(1.3)——集群配置
1、集群部署规划注意:NameNode、SecondaryNameNode不要安装在同一服务器ResourceManager很消耗内存,不要和NameNode、SecondaryNameNode配置在一起HDFS:NameNode(nn):存储文件的元数据,如文件名,文件目录结构,文件属性,以及每个文件的块列表和块所在的DateNode等DataNode(dn):在本地文件系统存储文件块数据,以及块数据的校验和Secondary NameNode(2nn):每隔一段时间对NameNode元原创 2021-05-16 16:54:30 · 93 阅读 · 0 评论 -
Hadoop(1.2)——ssh免密登录
102主机曾经通过ssh连接过其他主机,所以在home下有个.ssh文件夹,内部有known_hosts文件,记录连接主机的信息。在.ssh文件夹下使用命令ssh-keygen -t rsa 创建密钥对在.ssh文件夹下生成文件:[root@hadoop102 .ssh]# ll总用量 12-rw-------. 1 root root 1675 5月 16 09:47 id_rsa #私钥-rw-r--r--. 1 root root 396 5月 16 09:47 id_rsa..原创 2021-05-16 10:43:42 · 84 阅读 · 0 评论 -
Hadoop(1.1)——xsync集群分发脚本
Hadoop运行模式:Local Mode本地模式,数据存储在linux本地,测试时偶尔用Psedo-Distributed Mode伪分布式模式:数据存储在HDFS,适用预算有限的情况Fully-Distributed Mode完全分布式,数据存储在HDFS/多台服务器工作,企业大量用这个完全分布式运行模式的搭建步骤:准备3台客户机(关闭防火墙、静态ip、主机名称)安装JDK,配置环境变量安装Hadoop,配置环境变量配置集群单点启动配置原创 2021-05-16 09:20:10 · 379 阅读 · 0 评论