![](https://img-blog.csdnimg.cn/20201014180756724.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Hadoop
懵逼的运维弟弟
这个作者很懒,什么都没留下…
展开
-
Hbase表迁移-元数据逆向恢复
Hbase迁移方法较多,本次使用的是逆向恢复,即直接将hbaes数据目录get到本地,并put到新集群的hdfs目录下,并进行元数据恢复,简单粗暴,以下为详细步骤在源集群上将hbase表整个目录get到本地磁盘hdfs dfs -get /apps/hbase/data/data/namespace/tablename 或者hadoop fs -copyToLocal /apps/hbase/data/data/namespace/tablename 将本地磁盘当前目录下的数据put到目标原创 2021-07-27 16:03:45 · 413 阅读 · 0 评论 -
HBase——Snapshot(快照)
一. 基于Hbase snapshot数据快速备份方法1)创建快照(查看快照->查看快照snapshot命令相关参数->创建快照—>查看快照)查看snapshothbase(main):002:0> list_snapshotsSNAPSHOT TABLE + CREATION TIME0 row(s) in 0.0290 seconds查看help转载 2021-04-21 11:32:53 · 2411 阅读 · 0 评论 -
Hadoop平台组件部署
Hadoop平台组件部署目录引言 51.1. 目的 51.2. 术语与缩写解释 61.3. 参考资料 6系统配置 62.1. 运行环境 62.2. 硬件配置 72.3. 硬件安排 72.4. 配置架构图 72.5. 平台组件介质 72.6. 第三方依赖包 8组件部署 83.1. 部署说明 83.2. 部署要点 83.3. 环境配置 83.3.1. 主机免密登陆配置 83.3.2. 主机名配置 93.3.3. HOSTS配置 103.3.4. 关闭防火墙 103.3原创 2020-11-19 14:51:29 · 1951 阅读 · 1 评论 -
将存储在本地的大量分散的小文件,合并并保存在hdfs文件系统中。
import java.io.BufferedInputStream;import java.io.File;import java.io.FileInputStream;import java.io.IOException;import java.io.InputStream;import java.io.OutputStream;import java.net.URI;import org.apache.hadoop.conf.Configuration;import org.apach原创 2020-09-21 15:38:25 · 227 阅读 · 1 评论 -
Hadoop,HDFS原理入门
![在这里插入图片描述](https://img-blog.csdnimg.cn/20200921094646195.png#pic_center)Hadoop概述 - Apache Hadoop官方定义是:Hadoop项目是一套可靠的,可扩展的,支持分布式计算的开源软件。 Hadoop的设计规模从单一服务器到数千台机器,每个都提供本地计算和存储,框架本身提供计算机集群高可用的服务而不是依靠硬件来提供高可用性。 Hadoop是一个基础框架,允许用简...原创 2020-09-21 14:19:55 · 935 阅读 · 0 评论