![](https://img-blog.csdnimg.cn/20201014180756757.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
hadoop
LiterMa
这个作者很懒,什么都没留下…
展开
-
hdfs高可用和联邦机制
HDFS高可用机制HAhadoop中NameNode非常重要,影响整个集群在实际应用中,一般有两个NameNode,一个处于Active状态(负责所有客户端的操作),一个Standby状态(等待Active挂掉,实现快速故障切换(如果需要))他们的元数据肯定要同步一致,Zookeeper实现其中的组件:ZKFailoverController:基于Zookeeper的故障转移控制器,负责NameNode的主备切换通过监听NameNode健康状态,当Active出现异常.原创 2021-01-11 13:31:47 · 190 阅读 · 0 评论 -
hdfs的API操作
目录hdfsAPI操作环境配置api操作获取FileSystemapi操作,功能型api上传和下载api访问权限控制api小文件合并hdfsAPI操作环境配置一、准备工作1、配置Windows的hadoop运行环境,否则运行代码会出现缺少winutils.exe、hadoop.dll这两个文件可以在github上找貌似hadoop2.10.1不用配置环境也可以使用api第一步:将这两个文件放到一个全英文没空格的文件夹下例如:D:\English_p..原创 2021-01-11 13:28:20 · 361 阅读 · 0 评论 -
HDFS基准测试、写入过程、读取过程、元数据管理
基准测试生产环境搭建后,第一件事就是压力测试,测试集群的读取和写入速度,测试我们的网络带宽是否足够等一些基准测试一、测试写入数据向HDFS文件系统写入数据,10个文件每个文件10mb,文件放到/benchmarks/TestDFSIO中hadoop jar(表示执行一个后面是jar包目录) /export/servers/hadoop-2.10.1/share/hadoop/mapreduce/hadoop-mapreduce-client-jobclient-2.10.1.ja...原创 2021-01-11 13:22:17 · 460 阅读 · 1 评论 -
HDFS概述和使用
目录hdfs概述NameNode与DataNode的作用hdfs的副本机制与机架感知hdfs的命令行使用hdfs的高级使用命令hdfs概述分布式文件系统跨机存储,统一管理(提供统一的访问接口)像普通文件系统一样使用分布式文件系统应用场景1、存储非常大的文件,几百m、g、TB,需要高吞吐量,对延时没有要求2、流式数据访问:一次写入多次读取,数据集经常从数据源生成或拷贝一次,然后在其上做很多分析工作3、每台主机不必太贵,节约成本4、容错率高..原创 2021-01-11 13:19:41 · 157 阅读 · 0 评论 -
HBase学习之Hbase api连接数据库
尝试写一个工具类public class Utils { private static Configuration configuration =null; private static Connection connection=null; private static Admin admin=null; private static Table table=null; static { configuration= HBaseConfigura.原创 2021-01-02 12:57:16 · 511 阅读 · 1 评论 -
MapReduce学习之WordCount案例
maven: <dependencies> <dependency> <groupId>org.apache.hadoop</groupId> <artifactId>hadoop-common</artifactId> <version>2.10.1</version> </dependency&g.原创 2021-01-04 11:21:13 · 148 阅读 · 0 评论 -
虚拟机Hadoop集群搭建6启动集群
原创 2021-01-01 22:56:06 · 161 阅读 · 0 评论 -
虚拟机Hadoop集群搭建5安装Hadoop
部分图片来源于黑马程序员原创 2021-01-01 22:49:15 · 142 阅读 · 1 评论 -
虚拟机Hadoop集群搭建4Hadoop介绍
部分图片 来源于黑马程序员的大数据入门视频原创 2021-01-01 22:47:47 · 98 阅读 · 0 评论 -
linux之shell编程的简单学习2
原创 2021-01-01 22:45:37 · 58 阅读 · 0 评论 -
linux之shell编程的简单学习1
原创 2021-01-01 22:44:39 · 71 阅读 · 0 评论 -
虚拟机Hadoop集群搭建3时钟同步以及jdk和mysql的安装
安装jdk安装mysql原创 2021-01-01 22:41:41 · 93 阅读 · 0 评论 -
虚拟机Hadoop集群搭建2免密登录
原创 2021-01-01 22:40:00 · 186 阅读 · 0 评论 -
虚拟机Hadoop集群搭建1配置虚拟机
原创 2021-01-01 22:38:33 · 89 阅读 · 0 评论