![](https://img-blog.csdnimg.cn/20201014180756923.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
大数据
LiterMa
这个作者很懒,什么都没留下…
展开
-
HBase学习之Hbase的逻辑结构和物理结构
部分图片来源于尚硅谷原创 2021-01-02 12:49:41 · 403 阅读 · 0 评论 -
hdfs高可用和联邦机制
HDFS高可用机制HAhadoop中NameNode非常重要,影响整个集群在实际应用中,一般有两个NameNode,一个处于Active状态(负责所有客户端的操作),一个Standby状态(等待Active挂掉,实现快速故障切换(如果需要))他们的元数据肯定要同步一致,Zookeeper实现其中的组件:ZKFailoverController:基于Zookeeper的故障转移控制器,负责NameNode的主备切换通过监听NameNode健康状态,当Active出现异常.原创 2021-01-11 13:31:47 · 181 阅读 · 0 评论 -
hdfs的API操作
目录hdfsAPI操作环境配置api操作获取FileSystemapi操作,功能型api上传和下载api访问权限控制api小文件合并hdfsAPI操作环境配置一、准备工作1、配置Windows的hadoop运行环境,否则运行代码会出现缺少winutils.exe、hadoop.dll这两个文件可以在github上找貌似hadoop2.10.1不用配置环境也可以使用api第一步:将这两个文件放到一个全英文没空格的文件夹下例如:D:\English_p..原创 2021-01-11 13:28:20 · 353 阅读 · 0 评论 -
HDFS基准测试、写入过程、读取过程、元数据管理
基准测试生产环境搭建后,第一件事就是压力测试,测试集群的读取和写入速度,测试我们的网络带宽是否足够等一些基准测试一、测试写入数据向HDFS文件系统写入数据,10个文件每个文件10mb,文件放到/benchmarks/TestDFSIO中hadoop jar(表示执行一个后面是jar包目录) /export/servers/hadoop-2.10.1/share/hadoop/mapreduce/hadoop-mapreduce-client-jobclient-2.10.1.ja...原创 2021-01-11 13:22:17 · 447 阅读 · 1 评论 -
HDFS概述和使用
目录hdfs概述NameNode与DataNode的作用hdfs的副本机制与机架感知hdfs的命令行使用hdfs的高级使用命令hdfs概述分布式文件系统跨机存储,统一管理(提供统一的访问接口)像普通文件系统一样使用分布式文件系统应用场景1、存储非常大的文件,几百m、g、TB,需要高吞吐量,对延时没有要求2、流式数据访问:一次写入多次读取,数据集经常从数据源生成或拷贝一次,然后在其上做很多分析工作3、每台主机不必太贵,节约成本4、容错率高..原创 2021-01-11 13:19:41 · 152 阅读 · 0 评论 -
Zookeeper概述、特点、架构、Zookeeper应用场景和选举机制
目录Zookeeper概述Zookeeper特点Zookeeper的架构Zookeeper应用场景Zookeeper选举机制下一篇:Zookeeper环境搭建、数据模型、命令与操作、节点属性Zookeeper概述根据黑马程序员视频整理一、概述Zookeeper是一个开源的分布式协调服务框架,主要用来解决分布式集群中应用系统的一致性问题和数据管理问题为什么需要?以前使用锁来解决共享资源的问题,解决的是一台主机上三个共享同一资源的进程但是现在是三个进程.原创 2021-01-10 20:55:49 · 312 阅读 · 0 评论 -
Zookeeper环境搭建、数据模型、命令与操作、节点属性
目录Zookeeper环境搭建Zookeeper数据模型Zookeeper的命令与操作Zookeeper节点属性下一篇:Zookeeper的Watch机制和API操作Zookeeper环境搭建主机名以及其myid值,myid越大权值越大第一步:下载Zookeeper第二部:解压到export/servers目录第三步修改配置文件在解压好的目录中找conf进入里面有个zoo_sample.cfg是个模板,我们要拷贝成zoo.cfg...原创 2021-01-10 20:54:43 · 96 阅读 · 0 评论 -
Zookeeper的Watch机制和API操作
目录Zookeeper的Watch机制API操作API操作watch机制Zookeeper的Watch机制一、概念类似于数据库中的触发器,对某个Znode设置watcher,当Znode发生变化的时候WatchManager会调用对应的Watcher当Znode发生删除、修改、创建、子节点修改时的,对应的Watcher会得到通知二、watcher的特点1、一次性触发一个Watcher,只会被触发一次,如果需要继续监听,则需要再次添加Watcher2、事件..原创 2021-01-10 20:53:39 · 273 阅读 · 0 评论 -
HBase学习之Hbase api连接数据库
尝试写一个工具类public class Utils { private static Configuration configuration =null; private static Connection connection=null; private static Admin admin=null; private static Table table=null; static { configuration= HBaseConfigura.原创 2021-01-02 12:57:16 · 507 阅读 · 1 评论 -
MapReduce学习之WordCount案例
maven: <dependencies> <dependency> <groupId>org.apache.hadoop</groupId> <artifactId>hadoop-common</artifactId> <version>2.10.1</version> </dependency&g.原创 2021-01-04 11:21:13 · 144 阅读 · 0 评论 -
MapReduce学习之编程流程
原创 2021-01-04 11:11:57 · 65 阅读 · 0 评论 -
MapReduce学习之概述和设计构思
该系列博客是对黑马程序员视频的总结,其中很多图片来自于黑马程序员概述设计构思原创 2021-01-04 11:10:33 · 116 阅读 · 0 评论 -
HBase学习之API DML操作
插入数据//插入数据 //参数分别是表名、行键、列族、列、值 public static void putData(String tableName,String rowKey,String cf,String cn,String value){ try { //1、获取table对象 table=Utils.getTable(tableName); //2、创put对象 //hbase的所有数据都是字节数组,原创 2021-01-03 23:18:41 · 112 阅读 · 0 评论 -
MongoDB简单学习之java API的使用
连接MongoDB操作集合检索文档更新以及删除文档获取单个字段原创 2021-01-02 12:45:11 · 2650 阅读 · 0 评论 -
MongoDB简单学习之增删改查
文档的更新文档的删除统计和分页查询排序查询正则的复杂条件查询条件查询小结原创 2021-01-02 10:10:42 · 85 阅读 · 0 评论 -
虚拟机Hadoop集群搭建4Hadoop介绍
部分图片 来源于黑马程序员的大数据入门视频原创 2021-01-01 22:47:47 · 92 阅读 · 0 评论 -
虚拟机Hadoop集群搭建3时钟同步以及jdk和mysql的安装
安装jdk安装mysql原创 2021-01-01 22:41:41 · 85 阅读 · 0 评论 -
虚拟机Hadoop集群搭建2免密登录
原创 2021-01-01 22:40:00 · 185 阅读 · 0 评论 -
虚拟机Hadoop集群搭建1配置虚拟机
原创 2021-01-01 22:38:33 · 87 阅读 · 0 评论 -
虚拟机Hadoop集群搭建6启动集群
原创 2021-01-01 22:56:06 · 155 阅读 · 0 评论 -
虚拟机Hadoop集群搭建5安装Hadoop
部分图片来源于黑马程序员原创 2021-01-01 22:49:15 · 137 阅读 · 1 评论 -
linux之shell编程的简单学习2
原创 2021-01-01 22:45:37 · 54 阅读 · 0 评论 -
linux之shell编程的简单学习1
原创 2021-01-01 22:44:39 · 67 阅读 · 0 评论