![](https://img-blog.csdnimg.cn/20201014180756922.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
学习笔记
文章平均质量分 54
小橘啊
这个作者很懒,什么都没留下…
展开
-
HBase的简介和成功案例
HBase概述1.HBase介绍HBase是一种数据库:hadoop分布式数据库。是一个随机访问存储和检索数据的平台。HBase不做用于处理实时数据,适合处理海量数据2.HBase背景关系型数据库(RDBMS) :mysql ,oracle ,db2 , sqlserver联机式事务处理(OLTP)系统使用RDBMS,来实时记录交易信息。OLAP系统用来分析查询存储数据(大学主要要使用) 按天,按周,按月,按季度,按年 从不同角度分析信息。NoSql :Not only sql。大数据的原创 2021-04-06 15:02:19 · 516 阅读 · 0 评论 -
java操作hadoop的API
默认配置文件优先级<手动配置文件优先级<API set方法通过 手动配置 上传文件查看 之后再用set 方法进行设置块大小查看结果 //连接方法 Configuration entries = new Configuration(); //获取连接地址并且使用root 用户 FileSystem fs = FileSystem.get(new URI("hdfs://hadoop100:9000"), entries, "root"); .原创 2021-04-06 13:52:26 · 164 阅读 · 0 评论 -
Maven简介
Maven服务java平台项目构建依赖管理不会出现兼容性的问题减少沟通代价maven配置本地创库远程仓库阿里的远程alimavenaliyun mavenhttp://maven.aliyun.com/nexus/content/groups/public/central第一行maven 的安装目录第二行 maven\conf目录下set配置文件第三行本地仓库路径当前maven设置新项目maven设置Idea2020.2版本maven常见错误3.3.1初次使原创 2021-03-30 08:28:53 · 85 阅读 · 0 评论 -
HDFS数据流
常用的hdfs dfsadmin 指令hdfs dfsadmin -printTopology打印结构默认的机架如果有其他机架需要手动设置 否则默认就是default-rackhdfs dfsadmin -report 报告当前hadoop的状态原创 2021-03-28 21:53:22 · 56 阅读 · 0 评论 -
HDFS工作机制
简介运行在安全模式下的,Namenode的文件系统对于客户端来说是只读的,文件修改操作如写,删除,重命名等均机架感知策略第一个副本在client所处的节点上。如果客户端在集群外,随机选一个。第二个副本与第一个副本不相同机架,随机一个节点进行存储第三个副本与第二个副本相同机架,不同节点。节点动态上线第一步:修改dfs.hosts属性,指定文件include的全路径第二步:将待上线的主机名(slave3)添加到dfs.hosts指定的文件内第三步:在namenode上刷新节点:第四步:在要上线原创 2021-03-24 16:04:21 · 112 阅读 · 0 评论 -
HDFS块
传统分布式文件系统的缺点负载不均衡网络带宽稀缺HDFS块的大小固定 就没那么容易出现负载均衡问题和网络稀缺的问题Hadoop1.x 64MB Hadoop2.x 128MB Hadoop3.x 256MBHDFS块是HDFS系统最小的储存单元 块的大小是可以用户定义的 文件会按着块的大小拆分成多个块保证一个块存储在一个datanonde节点上 保证数据安全使用副冗余机制所有块大小一致最后一个块除外HDFS寻址开销不仅包括磁盘寻道开销,还包括数据块的定位开销,当客户端需要访问一个文件原创 2021-03-22 17:54:23 · 446 阅读 · 0 评论 -
JAVA连接hdfs 操作
JAVA连接hdfs 操作 //完整的一个连接hdfs 和操作步骤 @Test public void test06() throws URISyntaxException, IOException, InterruptedException { //创建连接 //获取主节点 URI uri = new URI("hdfs://hadoop100:9000"); Configuration entries = new Conf原创 2021-03-19 17:49:44 · 2080 阅读 · 0 评论 -
HDFS指令
hdfs dfs 指定的目录需要加/ 绝对路径put 本机路径 /hdfs路径 上传文件moveFromLocal 同上 上传文件 删除本机文件 相当于 windows的剪切 linux的mvcopyFromLocal 同上 上传文件 复制不删除原创 2021-03-10 09:33:13 · 143 阅读 · 0 评论