![](https://img-blog.csdnimg.cn/20201014180756928.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
HDFS
充了1块钱
这个作者很懒,什么都没留下…
展开
-
maven jar包的手动下载
1、 按 HDFS - 客户端配置 同样的方法配置一个pom.xml文件,配置上需要下载的jar包信息 例如 <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 https://maven.apache.org/xsd/ma..原创 2020-12-16 00:50:50 · 232 阅读 · 0 评论 -
HDFS - 客户端配置
1、安装Maven(安装在非中文的目录),并配置环境变量; 2、配置Maven本地库路径和镜像库(maven根目录下的conf\settings.xml文件),这里配的是阿里的maven库(https://maven.aliyun.com/mvn/guide) maven库路径配置:默认的路径是在用户目录下的.m2/repository文件夹,这里可以配置自己存储路径 阿里云镜像配置(可以不配):可以从阿里云maven库直接复制配置信息到文件中 3、eclips上的配置 window -原创 2020-12-16 00:31:31 · 362 阅读 · 0 评论 -
HDFS - 初识
1、HDFS优劣势 优势 高容错性 数据自动保存多个副本。它通过增加副本的形式,提高容错性。 某一个副本丢失以后,它可以自动恢复,这是由 HDFS 内部机制实现的。 适合批处理 它是通过移动计算而不是移动数据。 它会把数据位置暴露给计算框架。 适合大数据处理 处理数据达到 GB、TB、甚至PB级别的数据。 能够处理百万规模以上的文件数量,数量相当之大。 能够处理10K节点的规模。 流式文件访问 一次写入,多次读取。文件一旦写入不能修改,只能追加。 它能保证数据的一致性。 可构建在廉价机原创 2020-12-12 13:20:36 · 84 阅读 · 0 评论