![](https://img-blog.csdnimg.cn/20201014180756928.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
hadoop
文章平均质量分 66
DamoLLL
这个作者很懒,什么都没留下…
展开
-
HDFS根据命令编写代码
HDFS根据命令编写代码 package com.bigdata.hdfs; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.*; import org.apache.hadoop.fs.permission.FsPermission; import org.junit.Test; import java.io.IOException; import java.net.URI; import java.ut原创 2021-02-01 17:59:45 · 136 阅读 · 0 评论 -
HDFS Architecture(HDFS 结构)
HDFS Architecture(HDFS 结构) HDFS架构 服务器:机架式服务器、刀片式服务器、塔式服务器 官网地址:https://hadoop.apache.org/docs/r2.7.3/hadoop-project-dist/hadoop-hdfs/HdfsDesign.html HDFS文件一旦创建,除了追加和截断外,不需要更改。 支持将内容追加到文件末尾,但不能在任意点更新。 Moving Computation is Cheaper than Moving Data 移动计算比移动数据原创 2021-02-01 17:51:15 · 260 阅读 · 0 评论 -
Maven中设置jdk的版本为 1.8,并生成模板
Maven中设置jdk的版本为 1.8,编码格式utf-8 <plugin> <groupId>org.apache.maven.plugins</groupId> <artifactId>maven-compiler-plugin</artifactId> <version>3.1</version> <configuration> <source>1原创 2021-01-04 17:51:19 · 294 阅读 · 0 评论 -
Hadoop shell命令
HDFS的端口号 9000:hdfs节点内部通信端口 50070:hdfs的web端口 出现以下问题:就是没有在环境变量PATH中找不到 [hadoop@hadoop101 sbin]$ hadoop-daemon.sh -bash: hadoop-daemon.sh: command not found hosts的位置 HDFS集群注意事项 如果对NN进行格式化,一定要保证DN和NN的 clusterID一样 clusterID存在 /home/hadoop/apps/hadoop/data/df原创 2021-01-04 17:42:15 · 130 阅读 · 0 评论 -
Hadoop简介和安装
大数据 1、海量数据 2、处理海量数据的一系列技术:存储和计算 大数据元年:2013年 阿里王坚:2016年 大数据技术解决两个问题 1、存储数据 2、计算数据 准备工作 准备三台虚拟机 (hadoop101,hadoop102,hadoop103),他们之间可以相互拼通 NAT模式: 配置ip和主机的映射 [root@hadoop101 ~]# vim /etc/hosts 192.168.10.101 hadoop101 192.168.10.102 hadoop102 192.168.10.原创 2021-01-04 17:14:27 · 159 阅读 · 0 评论