等我优秀yC的博客

1.解压hadoop安装包mkdir /use/local/appstar -zxvf hadoop-2.7.7.tar.gz -C /usr/local/apps2.查看版本hadoop version3.修改配置文件vim /cd /usr/local/apps/hadoop-2.7.7/etc/hadoop/hadoop-env.sh4.修改配置文件vim /usr/lo...

1.指定input文件和output路径2.打jar包

HDFS=Hadoop Distributed File System（Hadoop分布式文件系统）1.硬件故障HDFS由数百上千个服务器机器组成，每台机器都存储数据的一部分，每个组件都有可能失效，所以HDFS的某些组件始终是分功能性的。所以，故障检测和快速自动恢复是HDFS的核心架构目标。2.流式访问数据运行在HDFS上的程序访问数据集是采用流访问。HDFS并不是运行在通用文件系统上的应...

1.一次写入多次读取：即：一个写入者。缺陷：1）不能修改，只能追加。（数据已经分块存储，不知道在哪个块）2）不建议存储小文件（hdfs将大文件分块，默认128M。小文件独占一块。）2.hdfs将大文件分块，采用分块存储，使用本地校验，保证数据无损坏。3.数据存储：虚拟磁盘(1)------->(n)元化数据元化数据(1)------->(1)本地化磁盘映像fsiamge...

概念：fsimage保存了最新的元数据检查点。edits保存自最新检查点后的命名空间的变化//NN日志文件位置cd /usr/local/apps/hadoop-2.7.7/data/dfs/name/currentseen_txid文件记录一个数，该数指secondaryNameNode拷走的edits编号最大值+1（当前事务ID）fsimage不能通过cat查看 只能使用HDFS指...

《hdef shell命令》hdfs dfs //显示hdfs shell客户端命令df 磁盘剩余空间1.上传数据文件登录一台DN或者NN创建一个文件cd /opt/installpkg/vim word.txthdfs dfs -copyFromLocal word.txt ///将当前本地的文件word 上传到根hdfs目录查看文件cd /usr/local/apps/h...

slaves 群启IP配置core-site.xml 设置DN注册到哪个NN的IP位置，数据文件存储位置hdfs-site.xml 配置NN的secondaryNameNode的存储位置hadoop-env.sh jdk位置data/dfs/data/current DN的ID，集群IDdata/dfs/name/current NN的ID，集群ID启动顺序master执行./sta...

现在有192.168.247.101 dtinone101192.168.247.102 dtinone102192.168.247.103 dtinone103101 作为 NN101，102，103作为 DN102 作为 101 的2NN1.添加101的DNS解析vim /etc/hosts192.168.247.101 dtinone101192.168.247.102 ...