master_hunter的博客

配置的虚拟机为Centos6.7系统，hadoop版本为2.6.0版本，先前已经完成搭建CentOS部署Hbase、CentOS6.7搭建Zookeeper和编写MapReduce前置插件Hadoop-Eclipse-Plugin 安装。在此基础上进行Hive下的部署以及mysql的一个连接，完成Hive的应用。出现该问题的原因在于其他集群的profile并没有设置好，那么此时大家应该去校验启动集群的依赖，无非就那么几个条件和JAVA环境，每个集群点都得满足该条件，相当于去校验一次环境变量保证没有出错。

目录前言一、获取相应版本的hadoop-eclipse-plugin二、解压并配置相应环境三、编写测试类总结前言本人大三大数据专业，上周​​​​​初学如何搭建hadoop环境。配置好了静态ip搭建完了hadoop分布式集群后，开始搭建Zookeeper软件，之后搭建hbase环境。现在进入到了学习MapReduce的阶段，当然要利用JAVA编写MaoReduce的脚本要使用Hadoop-Eclipse-Plugin的插件，这篇文章就是详细讲述如何安装该插件。在此领域本人有诸多不.

前言本人大三软件工程大数据专业，在此领域本人有诸多不明确疑问，可能文章会有些许错误，望大家在评论区指正，本篇文章错误将会不断更正维护。Hadoop的优化与发展主要体现在两个方面：一方面是Hadoop自身两大核心组件MapReduce和HDFS的架构设计改进 另一方面是Hadoop生态系统其它组件的不断丰富，加入了Pig、Tez、Spark和Kafka等新组件提示：以下是本篇文章正文内容，下面案例可供参考一、Hadoop1.0Hadoop1.0即第一代Hadoop，由分布式存储系...

前言配置完了静态IP虚拟机能够成功上网ping通网站后，准备打算通过本地连接虚拟机发现出现问题。虚拟机能够ping通本地，但本机ping虚拟机ip的时候发现请求超时。参阅了很多博客打算发现其原理为什么ping不通。此领域本人有诸多不明确疑问，可能文章会有些许错误，望大家在评论区指正，本篇文章错误将会不断更正维护。提示：以下是本篇文章正文内容，下面案例可供参考一、PING程序原理1.ICMP协议PING程序实现的协议是ICMP，ICMP是(Internet Control Messa...

一、动态添加Datanode的方法1.保持HDFS的运行2.在namenode对应路径下的Slaves配置文件中添加新的节点。3.在新节点上执行 service hadoop-hdfs-datanode start4.刷新节点列表二、动态删除Datanode的方法1.配置NameNode的hdfs-site.xml，增加dfs.hosts.exclude配置2.namenode对应路径下新建excludes文件3.刷新节点4.在n.

在进行hdfs的shell命令实验中调用mkdir时发现创建不了目录，报错org.apache.hadoop.dfs.SafeModeException: Cannot delete /user/hadoop/. Name node is in safe mode 。查阅资料发现hdfs进入了安全模式。解决方法：用户可以通过dfsadmin -safemode value 来操作安全模式，参数value的说明如下：enter - 进入安全模式leave - 强制NameNode离开安全..

前言本人大数据专业初入大三刚刚接触并开始学习Nosql数据库原理，当然初入一些算法和原理还不是很熟练掌握，有待提升自己的编程结合能力。在此领域本人有诸多不明确疑问，可能文章会有些许错误，望大家在评论区指正，本篇文章错误将会不断更正维护。首先提示No such file or directory很容易联想到路径不对，当我们查看根路径时：hdfs dfs -ls /会发现:而在本地去whereis 找这些文件发现是与hdfs不同的，根据hdfs原理可知：HDFS的文件目录主要

报错提示说原文件已经被视为bad datanode了，具体不知道怎么被视作的。参考hadoop错误解决方案：先看看文件是否有写权限。解决方法：修改hdfs-site.xml文件，添加或者修改如下两项：< property>< name>dfs.client.block.write.replace-datanode-on-failure.enable</ name>< value>true</ value><...

前言本篇文章结合多篇博客文章解决方案具体汇总，方便遇到问题以后好解决问题。本人大数据专业初入大三刚刚接触并开始学习Nosql数据库原理，当然初入一些算法和原理还不是很熟练掌握，有待提升自己的编程结合能力。在此领域本人有诸多不明确疑问，可能文章会有些许错误，望大家在评论区指正，本篇文章错误将会不断更正维护。先进入hbase文件目录里看日志文件看看报什么错再具体解决：vi /usr/local/hbase/logs/hbase-hadoop-master-hadoop.log1.报错or

1、 HDFS 具有以下优点：(1)高容错性1)数据自动保存多个副本。它通过增加副本的形式，提高容错性。2)某一个副本丢失以后，它可以自动恢复，这是由 HDFS内部机制实现的，我们不必关心。(2)适合批处理1)它是通过移动计算而不是移动数据。2)它会把数据位置暴露给计算框架。(3)适合大数据处理1)数据规模：能够处理数据规模达到 GB、TB、甚至PB级别的数据。2)文件规模：能够处理百万规模以上的文件数量，数量相当之大。3)节点规...

本人大三大数据专业，上周​​​​​初学如何搭建hadoop环境。配置好了静态ip搭建完了hadoop分布式集群后，开始搭建Zookeeper软件，之后搭建hbase环境（https://blog.csdn.net/master_hunter/article/details/108704148）。在此领域本人有诸多不明确疑问，可能文章会有些许错误，望大家在评论区指正，本篇文章错误将会不断更正维护。项目场景：在装载了Hbase之后打算搭建数据仓库（Hive），安装完了Hive之后在安装Mysql的时候发

文章目录前言 一、Hbase是什么？ 二、使用步骤 1.下载安装 2.启动测试 总结前言本人大三大数据专业，上周​​​​​初学如何搭建hadoop环境。配置好了静态ip搭建完了hadoop分布式集群后，开始搭建Zookeeper软件，之后搭建hbase环境。在此领域本人有诸多不明确疑问，可能文章会有些许错误，望大家在评论区指正，本篇文章错误将会不断更正维护。具体参考了https://www.cnblogs.com/Genesis2018/p/830...

文章目录前言 一、Hbase是什么？ 二、安装步骤 1.下载搭建 2.启动测试 总结前言本人大三大数据专业，上周​​​​​初学如何搭建hadoop环境。配置好了静态ip搭建完了hadoop分布式集群后，开始搭建hbase环境。在此领域本人有诸多不明确疑问，可能文章会有些许错误，望大家在评论区指正，本篇文章错误将会不断更正维护。具体参考了https://www.cnblogs.com/Genesis2018/p/8304707.html这位大佬的安装步骤。...

问题描述：因为一开始hadoop1搭建的是伪分布式安装，所以所有服务都在hadoop1上开启，而开始使用分布式安装时发现secondarynamenode服务在hadoop2上启动不了原因分析：权限问题，因为我们一开始使用的是hadooop1开启的所有服务，而hdfs-site.xml中secondarynamenode中权限是hadoop1的。解决方案：vi /etc/hadoop/conf/hdfs-site.xml修改hdfs-site.xml中secondary中..

本人大三，上周​​​​​初学如何搭建hadoop环境。感觉最难处理是搭建环境的第一步将动态ip改为静态ip，不仅仅是我遇到这些问题，在工作室的朋友也都遇到过这些类似的问题。这是我自己基于问题研究归纳的一些处理方法，希望能够帮助到大家。本人虚拟机为VMware，系统为CenOS6.7问题描述：动态改为静态后ifconfig之后找不到IP地址 一般配置完静态ip可能会出现这种问题原因分析：初始时虚拟机将会动态分配一个ip给你，修改后DHCP服务起始ip可能会高于设置的静态ip。