xgs960528的博客

原创 关于导入MAVEN项目报错的解决方法

导入MAVEN项目报错的解决方法错误：Plugin org.apache.maven.plugins:maven-compiler-plugin:3.1 or one of its dependencies could not be resolved: Failed to read artifact descriptor for org.apache.maven.plugins:maven-co...

原创 Hive的搭建方式与区别

Hive的搭建方式与区别Local（mysql）的搭建1、将apache-hive-1.2.1-bin.tar.gz文件上传到node01节点，解压tar -zxvf apache-hive-1.2.1-bin.tar.gz2、修改配置文件（1）先修改文件名 将hive-default.xml.template 修改为hive-site.xml路径：cd /opt/software/...

原创 MapReduce的基本知识

MapReduce1、MapReduce的介绍         MapReduce是一个简易的用来写应用程序的软件框架，基于它写出来的应用程序能够运行在由上千个商用机器组成的大型集群上，它以可靠容错的方式并行的处理海量的数据。2、MapReduce的原理案列：假设有三个工人去三个山头伐木，山上

原创 yarn环境搭建

环境搭建1、准备工作首先搭建一个高可用的完全分布式可以参照：https://blog.csdn.net/xgs960528/article/details/830203932、配置文件（1）在node01 node02 node03 node04的 /opt/software/hadoop-2.6.5/etc/hadoop/ 目录下 将mapred-site.xml.template文件...

原创 使用eclipse视图操作HDFS：

使用eclipse操作HDFS操作步骤1、首先你要搭建好一个高可用的完全分布式，搭建方法参考：https://blog.csdn.net/xgs960528/article/details/830203932、配置Hadoop插件先找到eclipse的文件位置，在文件下添加dropins,在dropins目录下创建plugins文件夹，在文件夹里导入hadoop-eclipse-plugi...

原创 初学HDFS分布式存储心得

初学HDFS分布式存储心得对于HDFS存储原理的理解对于分布式存储，拆开就是分布式和存储。首先说分布式，顾名思义，不会把所有的数据放在一起，要分开保存。保存数据的服务器就是所谓的datanode,存储数据的节点。很多台的服务器可以放在一个机架上，机架就是有服务器搭建起来的一个集体。为什么要提到机架？对于数据的保存，首先要考虑的是安全性，将数据备份可以防止数据的丢失。一般的我们将数据备份两份就可...

原创 高可用的完全分布式搭建方法

高可用的完全分布式搭建：准备：1.四台虚拟机，命名为node01/node02/node03/node04，关闭防火墙2.JDK/HADOOP/ZOOKEEPER安装包搭建步骤：1.时间同步（1）各个节点安装ntp命令 yum install ntp（2）上网查找最新的时间服务器 ntp1.aliyun.com（3）同步时间 ntpdata ntp1.aliyun.com2.配置...

原创 HDFS基本操作

HDFS操作上传文件hdfs dfs -put src… dest（src本地文件 dest虚拟机的文件目录）hdfs dfs -copyFromLocal src… desthdfs dfs -moveFromLocal src… dest将本地文件移动到HDFS中创建新目录：hdfs dfs -mkdir /test(目录)级联创建 hdfs dfs -mkdir -p /t...

原创 百度脑图 分布式存储（HDFS）思维导图

原创 三种搭建集群的模式

搭建集群的模式有三种: 1、伪分布式 node01在一台服务器上，启动多个进程,分别表示各个角色 2、完全分布式 在多台服务器上,每台服务器启动不同角色的进程,使用多台服务器组成HDFS集群 node01 : namenode node02 : secondarynamenode datanodenode03 : datanode block副本数+自己本...

原创 分布式存储 HDFS原理

大数据基础知识一、什么是大数据短时间内快速产生的海量的多种多样的有价值的数据。大数据的技术：1、分布式存储：2、分布式计算：1)分布式批处理： 当数据积累一定的时间后（假设一个月），进行统一的处理。2)分布式流处理分布式流处理是一个实时的处理。即数据生成后立即处理。例子： 11.11天猫大屏幕 QQ实时在线的分布情况3、机器学习凡是预测类的都是机器学习。分布...