For_ZZHacker的博客

HADOOP学习—HDFS下面我来介绍一下有关hdfs的内容，话不多说，上图：

集群搭建0.设置静态ip(vim /etc/sysconfig/network-scripts/ifcfg-eth0 中配置静态ip)，ip不变有利于后面的操作，但其实变了也只需要修改hosts文件即可，这就是用计算机名的好处。关于修改网络，当虚拟机是克隆的时候会出现一个网络不通问题，原因是原来的机器本身有一个eth0的配置信息,克隆后的机器启动连接网卡后会生成的网卡名称就会为eth1,而且在...

运行的通用操作都是格式化+启动hdfs namenode -formatstart-dfs.sh完全分布式在node01节点（即NameNode节点）配置hadoop修改hdfs-site.xml配置文件 <property> <name>dfs.replication</name&am

高可用性完全分布式中需要先配置zookeeper,再启动（zkfc进程的格式化需要依赖这个）关于zookeeper,没有在hadoop安装包中下载zookeeper安装包并解压，这里以 zookeeper-3.4.12 为例。zookeeper是运行在 node02，node03 和 node04 上的，这里我们先将安装包放在node02上进行配置，配置结束后发送到 node03 和 node...

搭建好HDFS HA集群后，我们来配置客户端，用来操作HDFS HA集群首先我们选择一台客户机，任意选择，只要能与集群通信即可，这里就使用真机将集群中配置好的 hadoop 安装包拷贝到真机上配置 hadoop 的环境变量和参数HADOOP_HOME：hadoop安装包的位置PATH：%HADOOP_HOME%\binHADOOP_USER_NAME：登录集群的用户名称，只要是...

MapReduce简介MapReduce是hadoop四大组件之一（HDFS，MapReduce，YARN和Comment），是一种分布式计算编程模型，用于解决海量数据的计算问题。MapReduce思想原理MapReduce采用分而治之的思想，将大文件切割成片，然后由多个map task并行处理，处理完成后交由reduce再做合并，最后输出结果MapReduce执行过程这里我们以经典例子...

Hive简介Hive是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射成一张数据库表,并提供类SQL（HQL）查询功能，适用于离线的批量数据计算Hive本身不存储和计算数据，它完全依赖于HDFS和MapReduce，它的表其实就是一个Hadoop的目录/文件（默认存放在Hive工作目录中）Hive设计目的是让SQL技能良好，但Java技能较弱的分析师可以查询海量数据Hive本...