- 博客(10)
- 收藏
- 关注
RSS订阅转载 HDFS入门介绍
HDFS入门介绍HDFS 介绍HDFS 是 Hadoop Distribute File System 的简称，意为：Hadoop 分布式文件系统。是 Hadoop 核心组件之一，作为最底层的分布式存储服务而存在。分布式文件系统解决的问题就是大数据存储。它们是横跨在多台计算机上的存储系统。分布式文件系统在大数据时代有着广泛的应用前景，它们为存储和处理超大规模数据提供所需的扩展能力。HDFS...
2019-01-08 18:08:51
343
转载 CDH 伪分布式环境搭建
CDH 伪分布式环境搭建第一步：上传压缩包并解压将我们重新编译之后支持snappy压缩的hadoop包上传到第一台服务器并解压第一台机器执行以下命令cd /export/softwares/mv hadoop-2.6.0-cdh5.14.0-自己编译后的版本.tar.gz hadoop-2.6.0-cdh5.14.0.tar.gztar -zxvf hadoop-2.6.0-cdh...
2019-01-08 17:55:48
458
转载 CDH版本的zookeeper环境搭建
CDH版本的zookeeper环境搭建1.下载，解压下载地址为：http://archive.cloudera.com/cdh5/cdh/5/我们这里也下载对应版本的CDH5.14.0这个版本的zookeeper的压缩包即可2.修改配置文件node01修改配置文件创建zk数据存放目录mkdir -p /export/servers/zookeeper-3.4.5-cdh5.14.0...
2019-01-08 17:40:01
3597
1
转载 CDH版本hadoop重新编译
为什么要编译hadoop由于CDH的所有安装包版本都给出了对应的软件版本，一般情况下是不需要自己进行编译的，但是由于cdh给出的hadoop的安装包没有提供带C程序访问的接口，所以我们在使用本地库（本地库可以用来做压缩，以及支持C程序等等）的时候就会出问题....
2019-01-08 17:29:47
230
转载 apache hadoop三种架构介绍（standAlone，伪分布，分布式环境介绍以及安装）
apache hadoop三种架构介绍standAlone，伪分布，分布式环境介绍以及安装1、伪分布式的运行环境：只在一台机器上面就可以运行我们的hadoopbin：存放集群运行启动以及一些管理脚本sbin：存放集群运行启动以及一些管理脚本etc/hadoop：存放的是配置文件的路径lib/native 本地库，很重要，本地库主要是用于我们的数据的压缩，支持我们的C程序访问本地库的...
2019-01-08 17:26:09
841
转载 hadoop的架构模型
hadoop的架构模型基本概念元数据：描述数据的数据元数据信息很重要，一定不能够丢失文件系统：什么是文件系统？？？第一个要求，能够存储数据第二个要求，能够快速查找到我们需要的文件1.x架构模型hadoop分为两大块： hdfs：分布式文件存储系统 namenode：主节点，接收处理客户端的请求，并且保存元数据信息 datanode：从节点，主要职责就是存储数据...
2019-01-08 16:32:33
176
转载 大数据环境配置浅谈四
三台机器安装JKD和zookeeper三台机器安装zookeeper1.下载或者上传zookeeeper的压缩包http://archive.apache.org/dist/zookeeper/我们在这个网址下载我们使用的zk版本为3.4.9下载完成之后，上传到我们的linux的/export/softwares路径下准备进行安装2.解压解压zookeeper的压缩包到/export...
2019-01-08 16:09:31
117
转载 大数据环境配置浅谈三
三台机器安装JKD三台机器安装jdk1.查看自带的openjdkrpm -qa | grep java2.卸载系统自带的openjdkrpm -e java-1.6.0-openjdk-1.6.0.41-1.13.13.1.el6_8.x86_64 tzdata-java-2016j-1.el6.noarch java-1.7.0-openjdk-1.7.0.131-2.6.9.0.e...
2019-01-08 15:51:56
115
转载 大数据环境配置浅谈二
大数据环境配置浅谈二大数据集群环境准备三台虚拟机关闭防火墙 service iptables stop chkconfig iptables off2. 三台机器关闭selinux vim /etc/selinux/config3. 三台机器更改主机名vim /etc/sysconfig/network4. 三台机器做主机名与IP地址的映射vi...
2019-01-08 15:24:38
168
转载 大数据环境配置浅谈一
大数据环境配置浅谈一三台虚拟机创建并联网 推荐方式:通过直接复制安装后的安装文件，然后更改mac地址与ip地址也可以实现虚拟机的快速创建 注意事项:windows系统确认所有的关于VmWare的服务都已经启动， 确认好VmWare生成的网关地址，另外确认VmNet8网卡已经配置好了IP地址将我们安装后的文件夹直接复制一份出来将我们的Centos6.9_001这个文...
2019-01-08 15:01:30
294
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人