- 博客(10)
- 收藏
- 关注
转载 HDFS入门介绍
HDFS入门介绍HDFS 介绍HDFS 是 Hadoop Distribute File System 的简称,意为:Hadoop 分布式文件系统。是 Hadoop 核心组件之一,作为最底层的分布式存储服务而存在。分布式文件系统解决的问题就是大数据存储。它们是横跨在多台计算机上的存储系统。分布式文件系统在大数据时代有着广泛的应用前景,它们为存储和处理超大规模数据提供所需的扩展能力。HDFS...
2019-01-08 18:08:51 352
转载 CDH 伪分布式环境搭建
CDH 伪分布式环境搭建第一步:上传压缩包并解压将我们重新编译之后支持snappy压缩的hadoop包上传到第一台服务器并解压第一台机器执行以下命令cd /export/softwares/mv hadoop-2.6.0-cdh5.14.0-自己编译后的版本.tar.gz hadoop-2.6.0-cdh5.14.0.tar.gztar -zxvf hadoop-2.6.0-cdh...
2019-01-08 17:55:48 465
转载 CDH版本的zookeeper环境搭建
CDH版本的zookeeper环境搭建1.下载,解压下载地址为:http://archive.cloudera.com/cdh5/cdh/5/我们这里也下载对应版本的CDH5.14.0这个版本的zookeeper的压缩包即可2.修改配置文件node01修改配置文件创建zk数据存放目录mkdir -p /export/servers/zookeeper-3.4.5-cdh5.14.0...
2019-01-08 17:40:01 3623 1
转载 CDH版本hadoop重新编译
为什么要编译hadoop由于CDH的所有安装包版本都给出了对应的软件版本,一般情况下是不需要自己进行编译的,但是由于cdh给出的hadoop的安装包没有提供带C程序访问的接口,所以我们在使用本地库(本地库可以用来做压缩,以及支持C程序等等)的时候就会出问题....
2019-01-08 17:29:47 259
转载 apache hadoop三种架构介绍(standAlone,伪分布,分布式环境介绍以及安装)
apache hadoop三种架构介绍standAlone,伪分布,分布式环境介绍以及安装1、伪分布式的运行环境:只在一台机器上面就可以运行我们的hadoopbin:存放集群运行启动以及一些管理脚本sbin:存放集群运行启动以及一些管理脚本etc/hadoop:存放的是配置文件的路径lib/native 本地库,很重要,本地库主要是用于我们的数据的压缩,支持我们的C程序访问本地库的...
2019-01-08 17:26:09 853
转载 hadoop的架构模型
hadoop的架构模型基本概念元数据:描述数据的数据元数据信息很重要,一定不能够丢失文件系统:什么是文件系统???第一个要求,能够存储数据第二个要求,能够快速查找到我们需要的文件1.x架构模型hadoop分为两大块: hdfs:分布式文件存储系统 namenode:主节点,接收处理客户端的请求,并且保存元数据信息 datanode:从节点,主要职责就是存储数据...
2019-01-08 16:32:33 188
转载 大数据环境配置浅谈四
三台机器安装JKD和zookeeper三台机器安装zookeeper1.下载或者上传zookeeeper的压缩包http://archive.apache.org/dist/zookeeper/我们在这个网址下载我们使用的zk版本为3.4.9下载完成之后,上传到我们的linux的/export/softwares路径下准备进行安装2.解压解压zookeeper的压缩包到/export...
2019-01-08 16:09:31 123
转载 大数据环境配置浅谈三
三台机器安装JKD三台机器安装jdk1.查看自带的openjdkrpm -qa | grep java2.卸载系统自带的openjdkrpm -e java-1.6.0-openjdk-1.6.0.41-1.13.13.1.el6_8.x86_64 tzdata-java-2016j-1.el6.noarch java-1.7.0-openjdk-1.7.0.131-2.6.9.0.e...
2019-01-08 15:51:56 123
转载 大数据环境配置浅谈二
大数据环境配置浅谈二大数据集群环境准备三台虚拟机关闭防火墙 service iptables stop chkconfig iptables off2. 三台机器关闭selinux vim /etc/selinux/config3. 三台机器更改主机名vim /etc/sysconfig/network4. 三台机器做主机名与IP地址的映射vi...
2019-01-08 15:24:38 181
转载 大数据环境配置浅谈一
大数据环境配置浅谈一三台虚拟机创建并联网 推荐方式:通过直接复制安装后的安装文件,然后更改mac地址与ip地址也可以实现虚拟机的快速创建 注意事项:windows系统确认所有的关于VmWare的服务都已经启动, 确认好VmWare生成的网关地址,另外确认VmNet8网卡已经配置好了IP地址将我们安装后的文件夹直接复制一份出来将我们的Centos6.9_001这个文...
2019-01-08 15:01:30 328
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人