hadoop
Source_00
这个作者很懒,什么都没留下…
展开
-
Hadoop完全分布式环境搭建(一)——Linux系统安装及JDK安装
一、创建3台主机1.安装虚拟机:VMwareStation2.新建3台服务器,并进行主机名和网络配置1)打开VmwareStation,点击新建虚拟机->下一步->稍后安装操作系统->下一步选择Linux,centos->下一步,设置虚拟机名字和位置->下一步选一个处理器一核就行->内存最少1G->网络设置先选择net模式,后期可以设置->控制器磁盘...原创 2018-04-04 19:45:42 · 904 阅读 · 0 评论 -
虚拟机时间同步
Centos6.5 本来设置了时间同步,但是配置完成后不仅时间不同步,还和正确时间不同,于是再寻找办法,使得每台虚拟机都与网络时间同步,从而达到集群时间同步的目的。以下是参考其他博客总结出来的步骤:一、安装vmtools首先VMWare中选择Settings > VMWare Tools Install.使用root用户执行以下操作:1、安装必要的工具套件:[ root@maste...原创 2018-11-03 20:14:05 · 2582 阅读 · 0 评论 -
Hadoop采坑小记
一 eclipse 上传文件到hdfs报错:java.io.IOException: Could not get block locations. Source file "/1108/daxian/banzhang/kafka_2.12-2.0.0.tgz" - Aborting... at org.apache.hadoop.hdfs.DataStreamer.setupPipeline...原创 2018-10-20 17:10:18 · 1788 阅读 · 0 评论 -
集群部署重新规划
由于之前已经搭建好的集群中master职务过于多,会造成效率降低,故将NameNode、SecondaryNameNode、和ResourceManager 分开部署到三个节点上。masterslaver1slaver2slaver3slaver4slalver5HDFSNameNodeDateNodeSecondaryNameNode DateNodeDat...原创 2018-10-16 21:41:42 · 363 阅读 · 0 评论 -
xsync 集群同步脚本
scp 和rsync均是远程拷贝,rsync 远程分发xsync 集群分发脚本循环复制文件到所有节点相同的目录下新建一个脚本touch xsync.shvim xsync.sh#!/bin/bash# $#:表示传递给脚本或函数的参数个数。#1 获取输入参数个数,如果没有参数,直接退出pcount=$#if((pcount==0)); thenecho no args...原创 2018-10-16 20:24:02 · 4753 阅读 · 0 评论 -
插件编译
ant jar -Dhadoop.version=2.8.5 -Declipse.home=D:\jee-oxygen\eclipse -Dhadoop.home=D:\hadoop-2.8.5cd I:\hadoop2x-eclipse-plugin-master\src\contrib\eclipse-plugin原创 2018-10-18 15:57:14 · 296 阅读 · 0 评论 -
spark2.3.1 安装过程
1.安装scalarexport SCALA_HOME=/usr/local/scala/scala-2.12.7export PATH=$PATH:$SCALA_HOME/bin验证:scala -versionscp -r spark slave1:/usr/local/vim /etc/profile2.下载sparkexport SPARK_HOME=/usr/l...原创 2018-10-12 08:26:36 · 936 阅读 · 0 评论 -
Kafka_2.12-2.0.0 安装过程
1.下载kafka_2.12-2.0.0.tgz,并上传到/usr/local/kafka/目录下解压并删除安装包2.配置修改每台服务器的config/server.propertiescd /usr/local/kafka/kafka_2.12-2.0.0/configvim server.properties 修改几个地方:broker.id: 唯一,填数字,本文中分别为1...原创 2018-10-13 19:59:25 · 2386 阅读 · 0 评论 -
IDEA 配置Hadoop 环境
1 下载Intellij idea1.1 windows 下安装Mavenhttps://www-eu.apache.org/dist/maven/maven-3/3.3.9/binaries/下载并解压到目录:D:\apache-maven-3.3.9配置环境变量添加MAVEN_HOME在path中加入路径:测试:新建一个文件夹作为仓库D:\MavenRepositor...原创 2018-10-13 12:04:10 · 2831 阅读 · 0 评论 -
Hadoop2.8.5 安装过程
1 下载hadoop安装版本:CentOS7 Hadoop2.8.5 JDK1.8说明:Hadoop从版本2开始加入了Yarn这个资源管理器,Yarn并不需要单独安装。只要在机器上安装了JDK就可以直接安装Hadoop,单纯安装Hadoop并不依赖Zookeeper之类的其他东西。下载Hadoop:http://www-eu.apache.org/dist/hadoop/common/...原创 2018-10-12 19:23:25 · 5237 阅读 · 0 评论 -
Hbase 1.2.5安装过程
1 下载和解压1.1 下载Hbase可以在Hadoop集群的某些机器(一台也可以,例如选择namenode节点来安装)上安装,也可以全部机器上都安装。Hbase是依赖Hadoop和Zookeeper的,所以在安装Hbase之前,请先安装Hadoop和Zookeeper。在官网 http://mirror.bit.edu.cn/apache/hbase/stable/ 下载 hbase-1....原创 2018-10-12 09:46:42 · 773 阅读 · 0 评论 -
Zookeeper3.4.10 安装过程
1 对Zookeeper集群进行配置在本集群的每个节点上都安装Zookeeper,再修改配置为集群1.1解压安装1.1.1解压下载zookeeper-3.4.10.tar.gz,上传到目录/usr/local/zookeeper解压,删除安装包tar zookeeper-3.4.10.tar.gzrm -rf zookeeper-3.4.10.tar.gz进入目录 /usr/lo...原创 2018-10-12 08:53:06 · 890 阅读 · 0 评论 -
配置Hive
首先明确几点:Hive是数据仓库(DW),Hbase是数据库(DB) Hive是基于hdfs的,数据存储为hdfs上的文本内容(类似表的二维结构),而不是RDBMS的一张张二维数据表。但是Hive屏蔽了这些,对用户而言,就可以看做是一张张的二维表 Hive只需要安装在集群中的任何一台机器上即可,不需要所有机器都安装 Hive是支持JDBC的,尽管不是支持JDBC的所有特性,但是大多数是可...原创 2018-07-17 11:11:11 · 759 阅读 · 0 评论 -
【MapReduce】OutPutFormat(自定义OutputFormat实例)
OutputFormatOutputFormat 是 MapReduce 输出的基类,所有实现 MapReduce 输出都实现了OutputFormat 接口。下面我们介绍几种常见的 OutputFormat 实现类。1)文本输出 TextOutputFormat默认的输出格式是 TextOutputFormat,它把每条记录写为文本行。它的键和值可以是任 意类型,因为 TextOutput...原创 2018-11-26 18:59:37 · 484 阅读 · 0 评论