2017年03月_天心有情

12月 11月 10月 09月 08月 07月 05月 03月 02月

原创 Name node is in safe mode.（NameNode处于安全模式）

当我给自己的程序打包，然后放入Hadoop中运行时出现异常17/03/29 22:38:37 INFO client.RMProxy: Connecting to ResourceManager at master/172.18.63.28:803217/03/29 22:38:37 WARN mapreduce.JobResourceUploader: Hadoop command-lin

2017-03-29 22:50:29 15310 5

原创 zookeeper集群安装详解（Centos系统）

Zookeeper集群安装一、什么是Zookeeper？Zookeeper是一个分布式的开放源码的分布式应用程序协调服务，是Hadoop和Hbase的重要组件，它是一个为分布式应用提供一致性服务的软件，提供的功能包括：配置维护、域名服务、分布式同步、组服务等。二、安装Zookepeer1、下载Zookeeper官网下载地址为（http://apache.fayea.com/zo

2017-03-24 20:53:44 463

原创 Hive简介

1、Hive的起源Hive起源于Facebook（一个美国的社交服务网络）。Facebook有着大量的数据，而Hadoop是一个开源的MapReduce实现，可以轻松处理大量的数据。但是MapReduce程序对于Java程序员来说比较容易写，但是对于其他语言使用者来说不太方便。此时Facebook最早地开始研发Hive，它让对Hadoop使用SQL查询（实际上SQL后台转化为了MapReduc

2017-03-22 15:39:08 7781

原创图解hive运行机制

Hive是构建在Hadoop之上的数据仓库平台，它的创造是为了让非Java程序员更方便使用MapReduce它的架构如下图所示：它的运行流程如下图：Hive创建的表的元信息存在于结构型数据库之内（这个数据库可以是自带的Derby数据库也可以是用户自己安装的数据库），而表中的内容存在于HDFS之中，用户输入SQL语句之后进行编译，然后在模板库找到对应的模板组装，最后交给Y

2017-03-18 14:18:52 4147

原创 Hive中连接方式小结

连接方式可以分为一下几种等值连接不等值连接外连接（又可分为左外连接和右外连接）自连接（确切的来说自连接应该是程序员的一种技巧）等值连接和不等值连接需要使用到的数据和表--emp表-------------------------create table emp(deptno int, id int, name string, sal int )row for...

2017-03-15 18:48:33 2807

原创 hive函数分类列举加实例

最近学习hive，发现它的内置函数好多，想要一下子记住是很难的，所以本人对做了一些总结分类和总结--数学函数----------------------------------------------------------------------------round----四舍五入select round(53.123,2),round(53.123,1),roun

2017-03-13 18:10:11 581

原创 mapreduce只用map来处理数据小案例，减少reduce一端数据倾斜

mapreduce一般是由map和reduce分工合作来完成任务，但有时map分区之后数据不一致导致数据倾斜，某一个reduce任务负载过大，运行速度减慢。本案例以map代替reduce的工作来解决数据倾斜问题。源码如下： package MR_mapside_join;import java.io.BufferedReader;import java.io.FileIn

2017-03-08 17:05:23 1764

原创 Hive内嵌模式和本地模式安装方法详解

Hive有三种模式（内嵌模式、本地模式、远程模式）内嵌模式：内嵌derby数据库（一个会话连接，常用于简单测试）它的安装方法如下：1、下载hive（下载之前一定要去官网http://hive.apache.org/downloads.html看看安装的hadoop版本和hive版本兼容表，找到适合自己的那一款）下载地址：http://mirror.bit.edu.cn/apache/hiv

2017-03-07 22:55:14 6280 1

原创图解mapreduce程序在YARN中执行机制

小白自学，如有错误，希望指点1、申请提交一个Application2、rm返回给yarnrnnner一个路径和id3，yarnrunner提交运行所需文件4、申请运行mr appmaster5、封装请求为task对象6、task对象经过调度算法处理后分配任务7、下载资源到本地、创建容器运行maptask8、申请运行maptask的资源9、领取任务，创建容器运行m

2017-03-06 20:38:55 526

原创 hadoop入门程序wordcount 解析

文件一package hadooptext;import java.io.IOException;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.FileSystem;import org.apache.hadoop.fs.Path;import org.apache

2017-03-04 14:11:56 567

原创 hadoop集群运行wordcount步骤

1：准备工作安装配置hadoop集群2：开启hadoop集群命令start-all.sh也可以用start-dfs.sh和start-yarn.sh两条命令来完成3：创建需要给单词计数的文件eg：mkdir /aaa然后建立这个文件vim aaa/inputword查看该文件的内容，如果没有写则自己写一段话4：在hdfs中建立文件输入文件夹had

2017-03-02 15:11:24 1844

winutils.zip

Failed to locate the winutils binary in the hadoop binary path 如果没有winutil.exe这个文件在运行hadoop程序的时候肯定报错，每次换开发环境都要找一下这个winutil文件，这次打包一下记录下来，从hadoop2.6到hadoop3.0，所有的winutils都在这了

2019-06-12

hadoop，spark，hbase，zookeeper，kafka配置文件

hadoop，spark，hbase，zookeeper，kafka配置文件。例如： <?xml version="1.0" encoding="UTF-8"?> <?xml-stylesheet type="text/xsl" href="configuration.xsl"?>   <configuration> <property> <name>fs.defaultFS</name> <value>hdfs://master:9000</value> </property> <property> <name>hadoop.tmp.dir</name> <value>file:/home/bigData/bigdata/hadoop/tmp</value> </property> </configuration>

2017-10-12

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人