- 博客(57)
- 收藏
- 关注
RSS订阅原创 3、Hive的DDL、DML、分区、分桶、查询实战
1、Hive的DDL语法操作1.1、Hive数据库DDL操作（1）创建数据库create database db_hive2;` `或者` `create database if not exists db_hive;数据库在HDFS上的默认存储路径/user/hive/warehouse/*.db（2）显示所有数据库show databases;（3）查询数据库show ...
2020-01-20 09:42:21
840
原创 2、Hive安装教程详解
1.准备hive安装包自行按照1.1教程提示下载hive的安装包1.1 下载hive下载地址 打开下载地址后，如下图点击apache-hive-1.2.2-bin.tar.gz 下载1.2 上传hvie安装包基于我们之前的环境安装情况已经可以了解到我们已经在node1上部署了namenode，resourcemanager，secondarynamenode等比较重要的进程；node...
2020-01-19 14:09:04
3401
原创 1、Hive架构原理与核心概念
1、 Hive核心概念和架构原理1.1、 Hive概念Hive由FaceBook开发，用于解决海量结构化日志的数据统计。Hive是基于Hadoop的数据仓库工具，可以将结构化数据映射为一张表，提供类似SQL语句查询功能本质：将Hive SQL转化成MapReduce程序。1.2、Hive与数据库的区别对变项Hive数据库软件查询语言HQLSQL数据...
2020-01-08 09:28:36
220
原创 markdown转成word或者pdf
利用typora软件1、登陆官网下载软件**官网地址：**https://typora.io/点击download根据自己的电脑下载64位或者32位2、安装软件安装界面如下：3、转换3.1首先用typora打开mackdown文件点击文件——打开，如下图所示：3.2、另存为word文件或者pdf文件选择另存为word或者pdf格式...
2019-12-28 16:20:36
279
原创 9、ZooKeeper安装教程
1、环境准备1.1下载zooKeeper 查阅hadoop2.7.3的文档我们可以看到hadoop2.7.3在搭建高可用的时候使用的是zookeeper-3.4.2版本，所以我们也按照hadoop官网的提示，接下来我们安装zookeeper-3.4.2版本.进入官网下载ZooKeeper3.4.2版本 官网地址：https://zookeeper.apache.org/点击Dow...
2019-12-19 13:16:49
486
原创 ZooKeeper启动报错：My id 3 not in the peer list
错误描述：解决方法：查看zookeeper-3.4.2/conf目录下编辑zoo.cfg文件发现第三行有问题修改
2019-12-19 11:51:39
2003
原创 8、Yarn系统架构与原理详解
文章目录1、Yarn介绍2、Yarn架构2.1 、ResourceManager2.2 、ApplicationMaster2.3 、NodeManager2.4 、Container2.5 、Resource Request 及 Container2.6 、JobHistoryServer2.7、Timeline Server3、yarn应用运行原理3.1、yarn应用提交过程3.2、mapre...
2019-12-17 16:05:57
699
原创 7、MapReduce自定义排序实现
MapReduce中，根据key进行分区、排序、分组MapReduce会按照基本类型对应的key进行排序，如int类型的IntWritable，long类型的LongWritable,Text类型，默认升序排序为什么要自定义排序规则？现有需求，需要自定义key类型，并自定义key的排序规则，如按照人的salary降序排序，若相同，则再按age升序排序以Text类型为例：Text类...
2019-12-13 13:51:00
548
原创 6、MapReduce自定义分区实现
MapReduce自带的分区器是HashPartitioner原理：先对map输出的key求hash值，再模上reduce task个数，根据结果，决定此输出kv对，被匹配的reduce任务取走。自定义分分区需要继承Partitioner，复写getpariton()方法自定义分区类：注意：map的输出是<K,V>键值对其中int partitionIndex = dic...
2019-12-11 15:54:10
364
原创 2、Hdfs架构与原理分析
1.Hadoop架构Hadoop由三个模块组成：分布式存储HDFS、分布式计算MapReduce、资源调度引擎Yarn2.HDFS体系架构2.1NameNode NameNode负责：文件元数据信息的操作以及处理客户端的请求 NameNode管理：HDFS文件系统的命名空间NameSpace。 NameNode维护：文件系统树（FileSystem）以及文件树中所有的文件...
2019-12-10 19:28:33
587
原创 Yarn报错：Exception message: /bin/bash: line 0: fg: no job control
Exception message: /bin/bash: line 0: fg: no job control这个错误是 本地idea跨平台远程调试hadoop集群出现的，在使用windows调用Hadoop yarn平台的时候都会出现类似的错误方法一： 去把集群中的mapred-site配置添加mapreduce.app-submission.cross-platformtrue...
2019-12-04 11:18:45
601
原创 3、MapReduce详解与源码分析
1 Split阶段 首先，接到hdf文件输入,在mapreduce中的map task开始之前，将文件按照指定的大小切割成若干个部分，每一部分称为一个split，默认是split的大小与block的大小相等，均为128MB。split大小由minSize、maxSize、blocksize决定，以wordcount代码为例，以下是main()方法进入waitForCompletio...
2019-12-03 13:08:02
391
原创 5、Window端实现Mapreduce程序完成wordcount功能
（1）Maper类public class WordCountMap extends Mapper<LongWritable, Text, Text, IntWritable> { public void map(LongWritable key, Text value, Context context) throws IOException, Int...
2019-12-03 13:05:20
283
原创 Yarn报错：Could not find any valid local directory for nmPrivate/
原因：yarn.nodemanager.local-dirs和hadoop的hadoop.tmp.dir参数对应文件位置不一致解决办法：将hdfs-site.xml中hadoop.tmp.dir属性和yarn-site.xml中的yarn.nodemanager.local-dirs属性设置为相同路径示例hdfs-site.xml<property> <...
2019-12-02 17:11:16
1179
原创 Hadoop报错:org.apache.hadoop.security.AccessControlException: Permission denied: user=xxxx
解决方法：System.setProperty(“HADOOP_USER_NAME”,“hadoop2.7”);Hadoop2.7是有权限的永华
2019-12-02 15:41:17
274
原创 4、Intelij+Maven搭建Hadoop项目
1创建工程点击project——Maven——next2通过maven导入项目依赖jar包（1）设置maven自动导入依赖jar包勾选 Import Maven projects automatically,点击apply(2)配置pom.xml文件pom.xml配置文件如下：<?xml version="1.0" encoding="UTF-8"?><...
2019-11-26 14:24:37
149
原创 1、腾讯云搭建Hadoop3集群
1主机名和IP配置1.1主机名1.首先使用root用户名和root密码分别登录三台服务器2.分别在三台虚拟机上执行命令:hostnamectl set-hostname node1hostnamectl set-hostname node2hostnamectl set-hostname node33.分别在三台服务器上执行logout1.2 IP设置systemctl rest...
2019-11-22 16:13:06
638
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人