![](https://img-blog.csdnimg.cn/20201014180756930.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Hadoop
Forever_ck
热爱编程,喜欢和朋友交流,享受寻找新技术的乐趣!
展开
-
Hadoop集群启动报错(已解决!)
在Hadoop集群启动时,报错如下:错误原因:Kafka 中莫名出现大量日志文件,导致磁盘空间不足解决办法:查找日志过大文件,删除重启即可。查找大于 200M的日志文件命令find / -size +200M -exec du -h {} \;...原创 2018-12-27 19:59:17 · 1006 阅读 · 0 评论 -
深入浅出大数据之HBase
一、HBase概述HBase是一个分布式的、面向列的开源数据库,该技术来源于 Fay Chang 所撰写的Google论文“Bigtable:一个结构化数据的分布式存储系统”。就像Bigtable利用了Google文件系统(File System)所提供的分布式数据存储一样,HBase在Hadoop之上提供了类似于Bigtable的能力。HBase是Apache的Hadoop项目的子项目。HBa...原创 2018-12-03 18:00:33 · 355 阅读 · 0 评论 -
超详细的 Hadoop集群时间同步
电脑重装了系统,需要重新搭建一个Hadoop集群,就在时间同步的时候,发现网上很多关于时间同步的步骤都不能用,就自己整理了一份,特来分享给大家:一、同步互联网时间,并修改时区依次执行如下命令; 1.1 ntpdate.ntp.api.bz 1.2 tzselect 1.3 cp /usr/share/zoneinfo/Asia/Shanghai /etc/localtime 1.4 ...原创 2018-12-03 12:23:12 · 1959 阅读 · 1 评论 -
Zookeeper 集群一键启动、关闭脚本
不得不说,懒在某方面也促进了人类技术的发展。。。由于测试集群的时候,Zookeeper 集群启动非常不方便,所以就简单写了个脚本,上篇还写了一个Kafka集群的脚本,想了解的朋友可以去看看:https://blog.csdn.net/Forever_ck/article/details/84677819这里把zk脚本分享给大家:因为是简单测试,所以就随便搭了三台服务器的,大家根据自己的情况...原创 2018-12-01 22:14:52 · 759 阅读 · 0 评论 -
MapReduce中的HelloWorld,安排一下?
相信绝大多数程序员在看到 HelloWorld这个词的时候,总会情不自禁的翘起嘴角吧!虽然早已离开了校园,但每每看到这个词,我总会自然而然地想起曾经和我的那群“狐朋狗友”在大学里肆无忌惮敲代码的日子。。。似乎有点跑题了(尴尬脸),看了上篇的原理,是不是手痒,想来操作一下了!https://blog.csdn.net/Forever_ck/article/details/84589932下面我...原创 2018-11-28 19:26:48 · 646 阅读 · 0 评论 -
关于MapReduce详细工作流程,你真的都知道吗??
毫无疑问,Hadoop 里面最复杂的是MapReduce,那么今天咱们就来看看它的整体工作流程:怎么样?是不是懵了?简单说下我的理解:上面的流程是整个 mapreduce 最全工作流程,但是 shuffle 过程只是从第 7 步开始到第16 步结束,具体 shuffle 过程详解,如下:1) maptask收集我们的 map()方法输出的 kv对,放到内存缓冲区中2) 从内存缓冲区不...原创 2018-11-28 18:20:52 · 413 阅读 · 0 评论 -
日志收集之 Flume 详细介绍
今天给大家介绍个日志处理的工具。一、Flume简介Flume 提供一个分布式的,可靠的,对大数据量的日志进行高效收集、聚集、移动的服务,Flume 只能在 Unix 环境下运行。Flume 基于流式架构,容错性强,也很灵活简单。Flume、Kafka 用来实时进行数据收集,Spark、Storm 用来实时处理数据,impala 用来实时查询。二、Flume中的角色2....原创 2018-11-30 19:01:34 · 215 阅读 · 0 评论 -
MapReduce调优
一、在调优之前,我们需要清楚以下两个问题:MapReduce为什么跑的慢?MapReduce程序的瓶颈是什么?二、MapReduce程序效率的瓶颈可以概括为以下两点:2.1:计算机性能(即硬件)CPU、内存、磁盘健康、网络状况2.2:I/O操作优化1. 数据倾斜2. map和reduce数设置不合理3. map运行时间太长,导致reduce等待时间过长4. 小文件过多5....原创 2018-12-04 21:40:06 · 405 阅读 · 0 评论 -
关于Hadoop集群中使用SSH免密登录的详细操作!
很多时候,在我们操作不同的虚拟机时,常常因为一些需要密码的操作,因此,各虚拟机之间的免密设置必不可少。那么这篇我们就来介绍关于虚拟机之间配置SSH免密操作的详细流程!准备条件:两台以上的虚拟机,因为想要给大家介绍关于Hadoop集群的搭建,所以我这边准备了三台虚拟机,分别为: hadoop01,hadoop02,hadoop03闲话少叙,开始咯:重点:你要确保你有操作权限,这一点一定要记得!...原创 2018-11-26 20:20:09 · 665 阅读 · 0 评论 -
大数据Hadoopx之HDFS模块中那些你可能不知道的小知识!
再给大家分享一些小知识,一起来瞧瞧吧!一、namenode & secondarynamenode 1)namenode启动(namenode格式化时会创建fsimage,edits两个文件,如果不是第一次启动,会直接加载这两个文件到内存)。 2)secondarynamenode向namenode发出请求执行checkpoint(默认是一个小时请求执行一次,或者操作达到一百万...原创 2018-11-24 09:50:23 · 208 阅读 · 0 评论 -
大数据Hadoop之HDFS模块《二》
上篇我们介绍了hdfs的一些概念和优缺点那么我们这篇便来说说hdfs的读写流程和一些常用的命令: 《一》读写流程 一、hdfs 读流程(下载文件) 1) client向namenode发出下载请求,namenode查询元数据信息,找到文件块所在的datanode,返回给client。 2) client从返回的datanode中选择(就近原则,再随机)一...原创 2018-11-24 09:15:05 · 251 阅读 · 0 评论 -
论软连接的作用
搭建一个Hadoop集群,为了方便就随手写了一个一键操作集群脚本如下:#!/bin/bashpcount=$#if((pcount==0));thenecho no args;exit;fiecho -------------localhost----------params=$@host=1for((host=1; host<=3; host++)); doecho ...原创 2019-04-22 09:18:24 · 2317 阅读 · 0 评论