![](https://img-blog.csdnimg.cn/20201014180756928.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
hadoop
山顶看数据
这个作者很懒,什么都没留下…
展开
-
Join中数据倾斜问题解决
Join中数据倾斜问题解决问题描述:就是在一个reducer任务中累加的数量过大,而在另一个reducer任务累加的数量较少,这样就造成了数据倾斜[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-F2hcOloM-1632316508589)(/Users/lifuwei/Library/Application Support/typora-user-images/image-20210918215036327.png)][外链图片转存失败,源站可能有防盗链机制,建议将图原创 2021-09-22 21:15:31 · 645 阅读 · 0 评论 -
mapreduce对类的实例化——流量统计
mapreduce对类的实例化——流量统计import org.apache.hadoop.io.Writable;import java.io.DataInput;import java.io.DataOutput;import java.io.IOException;public class FlowBean implements Writable { long upflow; long downflow; long sumflow; //这里之所以会这样原创 2021-09-21 19:13:21 · 129 阅读 · 0 评论 -
Hadoop——zookeeper
Hadoop——zookeeperzookeeper的目录结构说明:底层实际上是由一个树形的数据结构组成zookeeper的特点1. 我们的服务是需要分别在三台服务器启动:zkServer.sh需要在3台机器分别实行2. zookeeper是分为一个leader对应多个follower3. 最然我们通过zkCli.sh连接到zkServer集群中的任意的一个服务,但是他们的数据其实全局**同步**的。意思就是我在一个zkServer添加一个znode,其他的zkServer都有。4. 主从复制,原创 2021-09-16 23:26:52 · 268 阅读 · 0 评论 -
Hadoop——Yarn
Hadoop——YarnResourceManager管理整个yarn集群的主节点作用:1. 接受客户端的任务请求;2. 接收和监控Nodemanager的资源汇报情况;3.负责资源的分配和调整;4.启动ApplicationMaster。它是全局的资源管理器,整个集群中只有“一个”,负责集群资源的统一管理和分配Nodemanager整个yarn集群的从节点。作用:1. 启动Container运行task。2. 上报资源(container的情况、task处理情况);整个集群中有多原创 2021-09-16 23:23:46 · 189 阅读 · 0 评论 -
Hadoop组件——HDFS
Hadoop组件——HDFSnamenode Namenode是HDFS中的主节点,它的作用是负责管理整个文件系统的元数据。 元数据:管理数据的数据即为元数据。datanode Datanode是HDFS中的从节点,它的作用是负责管理用户的文件的数据块(block)。在hadoop2中,一个文件会被切成若干的block,每个快的大小为128M。hadoop3.0的时候快的256M。每一个块会有多个副本,这些被存放在不同datanode节点之中。datanode会定期的向nameno原创 2021-09-15 20:00:59 · 290 阅读 · 0 评论 -
Hadoop前期准备
Linux1、安装Vmware2、安装Centos73、配置ip信息1、2步略3、进入配置文件如果在本地ip地址配置文件是这样的vi /etc/sysconfig/network-scripts/ifcfg-ens33如果配置文件是云服务器//以下是云服务器BOOTPROTO=dhcp //网络参数配置,设置ip地址问静态的,这样就可以固定自己的ip//bootp是个协议DEVICE=eth0//设备号HWADDR=52:54:00:e5:63:e1//mac地址ONBO原创 2021-09-11 12:00:57 · 232 阅读 · 0 评论 -
shell打印99乘法表
//这个比较好理解但是不建议用#!/bin/bashfor((i=1;i<10;i++))do for((j=1;j<($i+1);j++)) do echo -n "$j x $i = $(($i*$j)) " done echodone进阶版的99乘法表#!/bin/bashfor i in `seq 9`do for j in `seq 9` do [ $j -le $i ] && echo -n "原创 2021-09-13 10:22:03 · 115 阅读 · 0 评论 -
JAVA-API-HDFS
JAVA-API-HDFS方法一:较为简单的import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.FileSystem;import org.apache.hadoop.fs.Path;import org.junit.Before;public class Demo1 { FileSystem fs = null; //初始化客户端对象 @Before public vo原创 2021-09-15 19:44:36 · 85 阅读 · 0 评论