Hadoop
Hadoop梳理
数据孤岛
这个作者很懒,什么都没留下…
展开
-
hdfs设置负载均衡
hadoop hdfs负载均衡一、hdfs dfsadmin -setBalancerBandwidth 67108864设置流量带宽为64mb二、start-balancer.sh -threshold 11可以是设置在1~100之间,1的hdfs负载均衡程度最高,花的时间也最多原创 2021-04-27 17:53:05 · 472 阅读 · 0 评论 -
hadoop为某DataNode增加磁盘空间
vmware新增一个磁盘https://www.jb51.net/article/177382.htm以及为现有磁盘扩容修改hdfs-site.xml文件,然后重启hadoop102节点原创 2021-04-12 18:11:57 · 392 阅读 · 0 评论 -
CDH 版本hadoop 配置自定义容量调度器
YARN的三种调度规则(scheduling rule)FIFOCapacitySchedulerFairSchedulerCapacityScheduler调度器是hadoop Apache 版默认的调度器FairScheduler是cdh默认调度器如果要把cdh版本资源调度器修改成容量调度器CapacityScheduler则配置HADOOP_HOME/etc/hadoop/capacity-scheduler.xml的内容如下新加一个hive的调度器<configuration原创 2021-03-31 16:36:14 · 640 阅读 · 0 评论 -
大数据中的相关压缩
压缩比一般是越小越好,但是压得越小,解压时间越长。所以bzip2的压缩文件最小,但是解压慢,snappy的压缩速率最快,解压速度和lzo差不多,但是snappy不支持分片,lzo支持分片工作中lzo最流行,snappy用的也多Hadoop可以在输入端,中间数据和输出数据段进行压缩例如:添加配置core-site.xml并同步core-site.xml到其他机器<?xml version="1.0" encoding="UTF-8"?><?xml-stylesheet ..原创 2020-12-15 23:44:07 · 220 阅读 · 0 评论 -
Hadoop配置LZO压缩(编译好的jar直接用)
1)hadoop本身并不支持lzo压缩,需要我们编译,过程复杂,这里直接提供编译好的jar包链接:https://pan.baidu.com/s/1L5S9geY7fSg1_ToNaTYsEg 提取码:vfaa 复制这段内容后打开百度网盘手机App,操作更方便哦2)将编译好后的hadoop-lzo-0.4.20.jar 放入hadoop260/share/hadoop/common/3)把hadoop-lzo-0.4.20.jar发送到到hadoop02、hadoop03相同目录下4)为had原创 2020-12-12 23:10:18 · 884 阅读 · 2 评论 -
Hadoop上配置snappy压缩格式(最简单的做法)
因为Hive自身没有snappy格式,所以我们需要自行添加网上好多教程需要重新编译hadoop,非常麻烦,这里直接提供编译好的native文件链接:https://pan.baidu.com/s/1yVy7a6_v4hjkA-WrLQr2AA 提取码:uaih 复制这段内容后打开百度网盘手机App,操作更方便哦将下载好的hadoop-2.7.2.tar文件放到linux下解压就能用,如果已经安装好hadoop又不想删除,则将hadoop-2.7.2/lib/native下的所有文件拷贝到自己ha原创 2020-10-25 16:19:41 · 1624 阅读 · 0 评论 -
Linux下搭建高可用Hadoop集群详解
下载hadoop的Linux安装包原创 2020-08-24 21:14:11 · 424 阅读 · 0 评论 -
ZooKeeper的安装配置详解
解压文件到/opt/bigdata/hadoop,照着图中代码修改文件名,创建软链接如果zookeeper中光标闪动则软链接创建成功修改配置文件在zkdata创建一个myid文件加1,2,3,4,我在主机,所以加1,如果在第二个虚拟机加2,以此类推修改配置文件激活配置文件在其他虚拟机搭建zookeeper注意远程拷贝完,要在相应虚拟机修改相应myid的数值完成后source /etc/profile激活配置文件输入命令zkServer.sh ..原创 2020-08-23 23:29:36 · 141 阅读 · 0 评论 -
hadoop伪分布式集群搭建详细图解
先把四台虚拟机之间打通免密登录,如果不清楚如何进行免密登录可以看这篇Linux中root用户之间的免密登录把hadoop-2.6.0-cdh5.14.2.tar.gz和hadoop-native-64-2.6.0.tar通过xftp传到vmmaster这个虚拟机主机/opt/install/hadoop中将hadoop-2.6.0-cdh5.14.2.tar.gz加压到opt/bigdata/hadoop中tar -zxf hadoop-2.6.0-cdh5.14.2.tar.gz .原创 2020-08-18 18:56:29 · 514 阅读 · 0 评论