![](https://img-blog.csdnimg.cn/20200622200716227.jpeg?x-oss-process=image/resize,m_fixed,h_224,w_224)
Hadoop
文章平均质量分 51
ss
稳哥的哥
babe babe babe wowowowowowoow~!
寒江孤影、江湖故人
展开
-
Yarn-之Container的虚拟内存检查配置
Yarn-之Container的虚拟内存检查配置<!--如果出现container启动不了,说是虚拟内存超限,那么请配置以下配置--> <property> <name>yarn.nodemanager.vmem-check-enabled</name> <value>false</value> <description>Whether virtual memory limits will be e原创 2021-05-01 17:54:27 · 878 阅读 · 0 评论 -
Hadoop-之yarn容量调度器之多队列配置与解读
Hadoop-之yarn容量调度器之多队列配置与解读前言通常来说Yarn作为一个资源管理器,可以给不同类型的Application分配资源,并合理调度job执行,Yarn支持的调度策略有3种。FIFO SCHEDULERCAPACITY SCHEDULERFAIR SCHEDULER但是默认是CAPACITY SCHEDULER容量调度器,该调度器支持多个队列,每个队列中至多同时运行1个Application(一个Hive-MR进程或者Spark进程都会为各自申请Application Ma原创 2021-01-23 22:16:44 · 1375 阅读 · 0 评论 -
Hadoop-之重要生产参数调优(yarn调度资源容量配置,namenode心跳及请求线程池大小配置)
Hadoop之-生产参数调优NameNode是HDFS的集群管理的主节点,用于处理用户请求与DataNode心跳,该节点维护一个线程池来处理这些请求,这个县城池的参数可以通过参数进行控制。vim hdfs-site.xml<!--该参数的默认值为10,也就是会初始化10个线程来处理请求--><!--官方的推荐是20*log(cluster nums),该值以对数的方式趋势进行增加--><!--The number of Namenode RPC server th原创 2021-01-11 16:02:50 · 597 阅读 · 0 评论 -
Hadoop-之性能测试(基准测试)
Hadoop-之性能测试(基准测试)Hadoop的基准测试一般是在集群搭建完成之后,在各个参数设置合理的情况下进行基准测试(有点类似于kafka的读写性能测试),基准测试比较耗时间,因为涉及到集群的性能压榨,那么下面就开始进行基准测试吧。测试内容如下。写性能IO测试读性能IO测试Mapreduce计算能力测试1 写性能测试#向HDFS写10个128M的文件,其中10根据集群的规模来测试,集群同时能跑多少个map taskhadoop jar /opt/module/hadoop-2.7.原创 2021-01-11 15:45:04 · 2113 阅读 · 1 评论 -
Hadoop-之配置LZO压缩完整手册
Hadoop-之配置LZO压缩完整手册1 前言HADOOP本身除了GIP、DEFLATE、BZIP2等压缩之外是不支持LZO压缩的,所以我们加入需要让HDFS支持LZO(一种可切分的压缩形式,压缩率也很低)压缩,我们需要引入Twitter的Hadoop-LZO,参考地址为:https://github.com/twitter/hadoop-lzo/2 hadoop-lzo的编译-构建与配置流程2.1 环境准备maven下载安装,环境变量,修改阿里云镜像gcc-c++zlib-原创 2021-01-09 16:13:12 · 460 阅读 · 1 评论 -
Hadoop-之数据均衡
Hadoop-之数据均衡操作数据的不均衡可能发生在集群的不同节点上,也可能发生在同个节点的不同磁盘上,我们为了作数据的均衡是一定会设计到数据的迁移与传输的。可能是跨节点,也可能是跨磁盘。1 节点之间的均衡hadoop默认提供数据均衡的shell脚本,访问路径如下/opt/module/hadoop-2.7.7/sbin/start-balancer.sh切记在集群空闲的时候进行操作,不然的话rpc跨节点网络传输很考费资源,可能造成集群任务长时间获取不到资源而运行失败。# start-banl原创 2021-01-09 14:25:57 · 1106 阅读 · 1 评论 -
Hadoop -之历史服务器的配置与启动&日志聚集
Hadoop -之历史服务器的配置与启动&日志聚集具体配置可以上官网搜寻:https://hadoop.apache.org/docs/r2.10.1/hadoop-mapreduce-client/hadoop-mapreduce-client-core1 history server配置开启历史服务器,我们可以在官方网址里面寻找对应的配置选项,以下是核心的配置选项,我们通过vim mapred-site.xml来进行配置<!--vim mapred-site.xml,添加下面2个选原创 2021-01-09 12:46:56 · 659 阅读 · 0 评论 -
配置Hadoop集群NTP时间同步(ntp)
Centos7 配置Hadoop集群时间同步(ntp)时间同步的方式:找一台机器,作为时间服务器,所有的机器与这台时间服务器时间进行定时的同步,比如每隔10分钟同步一次时间1 修改server ntp查看ntp是否安装[shufang@shufang101 ~]$ rpm -qa | grep ntpfontpackages-filesystem-1.44-8.el7.noarchntpdate-4.2.6p5-25.el7.centos.2.x86_64python-ntplib-0.原创 2020-11-01 02:16:41 · 2071 阅读 · 1 评论 -
MapReduce学习指南
MapReduce学习指南NOTE:如果你都懒得点开,那么你就是真的懒,嘻嘻嘻~~~原创 2020-10-27 21:04:06 · 90 阅读 · 0 评论 -
CDH-Hadoop5.12.1Parcel离线安装及部署
CDH-Hadoop5.12.1Parcel离线安装及部署简介:相比apache的hadoop、cdh版本的稳定性兼容性更好,(常见的hadoop的发行版有hdp、MapR 、EMR…)具体对比如下表:Cloudera’s distribute Apache Hadoop(cdh)cdhapache版本划分清晰、版本更新快版本管理混乱、维护困难、没有监控文档清晰...原创 2019-11-26 09:40:32 · 789 阅读 · 0 评论 -
Hadoop-WordCount
Hadoop客户端依赖 <dependencies> <dependency> <groupId>junit</groupId> <artifactId>junit</artifactId> <version>RELEA...原创 2019-09-23 13:23:53 · 221 阅读 · 0 评论