![](https://img-blog.csdnimg.cn/20201014180756925.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Hadoop
文章平均质量分 56
万事于足下
这个作者很懒,什么都没留下…
展开
-
hadoop集群启动和关闭脚本
开启集群:#!/bin/bash#start zookeeperssh hadoop001 "$ZOOKEEPER_HOME/bin/zkServer.sh start"ssh hadoop002 "$ZOOKEEPER_HOME/bin/zkServer.sh start"ssh hadoop003 "$ZOOKEEPER_HOME/bin/zkServer.sh start"sleep 8#start hdfs+yarn+jobhistoryssh hadoop001 "$HADO原创 2021-12-28 21:54:21 · 1235 阅读 · 0 评论 -
sqoop参数和样例
原文:https://zhuanlan.zhihu.com/p/163266351相关参数含义1.数据导入:sqoop import可通过 sqoop import --help 命令查看参数 说明普通参数–connect 指定JDBC连接字符串–connection-manager 指定连接管理器类名–connection-param-file 指定连接参数文件–driver 手动指定要使用的JDBC驱动程序类–hadoop-home 覆盖 $HADOOP_MAPR ED_HOME_AR原创 2021-10-25 19:17:53 · 486 阅读 · 0 评论 -
修改Hadoop日志格式为json
CDH只需要在页面上的配置里搜索即可,然后改成log4j.appender.RFA.layout.ConversionPattern = {"time":"%d{yyyy-MM-dd HH:mm:ss,SSS}","logtype":"%p","loginfo&am原创 2018-11-29 16:13:05 · 352 阅读 · 0 评论 -
hadoop遇到的一些问题
集群启动,总是有一个namenode启动不了(而且jobhistory也启动不了)查看日志,出现:java.io.EOFException: End of File Exception between local host is: “hadoop002/192.168.137.201”; destination host is: “hadoop002”:8020;以及另一个:ERROR o...原创 2018-09-30 16:46:57 · 998 阅读 · 0 评论 -
zookeeper和hadoop集群(伪分布式)
1.Zookeeper官网http://zookeeper.apache.org/2.安装Zookeeper解压,配置环境变量,启动根目录下bin/zkServer.sh start这里是三台虚拟机,hadoop001,hadoop002,hadoop003命令行客户端:[root@hadoop001 bin]# ./zkCli.sh (之后回车)相关命令:[zk: localh...原创 2018-09-29 22:26:48 · 732 阅读 · 0 评论 -
Hadoop和Hive配置压缩
压缩对于大数据来说BIGDATA 就是Storage + Compute(存储和计算)compressed(压缩): raw ==> reduce (原始数据减小)decompressed(解压):compressed data ==> raw (压缩数据变成原来的)好处:整个流程:hdfs ==> map ==&原创 2018-10-02 10:41:43 · 554 阅读 · 0 评论 -
HDFS详解
1.三个进程NameNode (NN): 名称节点 –》client第一个操作的对象 DataNode (DN): 数据节点 –》存储数据的 Secondary NameNode(SNN): 第二名称节点 2.block(数据块)大小: 64M 128M 参数: dfs.blocksize3.副本数dfs.replication : 3 一个块会变为3...原创 2018-08-21 21:24:44 · 543 阅读 · 0 评论 -
YARN and MapReduce的【内存】优化配置详解
在Hadoop2.x中, YARN负责管理MapReduce中的资源(内存, CPU等)并且将其打包成Container。 使之专注于其擅长的数据处理任务, 将无需考虑资源调度. 如下图所示 YARN会管理集群中所有机器的可用计算资源。基于这些资源YARN会调度应用(比如MapReduce)发来的资源请求,然后YARN会通过分配Container来给每个应用提供处理能力,...转载 2018-08-31 22:48:16 · 150 阅读 · 0 评论 -
YARN的内存和CPU配置
Hadoop YARN同时支持内存和CPU两种资源的调度,本文介绍如何配置YARN对内存和CPU的使用。YARN作为一个资源调度器,应该考虑到集群里面每一台机子的计算资源,然后根据application申请的资源进行分配Container。Container是YARN里面资源分配的基本单位,具有一定的内存以及CPU资源。在YARN集群中,平衡内存、CPU、磁盘的资源的很重要的,根据经验,每...转载 2018-08-31 22:39:14 · 176 阅读 · 0 评论 -
hadoop集群环境搭建
版本可能比较老,但步骤还是挺全的:http://www.it610.com/article/1943095.htm原创 2018-08-21 13:23:29 · 217 阅读 · 0 评论 -
linux编译Hadoop步骤
版本:系统:CentOS 6.5 Hadoop:2.8.1 JDK:1.81.hadoop源代码下载下载方式可以使用wget命令加上官方给的地址来下载,例如:wget http://mirrors.hust.edu.cn/apache/hadoop/common/hadoop-2.8.3/hadoop-2.8.3-src.tar.gzhttps://mirrors...原创 2018-03-18 18:05:42 · 1081 阅读 · 0 评论