![](https://img-blog.csdnimg.cn/20201014180756928.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
hadoop学习笔记
So.j
这个作者很懒,什么都没留下…
展开
-
hadoop学习笔记(六)Flume安装部署
Flume安装部署Flume安装及配置2.2 Flume 入门案例Flume安装及配置将 apache-flume-1.7.0-bin.tar.gz 上传到 linux 的/opt/software 目录下解压 apache-flume-1.7.0-bin.tar.gz 到/opt/module/目录下tar -zxvf apache-flume-1.7.0-bin.tar.gz -C /opt/module/修改文件名mv apache-flume-1.7.0-bin flume-1.7.原创 2020-12-07 14:46:29 · 793 阅读 · 0 评论 -
hadoop学习笔记(五)Hive安装部署
Hive安装部署Hive 安装及配置配置已经完成, 在此处启动hadoop集群Hive 常用命令将本地文件导入 Hive 案例安装MySqlHive 元数据配置到 MySqlHive 安装及配置下载地址:https://pan.baidu.com/s/1_7g8Bw85Nw03t40H67sLfQ提取码: gj4n把 apache-hive-1.2.1-bin.tar.gz 上传到 linux 的/opt/software 目录下解压 apache-hive-1.2.1-bin.tar.gz原创 2020-11-27 17:37:13 · 114 阅读 · 0 评论 -
hadoop学习笔记(四)常用的调优参数
常用的调优参数资源相关参数mapred-default.xmlyarn-default.xmlmapred-default.xml容错相关参数(MapReduce性能优化)资源相关参数mapred-default.xml以下参数是在用户自己的MR应用程序中配置就可以生效(mapred-default.xml)配置参数参数说明mapreduce.map.memory.mb一个MapTask可使用的资源上限(单位:MB),默认为1024。如果MapTask实际使用的资源量超过该值,原创 2020-11-27 10:00:45 · 151 阅读 · 0 评论 -
hadoop学习笔记(三)分布式环境搭建
分布式模式配置准备工作集群配置核心配置在集群上分发配置好的Hadoop配置文件查看文件分发情况SSH无密码登陆配置群起集群准备工作准备3台客户机(关闭防火墙、静态ip、主机名称、hsots)安装JDK配置环境变量安装Hadoop配置环境变量配置集群单点启动配置ssh群起并测试集群CentOS7使用集群同步脚本对配置文件同步分发参考 https://www.cnblogs.com/mwcloud/p/11350617.htmlscp(secure copy)安全拷贝scp原创 2020-11-20 14:53:00 · 94 阅读 · 0 评论 -
hadoop学习笔记(二)伪分布式模式配置
伪分布式模式配置启动HDFS并运行MapReduce程序配置集群启动集群查看集群启动YARN并运行MapReduce程序配置集群启动HDFS并运行MapReduce程序使用的虚拟机系统为CentOS7jdk版本: jdk1.8.0_144hadoop版本: hadoop-2.7.2下载地址关闭防火墙firewall-cmd --statesystemctl stop firewalld.servicesystemctl disable firewalld.service 配置集群(a原创 2020-11-19 17:14:51 · 197 阅读 · 0 评论 -
hadoop学习笔记(一)环境搭建
安装环境环境版本说明具体步骤环境版本说明使用的虚拟机系统为CentOS7jdk版本: jdk1.8.0_144hadoop版本: hadoop-2.7.2下载地址具体步骤在/opt目录下创建目录 module , softwarecd /opt mkdir software mkdir module 上传安装包到software目录加压软件安装包tar -zxvf jdk-8u144-linux-x64.tar.gz /opt/module/tar -zxvf hadoop-2原创 2020-11-18 14:39:54 · 109 阅读 · 0 评论