![](https://img-blog.csdnimg.cn/20200509163616526.jpg?x-oss-process=image/resize,m_fixed,h_224,w_224)
Hadoop
文章平均质量分 60
MR.史,个人博客,学习总结。
Mr.史
MR.史,个人博客,学习总结。
展开
-
hadoop搭建常见错误及解决方案
集群搭建常见错误及其解决方案。原创 2022-08-06 17:16:16 · 1076 阅读 · 0 评论 -
大数据-Hadoop概论
文章目录大数据概论1、大数据概念2、大数据特点1、Volume (大量)2、Velocity (高速)3、Variety (多样)4、Value (低价值密度)3、大数据应用场景4、大数据部门业务流程分析5、大数据部门组织机构Hadoop1、Hadoop是什么?2、Hadoop发展史3、Hadoop三大发行版本1、Apache Hadoop2、Cloudera Hadoop3、Hortonworks Hadoop4、Hadoop优势5、Hadoop组成(面试重点)1、Hadoop1.x和Hadoop2.x区原创 2020-05-09 16:27:59 · 789 阅读 · 0 评论 -
Hadoop之虚拟机准备
文章目录1、虚拟机环境准备方式1:新建虚拟机:1. 创建虚拟机2. 关闭防火墙3. 配置虚拟机的静态IP4. 创建atguigu用户5. 配置atguigu用户具有root权限6. 修改主机名7. 在/opt目录下创建文件夹方式2:克隆虚拟机1、克隆虚拟机2、关闭防火墙3、创建atguigu用户4、在/opt目录下创建module,software两个文件夹,并修改所属用户和所属组修改为atgui...原创 2020-05-08 16:37:32 · 752 阅读 · 2 评论 -
hbase hmaster启动后闪退-----解决
问题:2019-10-10 19:49:37,799 FATAL [master:16000.activeMasterManager] master.HMaster: Unhandled exception. Starting shutdown.java.net.ConnectException: Call From master/172.16.1.2 to master:9000 faile...原创 2019-11-12 08:55:26 · 1727 阅读 · 3 评论 -
hadoop查看各个节点的脚本
一、在/usr/bin目录下创建一个util.sh文件(文件名随便起)在/usr/bin目录下创建的原因是因为,此目录在环境变量下,当然你也可以在任何一个环境变量下的目录里创建#!/bin/bashfor i in hadoop@master hadoop@slave1 hadoop@slave2do echo "=============== $i ====.........原创 2019-11-10 11:42:42 · 1865 阅读 · 0 评论 -
Linux修改永久主机名(只需三步)
一、修改主机名hostnamectl set-hostname 'new name'二、修改/etc/hostsvi /etc/hosts添加内容如下ip+hostname三、修改/etc/sysconfig/networkvi /etc/sysconfig/network添加内容如下四、最后可用hostname查看验证是否修改成功hostname下次开机这里([...原创 2019-11-10 10:52:06 · 5963 阅读 · 0 评论 -
hadoop伪分布式搭建
文章目录一、前提二、解压安装包即可三、配置环境变量四、配置文件五、启动hadoop一、前提已配置Java环境变量二、解压安装包即可三、配置环境变量sudo vi /etc/profile##HADOOP_HOMEexport HADOOP_HOME=/opt/module/hadoop-2.6.0export PATH=$PATH:$HADOOP_HOME/binexport ...原创 2019-11-09 09:16:12 · 149 阅读 · 0 评论 -
FATAL Fatal error during KafkaServer startup. Prepare to shutdown 解决方法
问题[2019-11-10 18:23:00,228] FATAL Fatal error during KafkaServer startup. Prepare to shutdown (kafka.server.KafkaServer)kafka.common.InconsistentBrokerIdException: Configured broker.id 1 doesn’t mat...原创 2019-11-08 21:57:32 · 14566 阅读 · 0 评论 -
spark搭建
文章目录Standalone 模式JobHistoryServer 配置HA 配置Standalone 模式1、进入 spark 安装目录下的 conf 文件夹 cd spark/conf/ 2、修改配置文件名称 mv slaves.template slaves mv spark-env.sh.template spark-env.sh 3、修改 slave 文件,添加 wo...原创 2019-11-03 19:33:08 · 157 阅读 · 0 评论 -
hadoop HA完全分布式部署
一、配置Zookeeperhttps://blog.csdn.net/weixin_43671437/article/details/102736020二、集群规划masterslave1slave2NameNodeNameNodeJournalNodeJournalNodeJournalNodeDataNodeDataNodeDataNode...原创 2019-11-03 11:18:32 · 365 阅读 · 0 评论 -
hadoop进入退出安全模式
进入安全模式[root@master hadoop]# bin/hdfs dfsadmin -safemode enter19/11/03 05:24:20 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where ...原创 2019-10-31 18:45:13 · 705 阅读 · 0 评论 -
Spark+Scala完全分布式集群搭建过程
Scala2.11.8环境搭建1、下载scala安装包scala-2.11.8.rpm安装rpm -ivh scala-2.11.8.rpm 2、添加Scala环境变量,在/etc/profile中添加:export SCALA_HOME=/usr/share/scalaexport PATH=$SCALA_HOME/bin:$PATH3、保存后刷新配置source /etc/p...原创 2019-10-29 22:40:50 · 543 阅读 · 0 评论 -
hadoop集群分发脚本
文章目录一、scp拷贝二、 rsync 远程同步工具三、 xsync集群分发脚本一、scp拷贝案例:将hadoop102上的module发送到hadoop103上scp -r /opt/module root@hadoop103:/opt/二、 rsync 远程同步工具rsync主要用于备份和镜像。具有速度快、避免复制相同内容和支持符号链接的优点。rsync和scp区别:用rsync............原创 2019-10-28 15:51:06 · 1408 阅读 · 0 评论 -
hadoop 配置日志的聚集
配置日志的聚集一、相关概念日志聚集概念:应用运行完成以后,将程序运行日志信息上传到HDFS系统上。日志聚集功能好处:可以方便的查看到程序运行详情,方便开发调试。注意:开启日志聚集功能,需要重新启动NodeManager 、ResourceManager和HistoryManager。二、开启日志聚集功能:1. 配置yarn-site.xml[root@master hadoop] v...原创 2019-10-27 10:37:53 · 306 阅读 · 0 评论 -
hadoop配置历史服务器
hadoop配置历史服务器1、配置 mapred-site.xml[root@master hadoop-2.7.2]# vi mapred-site.xml在该文件里面增加如下配置。<!-- 历史服务器端地址 --><property><name>mapreduce.jobhistory.address</name><valu...原创 2019-10-27 09:54:02 · 221 阅读 · 0 评论 -
Linux笔记整理(hadoop)
Linux基础命令开机重启mysql服务: systemctl enable mysqld修改主机名: hostnamectl set-hostname '新主机名’生成秘钥文件:ssh-keygen -t rsa复制文件到其他主机:ssh-copy-id master查找MySQL临时密码(第一次登陆):grep ‘temporary password’ /var/log/mysqld...原创 2019-10-27 09:19:42 · 104 阅读 · 0 评论 -
Oozie安装部署——完全分布式
Oozie安装部署完成后Oozie目录下会出现hadooplibs目录。3.2.3 在Oozie目录下创建libext目录[atguigu@hadoop102 oozie-4.0.0-cdh5.3.6]$ mkdir libext/3.2.4 拷贝依赖的Jar包1)将hadooplibs里面的jar包,拷贝到libext目录下:[atguigu@hadoop102 oozie-4.0....原创 2019-10-25 14:06:37 · 341 阅读 · 0 评论 -
Sqoop安装部署——完全分布式
Sqoop安装部署前提安装Sqoop的前提是已经具备Java和Hadoop的环境。安装sqoop-1.4.6下载地址:http://mirrors.hust.edu.cn/apache/sqoop/1.4.6/下载完直接解压到你喜欢的目录下即可部署1、 修改配置文件,(sqoop/conf)(1) 重命名配置文件[root @master conf]# mv sqoop-en...原创 2019-10-25 10:59:53 · 1079 阅读 · 0 评论 -
kafka安装部署——完全分布式
前提hadoop集群已开启zookeeper集群已开启zookeeper集群配置可参考此链接https://blog.csdn.net/weixin_43671437/article/details/102736020kafka安装安装下载 kafka_2.11-0.11.0.0直接解压即可下载地址http://kafka.apache.org/downloads.html ...原创 2019-10-25 10:12:13 · 503 阅读 · 0 评论 -
zookeeper安装部署——完全分布式
完全分式安装部署1、集群规划在master、slave1,slave2三个节点部署zookeeper2、安装下载zoopkeeper-3.4.10直接解压,注意此处为大写C[root@master opt]# tar -zxvf zoopkeeper-3.4.10 -C /usr/local/src/3、部署(1)在zookeeper目录下创建一个zkData文件夹(文件名...原创 2019-10-25 08:06:06 · 341 阅读 · 0 评论 -
hive连接mysql(Hive 元数据配置到 MySql)
Hive 元数据配置到 MySql一、配置mysqlMySql 中 user 表中主机配置配置只要是 root 用户+密码,在任何主机上都能登录 MySQL 数据库。1、进入MySQL数据库并使用mysql数据库use mysql; 2、展示 user 表的结构desc user; 3、查询 user 表select User, Host, Password from use...原创 2019-10-25 08:04:51 · 1752 阅读 · 0 评论 -
hive安装部署——完全分布式
Hive安装部署一、Hive 安装1、下载地址 http://archive.apache.org/dist/hive/2、直接解压即可二、Hive配置1、修改 apache-hive-1.2.1-bin.tar.gz 的名称为 hive [root@master module]$ mv apache-hive-1.2.1-bin/ hive 2、修改 hive/conf 目录下的...原创 2019-10-24 21:49:28 · 817 阅读 · 0 评论 -
HBase安装部署——完全分布式
HBase安装部署安装部署前提hadoop集群已部署启动zookeeper集群已部署启动HBase安装下载安装 hbase-1.3.1部署1、配置hbase-env.shexport JAVA_HOME=/usr/local/src/jdk1.6.0_144 export HBASE_MANAGES_ZK=false 2、配置hbase-site.xml<config...原创 2019-10-24 20:53:24 · 320 阅读 · 0 评论 -
flume安装部署——完全分步式
flume安装部署1 、安装地址flume-1.7.0http://archive.apache.org/dist/flume/2、部署(1)解压 apache-flume-1.7.0-bin.tar.gz 到/usr/local/src/目录下[root@master software]# tar -zxf apache-flume-1.7.0bin.tar.gz -C /usr/l...原创 2019-10-24 20:29:20 · 430 阅读 · 0 评论 -
zookeeper安装部署——完全分步式
完全分式安装部署1、集群规划在master、slave1,slave2三个节点部署zookeeper2、安装下载zoopkeeper-3.4.10直接解压,注意此处为大写C[root@master opt]# tar -zxvf zoopkeeper-3.4.10 ==-C== /usr/local/src/3、部署(1)在zookeeper目录下创建一个zkData文件夹...原创 2019-12-19 07:47:30 · 189 阅读 · 0 评论 -
hadoop完全分布式的安装部署
hadoop完全分布式安装部署前提1、准备3台客户机(关闭防火墙、静态ip、主机名称)2、安装JDK3、配置环境变量4、安装Hadoop5、配置环境变量6、配置集群7、单点启动8、配置ssh9、群起并测试集群本博客只有hadoop完全分布式的“配置集群”:,其他内容可参考本博主的其他博客hadoop安装官网下载hadoop2.7.6安装包然后直接解压文件即可hadoo...原创 2019-10-24 18:47:12 · 352 阅读 · 1 评论 -
hadoop 集群时间同步
集群时间同步时间同步的方式:找一个机器,作为时间服务器,所有的机器与这台集群时间进行定时的同步,比如,每隔十分钟,同步一次时间。分析hadoop102 为主节点hadoop103、hadoop104为分节点配置时间同步具体操作:1、时间服务器配置(必须在root用户)(1)检查是否安装ntp()rpm -qa | grep ntp若有这三个文件则已安装ntp-4.2.6p5......原创 2019-10-24 10:14:36 · 2012 阅读 · 0 评论 -
hadoop SSH无密登录配置
SSH无密登录配置1. 配置ssh(1)基本语法ssh另一台电脑的ip地址(2)ssh连接时出现Host key verification failed的解决方法[atguigu@hadoop102 opt] $ ssh 192.168.1.103The authenticity of host '192.168.1.103 (192.168.1.103)' can't be es...原创 2019-10-23 13:10:10 · 245 阅读 · 0 评论