Hadoop环境安装

已于 2024-02-20 16:46:19 修改
阅读量165 收藏
点赞数
分类专栏： 大数据 文章标签： 大数据 hadoop
于 2021-08-09 19:09:17 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_44002865/article/details/119447135
版权

Hadoop分布式环境

文章目录

0、前期准备

创建普通用户

# 创建 fzk 用户
useradd fzk
# 修改 fzk 用户的密码
passwd fzk
# 配置 fzk 用户具有 root 权限，方便后期加 sudo 执行 root 权限的命令（/etc/sudoers文件，%wheel 下面添加）
fzk     ALL=(ALL)       NOPASSWD:ALL



ssh免密登录

参考文档：https://blog.csdn.net/u010698107/article/details/119079821

# 生成公钥和私钥
ssh-keygen -t rsa

# 将公钥拷贝到要免密登录的目标机器上
ssh-copy-id hadoop152



1、分布式基本环境搭建

集群部署规划

hadoop151hadoop152hadoop153
HDFSNameNode
DataNode
DataNode		SecondaryNameNode
DataNode
YARN
NodeManager		ResourceManager
NodeManager
NodeManager



环境搭建步骤

  • 第一步：准备 3 台客户机（关闭防火墙、静态 IP、主机名称）

    192.168.37.151 hadoop151
    192.168.37.152 hadoop152
    192.168.37.153 hadoop153

  • 第二步：安装 JDK 、安装 Hadoop 、配置环境变量

  • 第三步：修改配置文件

    • hadoop-env.sh 、core-site.xml 、hdfs-site.xml 、yarn-site.xml 、mapred-site.xml 、workers 、hdfs

    • etc/hadoop/hadoop-env.xml

      export JAVA_HOME=/opt/software/jdk/jdk1.8.0_281
export HDFS_NAMENODE_USER=root
export HDFS_DATANODE_USER=root
export HDFS_SECONDARYNAMENODE_USER=root
export YARN_RESOURCEMANAGER_USER=root
export YARN_NODEMANAGER_USER=root
export HADOOP_SECURE_DN_USER=root

    • etc/hadoop/core-site.xml

      <configuration>
    <!-- 指定 NameNode 的地址 -->
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://hadoop151:8020</value>
    </property>
    <!-- 指定 hadoop 数据的存储目录 -->
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/opt/software/hadoop/data</value>
    </property>
    <!-- 配置 HDFS 网页登录使用的静态用户为 root -->
    <property>
        <name>hadoop.http.staticuser.user</name>
        <value>root</value>
    </property>
</configuration>

    • etc/hadoop/hdfs-site.xml

      <configuration>
    <!-- NameNode web 端访问地址-->
    <property>
        <name>dfs.namenode.http-address</name>
        <value>hadoop151:9870</value>
    </property>
    <!-- SecondaryNameNode web 端访问地址-->
    <property>
        <name>dfs.namenode.secondary.http-address</name>
        <value>hadoop153:9868</value>
    </property>
</configuration>

    • etc/hadoop/yarn-site.xml

      <configuration>
    <!-- 指定 MapReduce 走 shuffle -->
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
    <!-- 指定 ResourceManager 的地址-->
    <property>
        <name>yarn.resourcemanager.hostname</name>
        <value>hadoop152</value>
    </property>
    <!-- 环境变量的继承 -->
    <property>
        <name>yarn.nodemanager.env-whitelist</name>
        <value>JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_MAPRED_HOME</value>
    </property>
</configuration>

    • etc/hadoop/mapred-site.xml

      <configuration>
    <!-- 指定 MapReduce 程序运行在 Yarn 上 -->
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
</configuration>

    • etc/hadoop/workers

      hadoop151
hadoop152
hadoop153

    • bin/hdfs

      // 将 HADOOP_SHELL_EXECNAME="hdfs" 改成
HADOOP_SHELL_EXECNAME="root"



启动集群

  • 第一步：如果集群是第一次启动，需要在 hadoop151 节点格式化 NameNode
    • 命令：hdfs namenode -format
    • 注意：格式 化 NameNode，会产生新的集群 id，导致 NameNode 和 DataNode 的集群 id 不一致，集群找不到已往数据。如果集群在运行过程中报错，需要重新格式化 NameNode 的话，一定要先停止 namenode 和 datanode 进程，并且要删除所有机器的 data 和 logs 目录，然后再进行格式化。
  • 第二步：在配置了NameNode节点的机器上启动HDFS
    • 命令：sbin/start-dfs.sh
  • 第三步：在配置了ResourceManager节点的机器启动YARN没
    • 命令：sbin/start-yarn.sh
  • 第四步：Web 端查看 HDFS 的 NameNode
    • http://192.168.37.151:9870
  • 第五步：Web 端查看 YARN 的 ResourceManager
    • http://192/168.37.152:8088





2、配置历史服务器和日志的聚集

环境搭建

  • 第一步：搭建出分布式基本环境

  • 第二步：在 /etc/hadoop/mapred-site.xml 中添加以下配置，并将改文件复制到另外两个主机中

    	<!-- 历史服务器端地址 -->
    <property>
        <name>mapreduce.jobhistory.address</name>
        <value>hadoop151:10020</value>
    </property>
    <!-- 历史服务器 web 端地址 -->
    <property>
        <name>mapreduce.jobhistory.webapp.address</name>
        <value>hadoop151:19888</value>
    </property>

  • 第三步：在 /etc/hadoop/yarn-site.xml 中添加以下配置，并将改文件复制到另外两个主机中

        <!-- 开启日志聚集功能 -->
    <property>
        <name>yarn.log-aggregation-enable</name>
        <value>true</value>
    </property>
    <!-- 设置日志聚集服务器地址 -->
    <property>
        <name>yarn.log.server.url</name>
        <value>http://hadoop151:19888/jobhistory/logs</value>
    </property>
    <!-- 设置日志保留时间为 7 天 -->
    <property>
        <name>yarn.log-aggregation.retain-seconds</name>
        <value>604800</value>
    </property>



启动

  • 在配置了JobHistory节点的机器上启动
    • mapred --daemon start historyserver
  • Web 端查看 JobHistory
    • http://192.168.37.151:19888/jobhistory




3、集群启动/停止方式总结

各个模块分开启动/停止（配置ssh 是前提）

  • 整体启动/停止 HDFS
    • start-dfs.sh
    • stop-dfs.sh
  • 整体启动/停止 YARN
    • start-yarn.sh
    • stop-yarn.sh



各个服务组件逐一启动/停止

  • 分别启动/停止 HDFS 组件
    • hdfs --daemon start/stop namenode/datanode/secondarynamenode
  • 启动/停止 YARN
    • yarn --daemon start/stop resourcemanager/nodemanager
  • 启动/停止 JobHistory
    • mapred --daemon start/stop historyserver




4、编写 Hadoop 集群常用脚本

Hadoop 集群启停脚本

  • 启动HDFS，Yarn，Historyserver：myhadoop.sh

    #!/bin/bash
if [ $# -lt 1 ]
then
    echo "No Args Input..."
    exit ;
fi

case $1 in
"start")
    echo " =================== 启动 hadoop 集群 ==================="
    echo " --------------- 启动 hdfs ---------------"
    ssh hadoop151 "start-dfs.sh"
    echo " --------------- 启动 yarn ---------------"
    ssh hadoop152 "start-yarn.sh"
    echo " --------------- 启动 historyserver ---------------"
    ssh hadoop151 "mapred --daemon start historyserver"
    ;;
"stop")
    echo " =================== 关闭 hadoop 集群 ==================="
    echo " --------------- 关闭 historyserver ---------------"
    ssh hadoop151 "mapred --daemon stop historyserver"
    echo " --------------- 关闭 yarn ---------------"
    ssh hadoop152 "stop-yarn.sh"
    echo " --------------- 关闭 hdfs ---------------"
    ssh hadoop151 "stop-dfs.sh"
    ;;
*)
	echo "Input Args Error..."
	;;
esac



查看三台服务器 Java 进程脚本

  • jps：jpsall.sh

    #!/bin/bash
for host in hadoop151 hadoop152 hadoop153
do
    echo =============== $host ===============
    ssh $host jps 
done




5、常用端口号说明

端口名称Hadoop2.xHadoop3.x
NameNode 内部通信端口8020 / 90008020 / 9000 / 9820
NameNode HTTP UI500709870
MapReduce 查看执行任务端口80888088
历史服务器通信端口1988819888





6、高可用环境搭建（HA）

集群规划

hadoop151hadoop152hadoop153
NameNodeNameNodeNameNode
JournalNodeJournalNodeJournalNode
DataNodeDataNodeDataNode
ZKZKZK
ResourceManagerResourceManager
NodeManagerNodeManagerNodeManager



配置 HDFS-HA 集群

  • 第一步：core-site.xml 配置文件内容

        <!-- 把NameNode的地址组装成一个集群mycluster -->
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://mycluster</value>
    </property>
    <!-- 指定hadoop运行时产生文件的存储目录 -->
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/opt/software/hadoop/hadoop-3.1.4/data/tmp</value>
    </property>
    <!-- 声明journalnode服务器存储目录-->
    <property>
        <name>dfs.journalnode.edits.dir</name>
        <value>/opt/software/hadoop/hadoop-3.1.4/data/tmp/journalnode</value>
    </property>

  • 第二步：hdfs-site.xml 配置文件内容

        <!-- 完全分布式集群名称 -->
    <property>
        <name>dfs.nameservices</name>
        <value>mycluster</value>
    </property>
    <!-- 集群中NameNode节点都有哪些 -->
    <property>
        <name>dfs.ha.namenodes.mycluster</name>
        <value>nn1,nn2,nn3</value>
    </property>
    <!-- nn1,nn2,nn3的RPC通信地址 -->
    <property>
        <name>dfs.namenode.rpc-address.mycluster.nn1</name>
        <value>hadoop151:8020</value>
    </property>
    <property>
        <name>dfs.namenode.rpc-address.mycluster.nn2</name>
        <value>hadoop152:8020</value>
    </property>
    <property>
        <name>dfs.namenode.rpc-address.mycluster.nn3</name>
        <value>hadoop153:8020</value>
    </property>
    <!-- nn1,nn2,nn3的http通信地址 -->
    <property>
        <name>dfs.namenode.http-address.mycluster.nn1</name>
        <value>hadoop151:9870</value>
    </property>
    <property>
        <name>dfs.namenode.http-address.mycluster.nn2</name>
        <value>hadoop152:9870</value>
    </property>
    <property>
        <name>dfs.namenode.http-address.mycluster.nn3</name>
        <value>hadoop153:9870</value>
    </property>
    <!-- 指定NameNode元数据在JournalNode上的存放位置 -->
    <property>
        <name>dfs.namenode.shared.edits.dir</name>
        <value>qjournal://hadoop151:8485;hadoop152:8485;hadoop153:8485/mycluster</value>
    </property>
    <!-- 访问代理类：client，mycluster，active配置失败自动切换实现方式-->
    <property>
        <name>dfs.client.failover.proxy.provider.mycluster</name>
        <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
    </property>
    <!-- 关闭权限检查（公司是不允许关闭的，公司需要配置，具体配置参考官网） -->
    <property>
        <name>dfs.permissions.enable</name>
        <value>false</value>
    </property>
    <!-- 配置隔离机制，即同一时刻只能有一台服务器对外响应 -->
    <property>
        <name>dfs.ha.fencing.methods</name>
        <value>sshfence</value>
    </property>
    <!-- 使用隔离机制时需要ssh无秘钥登录-->
    <property>
        <name>dfs.ha.fencing.ssh.private-key-files</name>
        <value>/root/.ssh/id_rsa</value>
    </property>

  • 第三步：将 core-site.xml 和 hdfs-site.xml 两个文件分发的其他机器上，scp

  • 第四步：在所有集群中启动 JournalNode

    • hdfs --daemon start journalnode

  • 第五步：在其中一个节点中格式化 NameNode

    • hdfs namenode -format

  • 第六步： 将NameNode元数据目录的内容复制到其他未格式化的NameNode

    • hdfs namenode -bootstrapStandby

  • 第七步：在所有节点中启动 NameNode 和 DataNode

    • hdfs --daemon start namenode
    • hdfs --daemon start datanode

  • 第八步：将其中一个节点设为 Active 状态（例如将 nn1 设为 Active状态）

    • hdfs haadmin -transitionToActive nn1



配置Zookeeper集群

在hadoop151、hadoop152和hadoop153三个节点上部署Zookeeper

  • 第一步：安装jdk

  • 第二步：拷贝Zookeeper文件到Linux并解压

  • 第三步：在Zookeeper安装目录下创建 zkData 目录，目的是存储数据

  • 第四步：在 zkData 目录下创建 myid 文件，目的是为了区分Zookeeper

    • hadoop151、hadoop152、hadoop153 三台集群的 myid 文件里分别写入 1、2、3

  • 第四步：将**/Zookeeper安装路径/conf**路径下的 zoo_sample.cfg 文件拷贝一份为 zoo.cfg 并修改

    # 修改数据存储路径配置
dataDir=/zookeeper安装路径/zkData

# 添加Zookeeper集群配置
# 格式：server.A=B:C:D
# A是一个数字，集群模式下配置文件myid的数字，表示这个是第几号服务器
# B是这个服务器的ip地址
# C是这个服务器与集群中的Leader服务器交换信息的端口
# D是集群的Leader服务器挂了，重新选出新的Leader，选举时服务器相互通信的端口
server.1=hadoop151:2888:3888
server.2=hadoop152:2888:3888
server.3=hadoop153:2888:3888

  • 第五步：将整个安装的 zookeeper目录分发到 hadoop152和hadoop153机器上

  • 第六步：将 hadoop151、hadoop152、hadoop153 三台集群的 myid 文件的数字分别改成 1、2、3

  • 第七步：在三台机器上分别启动Zookeeper

    • bin/zkServer.sh start

  • 第八步：查看状态，一台机器状态为 Mode: leader，另外两台机器状态为 Mode: follower

    • bin/zkServer.sh status



配置 HDFS-HA 集群

  • 第一步：在 hdfs-site.xml 添加配置内容

        <!-- 开启自动故障转移 -->
    <property>
        <name>dfs.ha.automatic-failover.enabled</name>
        <value>true</value>
    </property>

  • 第二步：在 core-site.xml 添加配置内容

        <!-- 指定自动故障转移的集群配置 -->
    <property>
        <name>ha.zookeeper.quorum</name>
        <value>hadoop151:2181,hadoop152:2181,hadoop153:2181</value>
    </property>

  • 第三步：hadoop-env.sh 配置文件

    export JAVA_HOME=/opt/software/jdk/jdk1.8.0_281
export HDFS_NAMENODE_USER=root
export HDFS_DATANODE_USER=root
export HDFS_SECONDARYNAMENODE_USER=root
export YARN_RESOURCEMANAGER_USER=root
export YARN_NODEMANAGER_USER=root
export HADOOP_SECURE_DN_USER=root
export HDFS_ZKFC_USER=root
export HDFS_JOURNALNODE_USER=root

  • 第四步：将 core-site.xml 、 hdfs-site.xml 、hadoop-env.sh 三个文件分发的其他机器上，scp

  • 第五步：在三台机器上分别启动Zookeeper

    • bin/zkServer.sh start

  • 第六步：初始化 ZKFC

    • hdfs zkfc -formatZK

  • 第七步：启动集群

    • start-dfs.sh

  • 第八步：查看进程是否都启动了，六个进程

    Jps
QuorumPeerMain
NameNode
DataNode
JournalNode
DFSZKFailoverController



配置 YARN-HA 集群

  • 第一步：yarn-site.sh 配置

        <!-- 指定 MapReduce 走 shuffle -->
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
    <!--启用ResourceManager ha-->
    <property>
        <name>yarn.resourcemanager.ha.enabled</name>
        <value>true</value>
    </property>
    <!--声明两台ResourceManager的地址-->
    <property>
        <name>yarn.resourcemanager.cluster-id</name>
        <value>cluster1</value>
    </property>
    <property>
        <name>yarn.resourcemanager.ha.rm-ids</name>
        <value>rm1,rm2</value>
    </property>
    <property>
        <name>yarn.resourcemanager.hostname.rm1</name>
        <value>hadoop151</value>
    </property>
    <property>
        <name>yarn.resourcemanager.hostname.rm2</name>
        <value>hadoop152</value>
    </property>
    <property>
        <name>yarn.resourcemanager.webapp.address.rm1</name>
        <value>hadoop151:8088</value>
    </property>
    <property>
        <name>yarn.resourcemanager.webapp.address.rm2</name>
        <value>hadoop152:8088</value>
    </property>
    <!--指定zookeeper集群的地址-->
    <property>
        <name>hadoop.zk.address</name>
        <value>hadoop151:2181,hadoop152:2181,hadoop153:2181</value>
    </property>
    <!--启用自动恢复--> 
    <property>
        <name>yarn.resourcemanager.recovery.enabled</name>
        <value>true</value>
    </property>
    <!-- 环境变量的继承 -->
    <property>
        <name>yarn.nodemanager.env-whitelist</name>
        <value>JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_MAPRED_HOME</value>
    </property>
    <!-- 开启日志聚集功能 -->
    <property>
        <name>yarn.log-aggregation-enable</name>
        <value>true</value>
    </property>
    <!-- 设置日志保留时间为 7 天 -->
    <property>
        <name>yarn.log-aggregation.retain-seconds</name>
        <value>604800</value>
    </property>

  • 第二步：将 yarn-site.xml 文件分发的其他机器上，scp

  • 第三步：启动yarn（前提是Zookeeper和hdfs都启动了）

    • start-yarn.sh



安装完后集群启动和停止集群

启动

  • 第一步：在三台机器上分别启动Zookeeper
    • bin/zkServer.sh start
  • 第二步：在任意一台启动 NameNode、DataNode、JournalNode、ZKCF等等
    • start-all.sh

停止

  • 第一步：在任意一台启动 NameNode、DataNode、JournalNode、ZKCF等等
    • stop-all.sh
  • 第二步：在三台机器上分别启动Zookeeper
    • bin/zkServer.sh stop
code@fzk
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
hadoop环境安装
07-25
2. **Java环境**：Hadoop依赖Java，因此需要先安装Java。运行`sudo apt-get install default-jdk`来安装OpenJDK。 **安装Hadoop** 1. **下载Hadoop**：访问Apache官网下载Hadoop 2.4.0的tarball文件，解压到一个...
虚拟机Hadoop环境安装配置
01-25
从零安装配置Hadoop环境流程总结，包括单节点，伪分布和完全分布几种情况。
hadoop环境安装步骤
m0_64965997的博客
12-12 1763
1.安装VM虚1.安装VM虚拟机 安卓centos 2.修改主机名，ip地址，映射 3.修改迅windous网络配置防火墙关闭 ring通体外网 4.连moba 5.jdk.hadoop环境安装配置 6.Hadoop本地，伪分布 7.克隆 （完整路径） 完全分布 8.群起 9.mysql,hive 安装配置 10.hbase安装配置拟机 安卓centos 2.修改主机名，ip地址，映射 3.修改迅windous网络配置防火墙关闭 ring通体外网 4.连moba 5.jdk.had
hadoop设置java环境_Hadoop环境安装设置
weixin_42349272的博客
03-04 2164
Hadoop由GNU/Linux平台支持(建议)。因此，需要安装一个Linux操作系统并设置Hadoop环境。如果有Linux操作系统等，可以把它安装在VirtualBox(要具备在 VirtualBox内安装Linux经验，没有装过也可以学习试着来)。安装前设置在安装Hadoop之前，需要进入Linux环境下，连接Linux使用SSH(安全Shell)。按照下面提供的步骤设立Linux环境。创建...
大数据——hadoop环境安装（docker搭建）
最新发布
weixin_42789698的博客
12-03 2305
###### 这个Dockerfile主要是基于CentOS镜像进行一些系统设置和软件安装，最终生成一个包含SSH服务的镜像。####### dockerfile的内容# 基础镜像# 作者# 将工作目录切换到`/etc/yum.repos.d/`# 使用sed命令注释掉mirrorlist行。# 使用sed命令将baseurl修改为`http://vault.centos.org`。# 更新yum缓存。# 使用yum更新系统软件。# 使用yum安装openssh-server和sudo。
Hadoop环境搭建
美国梦中国心
06-29 6518
Hadoop是一个由Apache基金会所创建的分布式系统基础架构，主要解决海量数据的存储和海量数据的分析计算问题，从广义上来说hadoop是数据存储分包器，可以存储大量的数据。
Windows安装 hadoop 环境
weixin_45267345的博客
07-16 4646
大数据、hadoop
hadoop安装常见问题
ZJQ的博客
04-08 2724
目录 SSH服务器拒绝了密码。请再试一次​ ubuntu修改登陆用户名 这样ftp成功链接ubuntu 现在的ubuntu支持直接拖拽文件传输，不用ftp的 yarn是什么 linux配置java环境变量 hadoop安装包下载 linux不能编辑sshd_cofig SSH的简单理解和运用 SSH服务器拒绝了密码。请再试一次 是你命令窗口的$ 后面是你的用户名，不是登陆时候的。 ubuntu修改登陆用户名 这样ftp成功链接ubuntu 现在的ubu
hadoop环境配置
a1007904449的博客
08-06 6563
VmWare版本不做要求，使用VmWare10版本以上即可，关于VmWare的安装，直接使用安装包一直下一步安装即可，且安装包当中附带破解秘钥，进行破解即可使用linux统一使用centoscentos统一使用centos7.6 64位版本种子文件下载地址：http://mirrors.aliyun.com/centos/7.6.1810/isos/x86_64/CentOS-7-x86_64-DVD-1810.torrent使用三台linux服务器，来做统一的环境准备三台机器修改ip地址： 准备三台li
一、 配置安装hadoop环境
m0_66115674的博客
06-01 3230
~ 代表的是用户的主文件夹，即 “/home/用户名” 这个目录，如你的用户名为 hadoop，则 ~ 就代表 “/home/hadoop/”进入/opt/hadoop-3.2.2/share/hadoop/mapreduce文件夹运行词频统计命令。则修改/opt/hadoop-3.2.2/etc/hadoop/ hadoop-env.sh。进入/opt/hadoop-3.2.2/etc/hadoop目录，编辑yarn-env.sh。表示执行用户身份错误，修改/etc/profile文件，增加以下配置。
Hadoop 安装与配置
热门推荐
weixin_43571612的博客
02-22 2万+
hadoop在Ubantu中的安装与配置
ubuntu20-hadoop环境安装-从零开始
CodePanda@GPF的博客
05-04 2304
hadoop环境安装，单机模式、伪分布式、集群式
Hadoop环境安装设置(最简单的hadoop单机环境部署教程)
04-19
Hadoop环境安装设置(最简单的hadoop单机环境部署教程) 安装前设置 SSH设置和密钥生成 安装Java.下载Java (JDK<最新版> - X64 ... 下载Hadoop.下载来自Apache基金会软件，使用下面 ... Hadoop操作模式 在单机模式下...
hadoop安装环境套件
04-14
总的来说，这个"hadop安装环境套件"提供了一整套在Windows上搭建Hadoop环境所需的工具和资源。从安装JDK以满足Java运行环境，到使用Notepad++编辑配置文件，再到解压并配置Hadoop本身，这个套件涵盖了整个流程。同时...
hadoop安装
12-05
Hadoop 的安装相对较为复杂，需要配置环境变量、core-site.xml、hdfs-site.xml 等多个文件。在本节中，我们将详细介绍 Hadoop 的安装过程。 一、安装 JDK Hadoop 需要 Java 环境的支持，因此我们需要首先安装 JDK...
Flink-CDC-快速入手（MySQL为例）
qq_44002865的博客
09-13 2201
官方文档地址上面所用的反序列化器是自带的String字符串序列化器我们可以自定义反序列化器，实现//1.创建执行环境 StreamExecutionEnvironment env = StreamExecutionEnvironment . getExecutionEnvironment();
Kafka的详细使用
qq_44002865的博客
08-20 1712
kafka详细使用（从安装到程序开发详细使用）
HBase的详细使用
qq_44002865的博客
08-09 1702
HBase 文章目录HBase1、安装2、shell命令基本操作表的操作数据的操作3、API准备环境表操作API（DDL）判断表是否存在创建表删除表创建命名空间数据操作API（DML）插入数据获取数据（get）获取数据（scan）删除数据MapReduce环境准备官方案例自定义Hbase-MapReduce将 HDFS 中的数据写入到 Hbase 表中（打成jar包上传到服务器运行）将一张表中的部分数据通过 MR 迁入到另一张表中（在本地运行）4、优化高可用预分区（四种方式）基础优化 1、安装 第一步：
Flume的详细使用
qq_44002865的博客
08-09 1480
Flume 文章目录Flume1、简介2、快速入门安装3、配置及简单使用配置source配置（常用）sink配置（常用）channel配置（常用）使用监控端口数据到控制台（netcat-memeory-logger）实时监控单个追加文件到控制台（exec-memeory-logger）实时监控单个追加文件到HDFS（exec-memeory-hdfs）实时监控目录下多个新文件（spooldir-memory-hdfs）实时监控目录下的多个追加文件（taildir-memory-hdfs）Flume对接Kaf

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值