大数据框架使用文档

已于 2022-05-09 13:08:14 修改
阅读量1.9k 收藏 1
点赞数
文章标签： 大数据 数据仓库 数据库 hive hadoop
于 2022-04-10 20:33:28 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_52731998/article/details/124085201
版权

文章目录

关于mysql

开启/关闭/重启 数据库

命令：service mysqld start/stop/restart

登录数据库

命令：mysql –u用户名 –p密码

关于hadoop

启动进程

第一种：全部启动集群所有进程

启动：sbin/start-all.sh
停止：sbin/stop-all.sh

第二种：单独启动hdfs【web端口50070】和yarn【web端口8088】的相关进程

启动：sbin/start-dfs.sh sbin/start-yarn.sh
停止：sbin/stop-dfs.sh sbin/stop-yarn.sh
每次重新启动集群的时候使用

第三种：单独启动某一个进程

启动hdfs：sbin/hadoop-daemon.sh start (namenode | datanode)
停止hdfs：sbin/hadoop-daemon.sh stop (namenode | datanode)
启动yarn：sbin/yarn-daemon.sh start (resourcemanager | nodemanager)
停止yarn：sbin/yarn-daemon.sh stop(resourcemanager | nodemanager)
用于当某个进程启动失败或者异常down掉的时候，重启进程

访问hdfs的web界面 http://master:50070
访问yarn的web界面 http://master:8088

hdfs – HA

  1. 启动zookeeper 三台都需要启动

    命令：zkServer.sh start

  2. 启动JN 存储hdfs元数据

    三台JN上执行

    启动命令： /usr/local/soft/hadoop-2.7.6/sbin/hadoop-daemon.sh start journalnode关于Hive

  3. 格式化 在一台NN上执行，这里选择master
    hdfs namenode -format
    启动当前的NN
    hadoop-daemon.sh start namenode

  4. 执行同步 没有格式化的NN上执行 在另外一个namenode上面执行 这里选择node1
    /usr/local/soft/hadoop-2.7.6/bin/hdfs namenode -bootstrapStandby

  5. 格式化ZK 在master上面执行
    ！！一定要先 把zk集群正常 启动起来
    /usr/local/soft/hadoop-2.7.6/bin/hdfs zkfc -formatZK

  6. 启动hdfs集群,在master上执行
    start-dfs.sh

yarn – HA

  1. 启动yarn 在master启动
    命令：start-yarn.sh

  2. 在node1上启动另一个RM
    命令：/usr/local/soft/hadoop-2.7.6/sbin/yarn-daemon.sh start resourcemanager

    master:8088
    node1:8088

关于Redis

启动/停止/重启 systemctl start/stop/restart redis
开机自启 systemctl enable redis

关于Hive

登录hive
  • 命令：hive
开启元服务
  • 命令：nohup hive --service metastore &

关于HBase

启动hbase之前先启动zk,每一台服务器都要启动
  • 命令：zkServer.sh start
再启动hbase集群
  • start-hbase.sh
进行hbase命令行
  • 命令：hbase shell
访问web界面：http://master:16010

关于zookeeper

启动/停止zk，所有节点都要执行

通过jps可以查看zk的进程：QuorumPeerMain

当有一个leader的时候启动成功

  • 命令：zkServer.sh start/stop
查看状态
  • 命令：zkServer.sh status
连接zk

zk 是一个目录结构 ，每个节点可以存数据，同时可以有子节点

  • 命令：zkCli.sh

关于kafka

1、启动kafka之前先启动zk，需要在所有节点启动
  • 命令：zkServer.sh start
2、在每台节点启动broker，kafka是去中心化的架构

-daemon 后台启动 需要在所有节点启动

  • 命令：kafka-server-start.sh -daemon /usr/local/soft/kafka_2.11-1.0.0/config/server.properties

注意：后面的路径是指定配置时的配置文件

3、kafka不依赖hadoop，所以不需要启动hadoop
4、kafka的使用

1、创建topic

–replication-factor —每一个分区的副本数量
–partition --分区数， 根据数据量设置

kafka-topics.sh --create --zookeeper master:2181,node1:2181,node2:2181 --replication-factor 3 --partitions 3 --topic test_topic2

2、查看topic描述信息
kafka-topics.sh --describe --zookeeper master:2181 --topic test_topic1

3、获取所有topic
kafka-topics.sh --list --zookeeper master:2181

4、创建控制台生产者
kafka-console-producer.sh --broker-list master:9092 --topic test_topic1

5、创建控制台消费者 --from-beginning 从头消费，， 如果不在执行消费的新的数据
kafka-console-consumer.sh --bootstrap-server master:9092 --from-beginning --topic student3

关于Spark

集群模式

启动集群，在master中执行
  • 命令：./sbin/start-all.sh
访问web界面 http://master:8080
提交任务
1、standalone client模式 日志在本地输出，一般用于上线前测试(bin/下执行)

需要进入到spark-examples_2.11-2.4.5.jar 包所在的目录下执行
cd /usr/local/soft/spark-2.4.5/examples/jars

  • 命令：spark-submit --class org.apache.spark.examples.SparkPi --master spark://master:7077 --executor-memory 512m --total-executor-cores 1 spark-examples_2.11-2.4.5.jar 100
2、standalone cluster模式 上线使用，不会再本地打印日志
  • 命令：spark-submit --class org.apache.spark.examples.SparkPi --master spark://master:7077 --executor-memory 512M --total-executor-cores 1 --deploy-mode cluster spark-examples_2.11-2.4.5.jar 100

整合yarn模式：在公司一般不适用standalone模式，因为公司一般已经有yarn 不需要搞两个资源管理框架

1、停止Spark集群，并且配置文件需要重新配置
2、启动yarn
  • 命令：start-yarn.sh
3、spark on yarn client模式 日志在本地输出，一般用于上线前测试
  • 命令：spark-submit --class org.apache.spark.examples.SparkPi --master yarn-client --executor-memory 512M --num-executors 2 spark-examples_2.11-2.4.5.jar 100
4、4.spark on yarn cluster模式 上线使用，不会再本地打印日志 减少io
  • 命令：spark-submit --class org.apache.spark.examples.SparkPi --master yarn-cluster --executor-memory 512m --num-executors 2 --executor-cores 1 spark-examples_2.11-2.4.5.jar 100
5、获取yarn程序执行日志 执行成功之后才能获取到
  • 命令：yarn logs -applicationId application_1560967444524_0003
访问hdfs的web页面：http://node1:50070
访问yarn的web页面：http://node1:8088

关于Flink

集群模式

启动集群
  • 命令：start-cluster.sh
访问web界面 http://master:8081
提交任务—先将任务打包
  1. 在web页面提交任务
  2. 同flink命令提交任务
    • 命令：flink run -c com.shujia.flink.soure.Demo4ReadKafka flink-1.0.jar
  3. rpc方式提交任务— 远程提交

flink on yarn 只需要部署一个节点,可以停掉独立集群

启动方式 yarn-session

在yarn里面启动一个flink集群 jobManager(ApplicationMaster)，yarn-session是所有任务共享同一个jobmanager
先启动hadoop

  • 命令：yarn-session.sh -jm 1024m -tm 1096m
提交任务
  1. 在web页面提交任务
  2. 同flink命令提交任务
    • 命令：flink run -c com.shujia.flink.soure.Demo4ReadKafka flink-1.0.jar
  3. rpc方式提交任务
关闭 yarn-session
  • 命令：yarn application -kill application_1647657435495_0000

直接提交任务到yarn 每一个任务都会有一个jobManager

yarn-session先在yarn中启动一个jobMansager ,所有的任务共享一个jobmanager (提交任务更快，任务之间共享jobmanager ， 相互有影响)
直接提交任务模型，为每一个任务启动一个joibmanager （每一个任务独立jobmanager , 任务运行稳定）

  • 命令： flink run -m yarn-cluster -yjm 1024m -ytm 1096m -c com.shujia.flink.core.Demo1WordCount flink-1.0.jar
杀掉yarn上的任务
  • 命令：yarn application -kill application_1599820991153_0005
查看日志
  • 命令：yarn logs -applicationId application_1647657435495_0002

常见进程

  • YarnTaskExecutorRunner flink的taskmanager
  • QuorumPeerMain zk的进程
  • RunJar 可能是hive的元数据服务
  • FlinkYarnSessionCli yarn-session的进程
  • NameNode hdfs主节点
  • DataNode hdfs从节点
  • ResourceManager yarn主节点
  • NodeManager yarn从节点
  • CanalLauncher canal的进程
  • YarnSessionClusterEntrypoint flink的jobmanager
  • SqlClient flink sql的命令行
  • Kafka kafka进程
  • SecondaryNameNode hdfs合并元数据的进程

关于FineBI

在虚拟机中启动FineBI

进入到 /opt/FineBI5.1/bin 下

  • 命令：./finebi
在web端查看： http://IP:37799/webroot/decision
被迫内卷的学习记录
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
大数据环境搭建及基本使用
DuBenBen的博客
06-01 908
目录 大数据环境搭建及基本使用 环境搭建：Ubuntu18.04三台虚拟机大数据 1.Hadoop hdfs使用 2.Hadoop mapreduce使用 3.Hive使用 4.Hbase使用 5.Kafka使用 大数据环境搭建及基本使用 环境搭建：Ubuntu18.04三台虚拟机大数据 记录一下自己搭建三台虚拟机的过程 环境总体概述 主节点 IP地址 软件 进程 master
Kafka(一）
qq_43528451的博客
04-01 146
hadoop实时day22–Apache Kafka 今日内容大纲 1、消息队列 MQ 模式：点对点 发布订阅 使用场景、好处 2、Apache kafka 介绍 分布式存储消息队列 3、Apache Kafka集群组件 名词 4、Apache Kafka集群搭建 5、Apache kafka工作流程-整体 6、Apache kafka 操作 shell基础操作 java api 操作 生产者代码 消费者代码 7、Apache kafka 分区 副本机制 消息队列 基本概
Flink源码系列(YarnTaskExecutorRunner启动)-第九期
Airy的博客
05-09 1425
上一期指路 接着上一期讲到JobMaster的启动，其中又启动了slotPool，如下： 那么接下来slotPool寻回rm并向其请求slot。 1.StandaloneLeaderRetrievalService#start->JobMaster的内部类ResourceManagerLeaderListener#notifyLeaderAddress->JobMaster#notifyOfNewResourceManagerLeader private void notif
基于hadoop及python的Kafka实践浅析
melon0014的博客
05-16 552
目录一、什么是Kafka二、配置Kafka2.1、所需资源2.2、安装配置hadoop（单机）2.3、安装配置zookeeper（单机）2.4、安装配置kafka（单机）2.4.1 第一步 Kafka下载与解压2.4.2 第二步 配置环境变量2.4.3 第三步 修改Kafka配置文件2.4.4 第四步 启动Kafka服务2.5 使用kafka发送和接收消息2.5.1 启动生产者（消息发送方）2.5...
Kafka设计与原理详解
xx635457960的博客
12-01 238
一、Kafka简介 1.1 背景历史 当今社会各种应用系统诸如商业、社交、搜索、浏览等像信息工厂一样不断的生产出各种信息，在大数据时代，我们面临如下几个挑战： 如何收集这些巨大的信息 如何分析它 如何及时做到如上两点 以上几个挑战形成了一个业务需求模型，即生产者生产（produce）各种信息，消费者消费（consume）（处理分析）这些信息，而在生产者与消费者之间，需要一个沟通两者的桥梁-消息系统。从一个微观层面来说，这种需求也可理解为不同的系统之间如何传递消息。 1.2 Kafka诞生 Ka
大数据项目文档.rar
01-31
《大数据项目文档》 在大数据领域，项目文档是至关重要的，它记录了项目的全生命周期，从概念形成到项目实施，再到后期维护，每个阶段的重要决策、技术选型、设计思路和实施步骤都清晰地体现在文档中。这个名为...
大数据技术框架.pdf
最新发布
12-24
7. **数据安全与治理**：在大数据框架中，数据安全和治理同样重要，涉及访问控制、数据加密、审计和合规性。Apache Ranger、Impala等工具可以提供数据权限管理和审计功能。 8. **数据服务与应用**：处理后的数据...
大数据培训文档
03-11
【大数据培训文档】主要涵盖了大数据领域中的两个关键环节：Hadoop环境的安装部署以及数据采集流程的设置。这里我们将深入探讨这两个主题，帮助你更好地理解和掌握大数据操作的基础知识。 首先，我们来关注“Hadoop...
大数据专题优品文档.ppt
11-13
数据量的巨大使得传统的数据处理方式无法应对，需要新的技术和架构，如Apache Hadoop这样的分布式计算框架，来处理和分析这些数据。大数据不仅包括结构化的交易数据，如企业内部的经营信息，还包含了非结构化的交互...
kafka的java依赖包
10-18
kafka的java依赖包，包含kafka本地调用的所有jar包
kafka的安装与启动
qq_59336423的博客
06-16 5878
安装部署集群规划集群部署1.解压安装包2.修改解压后的文件名称3.进入解压后的文件名称修改以下内容：4.分发安装包5.分别在hadoop103和hadoop104上修改配置文件/opt/module/kafka/config/server.properties中的broker.id=1、broker.id=26.配置环境变量在/etc/profile.d/my_env.sh文件中添加kafka环境变量配置 增加如下内容： 刷新一下环境变量 分发环境变量文件到其他节点，并source7.启动集群先启动Zook
Hadoop生态之kafka史上最全详解！
weixin_44519468的博客
03-19 5457
1、消息队列的介绍 消息（Message）：是指在应用之间传送的数据，消息可以非常简单，比如只包含文本字符串，也可以更复杂，可能包含嵌入对象。 消息队列（Message Queue）：是一种应用间的通信方式，消息发送后可以立即返回，有消息系统来确保信息的可靠专递，消息发布者只管把消息发布到MQ中而不管谁来取，消息使用者只管从MQ中取消息而不管谁发布的，这样发布者和使用者都不用知道对方的存在 2、K...
Hadoop ----- Kafka集群
m0_45036821的博客
05-06 329
Kafka 是一个分布式的消息系统，是一种消息中间件 Kafka 作用 解耦、冗余、提高性能、缓冲 保证顺序、灵活、削峰填谷 异步通信 Kafka 角色与集群结构 Producer：生产者，负责发布消息 consumer：消费者，负责读取处理消息 topic： 消息的类别 parition： 每个Topic包含一个parition或者多个parition B...
kafka-hadoop-loader
waplys的博客
03-26 541
【配置maven】 # whereis maven # vi settings.xml <mirror> <id>nexus</id> <mirrorOf>central</mirrorOf> <name>internal nexus repository</name> ...
Hadoop(九)kafka配置
mingyunxiaohai的专栏
06-11 1520
Kafka是一个分布式流媒体平台，Kafka作为一个集群运行在一台或多台可以跨越多个数据中心的服务器上。 Kafka集群在称为主题的类别中存储记录流。每个记录由一个键，一个值和一个时间戳组成。 下载地址 https://www.apache.org/dyn/closer.cgi?path=/kafka/1.1.0/kafka_2.11-1.1.0.tgz 下载完后上传到linux服务器总解压...
如何将kafka中的数据快速导入Hadoop？
weixin_42142987的博客
05-06 1740
首先我们要明白，Apache 是一个 http 服务器，而我们熟悉的另一种说法Apache Hadoop中的 Apache 则指的是 Apache 软件基金会。Apache是 Apache 软件基金会中的一个项目。 关于其名字，流传最广的解释是(也是最显而易见的)：这个名字来自于一个事实：当Apache在1995年初开发的时候，它是由当时最流行的HTTP服务器NCSA HTTPd 1.3的代码修...
Kafka集群模式安装（依赖外部Zookeeper）
Levent的博客
05-01 1067
1.Zookeeper安装 1.1上传解压 上传zookeeper安装包到服务器并解压，（同推荐使用软连接方式访问Zookeeper） [xyes@kafka-2 bigdata]$ ln -s zookeeper-3.4.12/ zookeeper 1.2修改配置 # The number of milliseconds of each tick tickTime=2000 ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

被迫内卷的学习记录

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值