监控
文章平均质量分 82
大数据海中游泳的鱼
大数据海中游泳的鱼,对Spark、Hadoop、HDFS、Kafka、Hive、HQL、SQL都有兴趣。
展开
-
K8S的DaemonSet部署和安全删除
这些步骤将最小化风险地删除DaemonSet以及它的所有Pods、Persistent Volumes和Service。暂停更新可以确保在删除DaemonSet之前不会启动新的Pods,从而减少删除DaemonSet的风险。原创 2023-04-10 23:00:52 · 752 阅读 · 0 评论 -
JVM是什么
使用JIT编译器:使用JIT编译器可以优化JVM的执行速度,将Java字节码编译成本地机器代码,以提高程序的执行效率。使用合适的数据结构:使用合适的数据结构可以减少JVM的内存使用率和CPU使用率,以便提高程序的性能和响应速度。调整GC策略:调整GC策略可以优化JVM的垃圾回收,包括选择合适的GC算法、调整GC的频率和GC的参数等。运维人员:负责管理JVM的部署、维护和安全性,包括JVM的配置、监控和优化等。避免创建过多的对象:避免创建过多的对象可以减少GC的负载,提高程序的执行效率。原创 2023-04-09 23:45:16 · 851 阅读 · 0 评论 -
什么是Prometheus
Prometheus是一款开源的监控和告警系统,可以对分布式系统进行监控和警报。它是一个独立于存储的时序数据管理系统,可帮助您轻松地查询、分析和警报有关应用程序的数据。Prometheus具有强大的查询语言和可视化工具,可帮助您快速了解系统的运行状况。云原生可使用睿智云(付费)。原创 2023-04-13 00:15:00 · 303 阅读 · 0 评论 -
Spark SQL是什么
1.Spark SQL应用程序的运行状态:可以通过Spark SQL的监控工具来实时监控应用程序的运行状态,包括任务的执行情况、资源的使用情况等。运维人员:管理Spark集群的部署、维护和安全性,包括Spark SQL的配置、监控和优化等,以保证Spark SQL的正常运行和安全性。2.Spark SQL应用程序的性能:可以通过Spark SQL的监控工具来监控应用程序的性能指标,包括任务的执行时间、吞吐量等。Executor进程:负责执行Spark SQL应用程序中的任务,包括数据的读取、处理和写入等。原创 2023-04-10 23:06:29 · 353 阅读 · 0 评论 -
什么是SPARK
Spark是一款基于内存计算的开源分布式计算框架,支持批处理、流处理和机器学习等各种计算模式。它可以在Hadoop集群中运行,也可以独立运行。原创 2023-04-06 23:02:02 · 759 阅读 · 0 评论 -
什么是Zookeeper
Zookeeper是一个开源的分布式协调服务,它可以提供诸如配置管理、命名服务、分布式同步、组服务等功能。在Hadoop集群中,Zookeeper主要用于协调管理分布式锁和监控Hadoop集群的状态。Apache 顶级项目之一。原创 2023-04-06 22:59:07 · 845 阅读 · 0 评论 -
什么是Ambari
Ambari是一个开源的Hadoop管理工具,提供了一个Web界面来管理和监控Hadoop集群的各个组件。Hadoop定级项目之一。原创 2023-04-06 22:50:27 · 496 阅读 · 0 评论 -
什么是HBase
HBase是一个基于Hadoop的分布式列式存储系统,可以存储非结构化和半结构化的大数据,具有高可用性、高扩展性、高性能等特点,常用于大规模实时数据处理。原创 2023-04-10 23:45:36 · 1662 阅读 · 0 评论 -
什么是YARN
YARN原创 2023-04-06 22:43:31 · 691 阅读 · 0 评论 -
什么是Hive
Hive是基于Hadoop的数据仓库工具,可以通过类SQL语言HiveQL来查询和分析集群中的大规模数据,并将查询转换成MapReduce任务进行执行。Hive支持多种数据源,包括HDFS、HBase、本地文件等,是一个强大的数据分析工具。原创 2023-04-06 22:30:34 · 98 阅读 · 0 评论 -
什么是Hadoop
Hadoop是一个开源的分布式计算平台,可以处理大规模数据集并提供高可靠性、高可扩展性、高效性等特性。Hadoop由HDFS(分布式文件系统)和MapReduce(分布式计算框架)两部分组成,同时还包括YARN、Zookeeper等组件。原创 2023-04-06 22:24:37 · 1260 阅读 · 0 评论 -
大数据海中的鱼(大目录)
大数据组件和概念,作为目录使用原创 2023-04-06 22:33:47 · 104 阅读 · 0 评论 -
Hadoop集群中常用组件的命令(后续补充)
提交Spark应用程序:spark-submit --class com.example.Application /path/to/app.jar arg1 arg2。上传本地文件到HDFS:hdfs dfs -put /path/to/local/file /path/to/hdfs/directory。下载HDFS文件到本地:hdfs dfs -get /path/to/hdfs/file /path/to/local/directory。原创 2023-04-12 00:15:00 · 402 阅读 · 0 评论 -
Hadoop集群JVM指标监控(python)
笨办法监控hadoop集群原创 2023-04-05 15:09:24 · 501 阅读 · 0 评论