大数据hanson-CSDN博客

原创 yarn节点作用

ResourceManager**ResourceManager：**全局的资源管理者，整个集群只有唯一的一个，负责集群的资源统一管理和分配调度：1.处理客户端的请求2.启动监控 ApplicationMaster3.监控 NodeManager4.资源分配调度NodeManager**NodeManager：**整个集群中有多个，负责自己本身节点的资源管理使用：1.定时向RM汇报本节点的资源情况2.单个节点上的资源任务管理3.执行 NodeManager 的命令：启动 Con.

2020-12-01 13:37:27 742

原创 (Sql Server big data cluster)Azure Data Studio提交Spark任务从hdfs到SQL Server 2019

首先，第一步，数据在HDFS中可以直接使用Azure Data Studio上传数据然后选择数据既可上传然后在IDEA中做完APIAPI参考：def main(args: Array[String]): Unit = { //此处需要注意的是不要写.master()方法，因为提交方式使用的是yarnval ss = SparkSession .builder() .appName("jdbc_test") .getOrCreate() ss.sparkC

2020-11-12 17:01:36 105

原创 java的设计模式简单介绍

一、什么是设计模式设计模式（Design pattern）是一套被反复使用、多数人知晓的、经过分类编目的、代码设计经验的总结。使用设计模式是为了可重用代码、让代码更容易被他人理解、保证代码可靠性。毫无疑问，设计模式于己于他人于系统都是多赢的，设计模式使代码编制真正工程化，设计模式是软件工程的基石，如同大厦的一块块砖石一样。项目中合理的运用设计模式可以完美的解决很多问题，每种模式在现在中都有相应的原理来与之对应，每一个模式描述了一个在我们周围不断重复发生的问题，以及该问题的核心解决方案，这也是它能被广泛应

2020-11-12 16:52:52 121

原创 Sqoop数据导出一致性问题1

Sqoop在导出到Mysql时，使用4个Map任务，过程中有2个任务失败，那此时MySQL中存储了另外两个Map任务导入的数据，此时老板正好看到了这个报表数据。而开发工程师发现任务失败后，会调试问题并最终将全部数据正确的导入MySQL，那后面老板再次看报表数据，发现本次看到的数据与之前的不一致，这在生产环境是不允许的。官网描述–staging-table方式ble方式通过—stage -table选项指定一个staging表来克服这个问题，—stage -table选项充当一个辅助表，用于对导出的

2020-11-12 16:51:27 365

原创 spark面试题(觉得不错麻烦点个赞2020)

spark面试题一1、spark的有几种部署模式，每种模式特点？（☆☆☆☆☆）1）本地模式 Spark不一定非要跑在hadoop集群，可以在本地，起多个线程的方式来指定。将Spark应用以多线程的方式直接运行在本地，一般都是为了方便调试，本地模式分三类 local：只启动一个executor local[k]:启动k个executor local[*]：启动跟cpu数目相同的 executor2）standalone模式分布式部署集群，自带完整的服务

2020-11-12 16:49:57 525

原创 Spark VS Flink的

本文从编程模型、任务调度、时间机制、Kafka 动态分区的感知、容错及处理语义、背压等几个方面对比 Spark Stream 与 Flink，希望对有实时处理需求业务的企业端用户在框架选型有所启发。本文篇幅较长，建议先收藏～/ 编程模型对比 /运行角色Spark Streaming 运行时的角色(standalone 模式)主要有：Master:主要负责整体集群资源的管理和应用程序调度；Worker:负责单个节点的资源管理，driver 和 executor 的启动等；Driver:用户入口

2020-11-12 16:49:04 102

原创 rdd创建方式

RDD创建方式从Hadoop文件系统（如HDFS、Hive、HBase）输入创建。1.从hdfs创建rdd // 调用SparkContext以及其子类的textFile()方法，针对本地文件创建RDD JavaRDD<String> lines = sc.textFile("D://spark.txt");SparkContext.wholeTextFiles——基于一个目录下的全部文本文件创建RDDdef wholeTextFiles(path: String,

2020-11-12 16:45:57 326

原创 centos安装PostgreSQL与Pgadmin

在这里插入图片描首先去官网https://www.postgresql.org/download/此处在centos下载Copy如下命令即可下载# Install the repository RPM:yum install -y https://download.postgresql.org/pub/repos/yum/reporpms/EL-7-x86_64/pgdg-redhat-repo-latest.noarch.rpm# Install PostgreSQL:yum inst

2020-11-12 16:31:45 363

q2829867636的博客