αίρεσις-CSDN博客

原创 Java基础

JDK、JRE、JVMJDK：包括JREJava开发工具包，提供了就Java的开发环境和运行环境。包含编写就Java程序所必须的编译、运行等开发工具以及JRE。开发工具：用于编写就Java程序的javac命令用于启动JVM运行Java程序的Java命令用于生成文档的javadoc命令用于打包的jar命令等JRE：包括JVMJava运行环境，提供了运行Java应用程序所必须的软件...

2020-06-15 20:20:51 154

原创在微服务练习过程中遇到的问题

微服务架构的基础构建首先构建微服务的时候，我们先新建了一个Microservices的Maven工程，在其下新建了我们所使用的工程。当我们建立新的工程时发现子工程和父工程的位置是乱的，所以，为了避免自己混淆以及便于使用，首先将父工程的src资源文件夹删除。再看pom文件，当我们在父工程下建立新的工程时，我们会发现双方的pom文件就回发生变化：Microservices的pom文件： &...

2019-12-27 11:57:53 203

原创关于微服务的实例练习3

简单的微服务实例搭建(三)添加高可用Eureka注册中心在上一个案例中，我们是一个EurekaServer，下面搭建EurekaServer集群，形成高可用的Eureka中心。1、yml文件：在原先eureka项目中添加10086server: port: 10086eureka: client: service-url: defaultZ...

2019-12-26 19:45:08 200

原创关于微服务的实例练习2

简单的微服务实例搭建(二)添加Eureka注册中心1、在Microservices下新建maven工程：eureka：关于服务介绍：服务注册中心，Eureka的服务端应用，提供服务注册和发现功能2、关于yml和pom文件：eureka：Eureka服务端server: port: 10086eureka: client: service-url: ...

2019-12-26 15:58:32 286

原创关于微服务的实例练习1

简单的微服务实例搭建(一)只有service和consumer的微服务搭建过程：1、新建一个maven工程：Microservices，再在其下新建module，同样的依旧是maven工程：service、consumer、common（大体结构如图）：关于服务的介绍：common：用于存放一些公共的代码，在该实例中用于编写model实体类service：为consumer提供服务...

2019-12-26 12:39:04 321

原创 Sparksql模块(执行Spark查询)

Spark sql介绍是Spark用来处理结构化数据的一个模块，它提供了一个编程抽象叫做DataFrame并且作为分布式SQL查询引擎的作用。（在Spark中使用sql查询）DataFrame可处理结构化数据，所以Spark sql中先将数据集转化为RDD再将RDD转化为DataFrames对象，之后使用sql查询数据。Spark sql应用一、在Spark-shell中：Spark...

2019-11-29 11:29:12 201

原创 Spark的缓存Cache

使用原因Spark RDD是惰性求值的，当对于RDD使用简单的调用操作时，Spark会每次都重算RDD及其依赖，增大损耗。为了减轻损耗避免RDD的重算且复用RDD的目的，就需要使用Spark的缓存Cache。在spark交互中：同样的处理数据比较缓存和不缓存的区别启动hdfs,zookeeper,spark在Spark下的bin中启动spark-shell交互指令快速生成：在bin目录...

2019-11-28 17:41:28 175

参考自https://blog.csdn.net/dsdaasaaa/article/details/94181269和https://blog.csdn.net/lucasmaluping/article/details/103047901的小结RDD：弹性分布式数据集，是Spark中最基本的数据抽象。理解：本质上是一个只读的分区记录集合，每个RDD是有多个分区，每个分区就是一个数据集片段...

2019-11-28 17:12:20 282

原创 WorldCount程序打jar包在Spark集群上运行

参照WorldCount在Spark shell中的运行（对比学习）写WorldCount程序（IDEA）前期准备：新建maven工程，在pom中加入相关配置：(注意相对应的版本)<properties> <maven.compiler.source>1.8</maven.compiler.source> <mav...

2019-11-28 16:51:09 214

原创 Linux上搭建Spark集群及spark shell交互式命令窗口

Spark集群搭建基础知识：Spark是用于大规模数据处理的统一分析的计算引擎；是一个快速，通用，可扩展的大数据分析引擎；基于内存计算（速度快），基于mapreduce通常将数据中间存储在磁盘上。HA机制：高可用机制，当主节点挂掉后启用备用主节点（前提是备用节点得打开及先处于待机状态）集群搭建：因为Spark是依赖于Hadoop的，所以在下载安装包时需要找到自己Hadoop的版本对应的...

2019-11-28 16:01:52 506

qq_45578476的博客