while false

我们这里使用官方的Spark自带的一个程序来体验一下Spark的运行Spark自带的例子是利用蒙特·卡罗算法求PI在Spark目录下执行下面命令bin/spark-submit \>--master spark://cdh0:7077 \>--class org.apache.spark.examples.SparkPi \examples/jars/spark-e...

常用命令列举import 将数据导入到集群 export 将集群数据导出 codegen 获取数据库中某张表数据生成 Java 并打包Jar create-hive-table 创建 Hive 表 eval 查看 SQL 执行结果 import-all-tables 导入某个数据库下所有表到 HDFS 中 job 用来生成一个 ...

我这里的连接环境是redis数据库安装在腾讯云服务器上，使用Redis Desktop Manager软件来连接首先安装redis数据库就不在这里说明了，前面有详细的文章介绍Redis Desktop Manager官网下载是要收费的，可以在我的百度网盘下载：链接: https://pan.baidu.com/s/19yl0O3Mizbp4v5eSGdDRXA提取码: 93na...

1.数据类型Scala的数据类型和Java差不多有 7 种数值类型 Byte、Char、Short、Int、Long、Float 和 Double（无包装类型）和 Boolean、Unit 类型Scala的继承层级如图所示：这里的Any相当于Java中的Object  注意：      Unit 表示无值，和Java中的void 等同，用作不返回任何结果的方法的结果类型...

目前处理死锁的方法可归结为四种：预防死锁避免死锁检测死锁解除死锁1.预防死锁预防死锁的方法是通过破坏产生死锁的四个必要条件中的一个或几个，避免发生死锁由于互斥条件是非共享设备所必须的，不仅不能改变，还应加以保证 1).破坏请求和保持条件为了能破坏请求和保持条件，系统必须保证做到：当一个进程在请求资源时，它不能持有不可抢占资源可以通过下面两个协议实现：...

需求：将数据库中的数据读取出来并以text  json  csv  parquet四种格式写入到本地文件或者hdfs中csv格式：能够以excel的形式打开 代码实现：package cn.ysjh0014.SparkSqlimport java.util.Propertiesimport org.apache.spark.sql._object SparkSqlJd...

在之前的文章Spark集群安装中，已经详细的介绍了Spark分布式集群的安装方法Spark集群启动后执行jps命令，主节点上有Master进程，其他子节点上有Work进行，但是有一个很大的问题，那就是Master节点存在单点故障，要解决此问题，就要借助zookeeper，并且启动至少两个Master节点来实现高可靠具体实现步骤如下：1.Spark集群规划这里有三台主机：    cd...

启动客户端:bin/zkCli.sh显示所有操作命令:help查看当前节点中所包含的内容:ls /查看当前节点内容和详细信息:ls2 /获取节点的值:get /节点名创建普通节点:create  /ys   ysjh0014.cn  创建短暂节点:create -e /ys ysjh0014.cn使用quit退出客户端后该...

1.什么是事务，如何加入事务事务就是把一堆事情绑在一起做，都成功了才算完成，否则就恢复之前的样子举个例子：在银行ATM取钱，扣款成功后突然停电了，吐钱的操作还没有做，这时候就要恢复到没取钱时候的状态，否则扣钱了顾客却没有拿到钱使用：Spring中提供了事务管理器，需要在Spring中配置事务管理，2.SQL语句中left join、inner join、righ...

这个问题很简单，启动不了是因为你打了断点，所以它会一直卡在那里解决方法： CTRL+SHIFT+F8清楚所有断点，然后再重新debug启动就可以了

1.代码实现既然是通过API配置实现的，那么就是要创建纯Java项目或者Maven项目，我这里以Maven项目为例(1).首先下载dubbo和zookeeper相关的的jar包<dependencies> <dependency> <groupId>com.alibaba</groupId> <artifactId...

大家开发前端页面的时候，特别是前后端分离之后，经常会遇见在进行前端开发时，后端接口还没有开发好，这时候要求我们进行测试，没有接口就请求不到数据，如何测试呢？这时候就可以用到模拟数据的Ajax插件mockjax，下面就通过代码说一下mockjax首先我们看一段Ajax的代码：$.ajax({ url: "http://localhost:8764/bpm", ...

1.创建服务注册中心(Eureka Server)首先在IDEA中创建一个SpringBoot项目一直Next之后，进行到下面这张图时按照图片上的进行选择这里选择Eureka Server可以直接在项目的pom文件中加入Eureka的jar包然后想要启动一个注册中心只要在application.properties中进行端口等的配置server.port=8761e...

前提：此时你已经有了自己的GitHub账户和Git，并且本地Git和远程GitHub已经关联起来了在本地创建一个空的文件夹，将你的项目放到这个文件夹里面，然后打开git依次输入以下命令touch README.mdgit initgit add .git commit -m "注释"git remote add origin github仓库地址（origin是别名）g...

开发环境：IDEASpringBootSwaggerMaven首先我们要使用IDEA创建一个SpringBoot的项目，如果IDEA中没有安装SpringBoot插件的话，先在Setting---》Plugins中搜索Spring Assistant并下载安装然后就可以创建SpringBoot项目了创建SpringBoot项目比较简单，接口编写也比较简单，这里先放一...

1.SpringMVC的工作流程SpringMVC是一种基于Spring实现了Web MVC设计模式的请求驱动类型的轻量级Web框架，使用了MVC架构模式的思想工作流程：1.用户将请求发送给前端控制器2.前端控制器收到请求调用处理器映射器3.处理器映射器根据请求url找到具体的处理器，生成处理器对象和处理器拦截器，将其返回给前端控制器4.前端控制器通过处理器适配器调用处理器...

1.为什么要用线程池？降低系统资源消耗提高线程可控性2.如何创建线程池？JDK8中提供了5种创建线程池的方法(1). newFixThreadPool创建固定大小的线程池，可控制线程最大并发数，超过的线程会在队列中等待public static ExecutorService newFixedThreadPool(int nThreads) { return ...

1.什么是反射在运行状态中，对于任何一个类，都能够知道这个类的所有属性和方法，对于任何一个对象，都能够调用它的任意一个方法和属性，这种动态获取的信息以及动态调用对象的方法的功能称为Java语言的反射机制2.反射的作用动态的创建类的实例，将类绑定到现有的对象中，或者从现有的对象中获取类型应用程序需要在运行时从某个特定的程序集中载入一个特定的类3.反射创建类实例的三种方式以类A...

单例模式：定义：确保某一个类只有一个实例，而且自行实例化并向整个系统提供这个实例简单来说就是这个类只能有一个实例，必须自己创建自己的唯一实例，必须给其它所有对象提供这一实例适用场景：在一个系统内，要求一个类有且仅有一个对象优点：减少了内存，避免了对资源的多重占用，对于创建比较繁琐的对象，只生成一个实例，减少了系统的性能开销缺点：单例模式一般没有接口，扩展困难...

1.OSI的七层协议从上往下依次是：应用层：应用层的任务是通过应用进程间的交互来完成特定网络应用。应用层协议定义的是应用进程间通信和交互的规则，我们把应用层交互的数据单元称为报文，应用层协议如：域名系统DNS，支持万维网应用的HTTP协议，支持电子邮件的SMTP协议表示层：提供各种用于应用层数据的编码和转换功能，确保一个系统的应用层发送的数据能被另一个系统的应用层识别。数据压缩...