自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

原创 RabbitMQ简介 生产者消费者 消息通信 运行管理

2020-08-02 20:39:55 14

原创 深入学习 Kubernetes Service

1 Service定义2 Service基本用法3 Headless Service4 集群外部访问Pod或Service5 DNS服务搭建和配置指南6 Ingress:HTTP7层路由机制

2020-07-11 21:34:42 37

原创 整理一下Eclipse中安装PlantUml流程

PlantUML的使用依赖于另外一个插件,所以需要下载两个插件1 eclipse中下载PlantUMLhelp->install new software地址http://hallvard.github.io/plantuml/然后一路next finish2 下载Graphviz地址百度云链接: https://pan.baidu.com/s/1EP5IQyvu8HNCf-dsLTL_Mg 提取码: 7821如果安装出现2503参考另外一篇博客.

2020-07-05 20:31:57 89

原创 windows 安装msi 出现报错 2503 无权限 使用cmd模式安装

如图所示的安装文件安装目录在D:\soft\plugins1 以管理员身份执行cmd命令2 执行命令msiexec /package "D:\soft\plugins\graphviz-2.38.msi"

2020-07-05 20:09:48 40

原创 Kubernetes 深入理解Pod 上

1 Pod定义2 Pod用法3静态Pod4 Pod容器共享5 Pod配置管理6 Pod生命周期和重启策略7 Pod调度8 Init container 初始化容器9 Pod升级和回滚10 Pod扩缩容11 使用statefulset搭建MongoDB集群

2020-06-26 22:45:39 31

原创 Kubernetes 网络模型

网络模型

2020-06-26 12:31:10 48

原创 linux 内核 组成 内核空间 用户空间 页表

内核组成 简介 内核的任务 应用程序角度看 内核可以被视为增强计算机如内核寻址硬盘时,一系列操作都是内核完成,与程序不相干。从多程序并发运行角度看 可以将内核视为资源管理程序共享资源 包括CPU时间、磁盘空间、网络连接等内核视为库 提供一组面向系统的命令 实现策略 微内核 最基本的功能直接由中央内核实现, 宏内核 内核组成 部分 内核空间 核心内核 调用设备驱动程序 ..

2020-06-25 23:29:01 79

原创 Spark 性能调优

主要总结自Spark编程指南一间接调节二直接调节

2020-03-25 16:05:43 40

原创 spark 程序配置日志级别 通过log4j

spark 如何配置日志打印级别 Log4j.properties文件1、spark自身的打印级别首先明白如何设置spark本身的日志级别Edit yourconf/log4j.propertiesfile and change the following line:log4j.rootCategory=INFO, consoletolog4j.rootCateg...

2019-11-11 11:10:59 161

原创 Kafka Streams 一些问题总结 以及消费者一些问题汇总

1、streams api 的疑惑1、释疑 kafka streams api和普通 consumer producer区别https://stackoverflow.com/questions/44014975/kafka-consumer-api-vs-streams-api2、kafka streams foreach操作如何进行数据库读写3、kafka streams...

2019-11-06 18:23:29 756

原创 Spark 性能调优 从配置 以及代码层面 综合调优

前言调优之前调优大致方向1 Indirect Performance Enhancements 间接1 Design Choices1 Scala Versus Java Versus Python Versus R2 DataFrame Versus SQL versus Datasets versus RDDS2 Object Serialization in...

2019-11-06 15:07:22 63

原创 Spark本地调试遇到的 CheckPoint 序列化问题和org.apache.hadoop.nativeio.NativeIO$windows.createFilewithMode0

第一个问题Dstream checkpointing has been enabled but the Dstreams with their functions are not serializable原因是创建JSSC的函数 使用到 set参数,不能使用原生的 map.keyset因为不支持序列化 通过spark消费kafka 并且元数据通过checkpoint保存...

2019-10-21 14:23:47 101

原创 Spark DataFrame VS DataSet 如何创建DataFrame DataFrame 详解

一 概念预览1、对应关系2、DataFrames and Datasets3、Schemas定义:4、Structured Spark Types1、DataFrame Vs DataSet2、Columns3、Rows4、Spark Types5、Structured Api Execution预览1、逻辑计划 Logical Plannin...

2019-10-19 00:32:30 133

原创 java8中的Optional使用

1、如何处理null1、对null进行检查,,2、null带来的问题3、其他语言如何处理null2、引入Optional并不是所有地方都要加Optional<>3、Optional 方法1、如何创建Optional 对象1、Empty Optional2、not-null from a value3、null2、通过map 获得和转换O...

2019-10-13 22:05:02 39

原创 java8 Streams 流处理 中间api 结果api

StreamsWhat is Stream?在我看来 java的流处理 的两个过程其实和spark处理的 transform 以及 action算子是异曲同工之妙 都是懒加载,中间处理算子都只不过是转换算子,只有实际调用具体action算子之后才会触发整个streams pipline的计算过程流处理特点 遍历过程只能进行一次 使用内部迭代而无需借...

2019-09-28 12:01:01 51

原创 java8 Lambda表达式使用 以及变量的使用限制 方法引用

笔记地址lambda使用摘要1、lambdas in a nutshell1、简而言之2、lambda 表达式组成 参数 箭头 方法体3、lambda案例2、where and how to use lambdas1、Functional Interfaces2、Function descriptor3、the execute-around patt...

2019-09-26 21:19:07 1734

原创 java 8 Functions Stream

1、Functions in java特性总结2、Streams流处理两种方式1、顺序处理 sequential processing2、并行处理 parallel processing3、Default methods and java modules1、Functions in java方法和lambdas 作为一阶公民特性总结method ref...

2019-09-23 00:33:16 44

原创 Java8 modern java in action 面向函数编程 流处理 拯救java 拯救自己

待续,不知道为什么用满大人作为封面:。。。java8大变化写在前面的话,java为什么要变化写在前面的话,java8 之所以发生变化,一是外部原因,我们称之为气候的变化:计算机硬件的改变,从单核cpu到多核cpu变化。二是内部竞争,因为伴随大数据时代到来,起来很多新兴语言,诸如scala,这些语言能更好的适应大数据开发,所以java也必须拥抱变化。从另外一种意义上来说,java 8的变...

2019-09-21 23:40:00 110

转载 常见排序 算范 希尔排序

版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/weixin_37818081/article/details/79202115 </div> <link rel="stylesheet" href=...

2019-05-05 17:12:16 56

转载 永久激活idea

1、去官网下载并安装 idea地址:https://www.jetbrains.com/idea/download 文件有点大,耐心等待一会儿。2、下载破解(crack) jar 包链接: https://pan.baidu.com/s/1xhkYQVrQay2N8LEtQEjv3A提取码: 4nb4如果失效,留言回复,或者先用原来的那种方式,也能用,只是可能不是永久激活了。3、下载好了的...

2019-05-05 00:14:15 700 3

转载 数据结构 b树 b+树

转载于:http://www.cnblogs.com/yangecnu/p/Introduce-B-Tree-and-B-Plus-Tree.html 浅谈算法和数据结构: 十 平衡查找树之B树 前面讲解了平衡查找树中的2-3树以及其实现红黑树。2-3树种,一个节点最多有2个key,而红黑树则使用染色的方式来标识这两个key。维基百科对B树的定义为“在计...

2019-05-04 23:16:34 64

原创 双向链表的插入删除新增

链表节点 存放 结点值,前继结点,后续结点public class DoubleLink { public Long value; public DoubleLink pre; public DoubleLink next; public DoubleLink(Long value) { this.value = value; } ...

2019-05-04 12:51:09 279

原创 树的排序算法 前序 中序 后序

树节点 保存结点值,左子树,右子树public class TreeNode { private String value; private TreeNode left; private TreeNode right; public String getValue() { return value; } public v...

2019-05-04 12:38:37 686

原创 计算机自顶向下 第3章 运输层

名词UDP 用户数据协议 不可靠 无连接 TCP 传输控制协议 可靠 、面向连接 segment 运输层分组为报文段 ip 网络协议 best-effort delivery service 尽力而为交付服务 unreliable service 不可靠服务 transport-layer multiplexing 运输层多路复用 demultipl...

2019-04-22 14:09:17 129

原创 微服务 消费 网关 几种配置

目录1、微服务消费1、微服务的消费模式 1、 服务直连模式 restTemplate.getForEntity(uri,String.class)2、客户端发现模式3、服务端发现模式 2、常见微服务的消费者3、使用Feign 实现服务的消费者4、实现服务的消费均衡及高可用 Ribbon1、微服务消费1、微服务的消费模式...

2019-04-20 13:41:39 460

原创 计算机网络自顶向下 应用层 HTTP 协议

二、计算机网络自顶向下 应用层目录二、计算机网络自顶向下 应用层一些名词进程通信2、应用层运输服务一些名词application architecture 应用程序体系结构 client-server architecture 客户-服务器体系结构 P2P p2p architecture p2p体系结构 process 进程通信 socket 套接字...

2019-04-17 17:57:18 117

原创 Mysql数据库的优化

数据库的优化1、合理设计数据库 3F式2、合理设计数据库索引3、分库分表4、

2019-04-17 13:31:30 45

原创 第一章 计算机网络和因特网

1、计算机和网络一些名词DSL digital subscriber line 数字用户线 ISP Internet Service Provider 网络服务提供者 DSLAMDigital Subscriber Line Access Multiplexer 数字用户线接入复用器 FTTH Fiber To Ther Home 光纤用户 分为主动光纤网络 AO...

2019-04-16 17:39:53 174

转载 设计模式六大原则

单一职责原则http://blog.csdn.net/lovelion/article/details/7536542开闭原则http://blog.csdn.net/lovelion/article/details/7537584里氏替换原则http://blog.csdn.net/lovelion/article/details/7537584依赖倒置原则http://blog....

2019-03-19 21:25:15 47 2

转载 kafka详细文章

KafkaKafka是最初由Linkedin公司开发,是一个分布式、支持分区的(partition)、多副本的(replica),基于zookeeper协调的分布式消息系统,它的最大的特性就是可以实时的处理大量数据以满足各种需求场景:比如基于hadoop的批处理系统、低延迟的实时系统、storm/Spark流...

2019-03-11 16:23:33 120

转载 java 很全的面试

JAVA基础JAVA中的几种基本类型,各占用多少字节?下图单位是bit,非字节 1B=8bitString能被继承吗?为什么?不可以,因为String类有final修饰符,而final修饰的类是不能被继承的,实现细节不允许改变。平常我们定义的String str=”a”;其实和String str=new String(“a”)还是有差异的。前者默认调用的是String.valueO...

2019-03-04 14:43:14 104

原创 linux shell脚本

目录shell基础知识什么是ShellShell种类查看使用ShellShell环境定义临时环境变量将环境变量永久生效系统预定义的环境变量shell脚本编程创建Shell脚本首行注释内容Shell脚本的权限Shell脚本的执行1 输入脚本的绝对路径或相对路径2 bash或sh +脚本3 在脚本的路径前再加". " 或sourc...

2019-02-15 13:52:26 251

原创 linux 基础命令

目录UNIX与Linux发展史Linux介绍Linux应用领域Linux特点CentOS  社区版VMware学习方法转变思维习惯不惧英文 勇往直前动起来 练习su 命令文件处理命令cd   ls   pwdmkdirtouchcpmvrmcat  morehead  tail ln   帮助命...

2019-02-15 13:50:54 330

转载 快速排序算法

高快省的排序算法有没有既不浪费空间又可以快一点的排序算法呢?那就是“快速排序”啦!光听这个名字是不是就觉得很高端呢。假设我们现在对“6 1 2 7 9 3 4 5 10 8”这个10个数进行排序。首先在这个序列中随便找一个数作为基准数(不要被这个名词吓到了,就是一个用来参照的数,待会你就知道它用来做啥的了...

2019-02-01 15:51:06 71

原创 复习spring基础知识

1、spring  配置1、通过注解配置  启动器类@Configuration的配置类启动容器Spring为基于注解类的配置提供了专门的ApplicationContext实现类:AnnotationConfigApplicationContext@Configuration@EnableCaching@EnableScheduling@ComponentScan(baseP...

2019-01-30 16:30:00 82

原创 spark相关提问

1、spark和hadoop优势?Spark 把中间数据放到内存中,迭代运算效率高。MapReduce 中计算结果需要落地,保存到磁盘上,这样势必会影响整体速度,而 Spark 支持 DAG 图的分布式并行计算的编程框架,减少了迭代过程中数据的落地,提高了处理效率。(延迟加载) 其次,Spark 容错性高。Spark 引进了弹性分布式数据集 RDD (Resilient Distribute...

2019-01-25 18:30:15 130

原创 java 基础总结 泛型 反射

1、方法重载两同 :同一个类,同一个方法名三不同:参数类型,参数个数,参数顺序不同返回值类型以及修饰符不构成方法重载 如上不构成方法重载,原因,java泛型类型擦除2、泛型   类型擦除正确理解泛型概念的首要前提是理解类型擦除(type erasure)。 Java中的泛型基本上都是在编译器这个层次来实现的。在生成的Java字节代码中是不包含泛型中的类型信息的。使用...

2019-01-25 17:38:33 73

转载 java 多线程

不管你是新程序员还是老手,你一定在面试中遇到过有关线程的问题。Java语言一个重要的特点就是内置了对并发的支持,让Java大受企业和程序员的欢迎。大多数待遇丰厚的Java开发职位都要求开发者精通多线程技术并且有丰富的Java程序开发、调试、优化经验,所以线程相关的问题在面试中经常会被提到。在典型的Java面试中, 面试官会从线程的基本概念问起, 如:为什么你需要使用线程, 如何创建线程,用什么方...

2019-01-18 10:14:38 79

转载 数据库索引

这篇文章是介绍MySQL数据库中的索引是如何根据需求一步步演变最终成为B+树结构的以及针对B+树索引的查询,插入,删除,更新等操作的处理方法。Oracle和DB2数据库索引的实现基本上也是大同小异的。文章写得很通俗易懂,就转在这了。关于B+树和索引内部结构可以参考:《B 树、B- 树、B+ 树和B* 树》和《深入理解DB2索引(Inde...

2019-01-16 14:11:56 78

原创 Eclipse工作空间打不开 启动日志报错 java.lang.AssertionError: assertion failed

如下图好恶心  急着找问题  打不开项目  fuck............   打开日志 java.lang.AssertionError: assertion failed at scala.Predef$.assert(Predef.scala:204) at scala.tools.scalap.Classfile.<init>(Classfi...

2019-01-15 17:51:26 1489

提示
确定要删除当前文章?
取消 删除