![](https://img-blog.csdnimg.cn/20201014180756724.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
程序
文章平均质量分 93
龙卷风摧毁停车场!
不是我很孤独,当我环顾四周时候发现没有同类。
展开
-
你们要的Scala语言全家桶来咯,持续更新ing。。。
SCALA语言作者认为scala是最简单又方便的的语言, 懒人必备。1.scala的概述1.1什么是scalascala它是一门语言学过的其他语言:java js shell c C++1.2scala它是多范式的编程语言:(1)面向对象(2)面向函数式编程f(x)=y函数式编程和它的高级特性(泛型,隐士类,隐士函数,隐士参数等等)1.3 scala语言的优点: 快,代码简洁1.4scala语言的缺点: 难以理解为什么要学习scala2.1优雅:这是框架设计师第一个要原创 2020-07-11 22:43:13 · 278 阅读 · 0 评论 -
Hive全家桶
什么是hive1.1hive基本思想hive是基于Hadoop的一个数据仓库工具(离线),可以将结构化数据文件映射为一张数据库表,并提供SQL查询功能。1.2为什么使用Hive直接使用hadoop所面临的问题(50%) 人员学习成本太高 项目周期要求太短 MapReduce实现复杂查询逻辑开发难度大为什么使用hive操作接口采用类SQL语句,. 提供快速开发能力。避免了去写MapReduce,减少了开发人员的学习成本。功能扩展很方便。1.3Hive的特点可原创 2020-07-06 18:08:06 · 592 阅读 · 0 评论 -
HDFS读写流程基本介绍(详细)
HDFS读写流程1.0HDFS写数据流程1.0.0 概述客户端要向HDFS写数据,首先要和namenode通信以确认可以写文件并获得接受文件block的datanode,然后,客户端按顺讯将文件逐个block传递给相应的datanode,并由接收到block的datanode负责向其他的datanode复制block的副本(block块大写:我们开发那会,服务器内存小,block块大小按64m,现在的是128m)1.0.2详细步骤图1.0.3详细步骤解析(重点)1,根namenode通信请求原创 2020-06-29 18:29:10 · 1233 阅读 · 0 评论 -
HA集群安装部署—详细
1.运行环境1.1软件环境三个字节OS: 64位RHEL5及以上或者64位CentOS6.0及以上JVM: 预装64位JDK1.8及以上版本1.2浏览器要求Firefox 39.0.0版本以及以上或者Google Chrome 54.0.2840.8版本及以上.BEH-Manager-4.1.2安装包于官方网站下载: http://beh.pezy.cn/**2.安装准备**2.1准备虚拟机准备三个节点的虚拟机2.2修改主机名在各个节点执行以下操作来修改主机名,使集群下的原创 2020-06-29 12:02:44 · 571 阅读 · 0 评论 -
hadoop高可用并取代SecondaryNamenode
Hadoop2 的高可用并取代SecondaryNamenode在hadoop2.0之前,namendoe只有一个,存在单点问题(虽然hadoop1.0有secondarynamenode,checkpointnode,buckcupnode这些,但是单点问题依然存在),在hadoop2.0引入了HA机制。hadoop2.0的HA机制官方介绍了有2种方式,一种是NFS(Network File System)方式,另外一种是QJM(Quorum jormal Manager)方式2,基本原理had原创 2020-06-29 10:18:53 · 808 阅读 · 0 评论 -
大数据 hadoop-HDFS
标题## 1 Hadoop 系统架构1.1 Hadoop1.x和Hadoop2.x 架构在介绍HA之前,我们先来看下Hadoop的系统架构,这对于理解HA是至关重要的,Hadoop 1.x之前,其官方架构如图1所示:[ 图1.Hadoop 1.x架构图 ]从图中可看出,1.x版本之前只有一个Namenode,所有元数据由惟一的Namenode负责管理,可想而之当这个NameNode挂掉时整个集群基本也就不可用。Hadoop 2.x的架构与1.x有什么区别呢。我们来看下2.x的架构:[ 图2.原创 2020-06-29 09:30:47 · 255 阅读 · 0 评论 -
2020java面试题,找不到工作来找我(二)
阻塞线程。put 操作-生产者与带超时时间的 poll 类似不同在于 put 时候如果当前队列满了它会一直等待其他线程调用 notFull.signal 才会被唤醒。take 操作-消费者与带超时时间的 poll 类似不同在于 take 时候如果当前队列空了它会一直等待其他线程调用 notEmpty.signal()才会被唤醒。size 操作-消费者当前队列元素个数,如代码直接使用原子变量 count 获取。public int size() { return count.get();原创 2020-06-03 16:28:40 · 1491 阅读 · 2 评论 -
2020java面试必问,找不到工作你找我(一)
Java 面试宝典第一章 内容介绍 20第二章 JavaSE 基础 21一、 Java 面向对象 211.面向对象都有哪些特性以及你对这些特性的理解 212.访问权限修饰符 public、private、protected, 以及不写(默认)时的区别(2017-11-12) 223.如何理解 clone 对象 22二、 JavaSE 语法(2017-11-12-wl) 27Java 有没有 goto 语句?(2017-11-12-wl) 27& 和 &&原创 2020-06-03 16:27:07 · 4498 阅读 · 0 评论 -
welcome to Nginx!!
ss原创 2020-05-27 18:28:28 · 2054 阅读 · 0 评论 -
RabbitMQ死信队列详解
死信队列死信队列介绍死信队列:DLX,dead-letter-exchange利用DLX,当消息在一个队列中变成死信(dead message)之后,他能被重新publish导另外一个Echange,这个Exchange就是DLX消息变成死信有一下几种情况消息被拒接(basic.reject / basic.nack),并且requeue = false消息TTL过期...原创 2020-02-29 19:19:06 · 356 阅读 · 0 评论 -
虚拟机ping不通百度
虚拟机VMware ping 不通百度,连不上MobaXter1.This computer 1.1此电脑里面 进管理 1.2点服务和应用程序1.3服务, WMware连续的五个服务都得开在VMware里面检查 端口号一些配置的是否正确...原创 2020-01-04 09:28:26 · 1426 阅读 · 0 评论 -
如何实现负载均衡,那些算法可以实现
1.轮询调度 轮询调度算法就是以轮询的方式依次将请求调度到不同的服务器,即每次调度执行i = (i + 1) mod n,并选出第i台服务器。算法的优点是其简洁性,它无需记录当前所有连接的状态,所以它是一种无状态调度。 2、最小连接调度 最小连接调度算法是把新的连接请求分配到当前连接数最小的服务器。最小连接调度是一种动态调度算法,它通过服务器当前所活跃的连接数来估计服务器的负载情况。 ...原创 2019-12-23 12:00:35 · 388 阅读 · 0 评论 -
对分布式事务的理解--简单
事务的ACID特性1.原子性: such as:通俗的说原子性就是:在整个事务中的所有操作,要么全部完成要么全部不做,没有中间的做或者不做做了一半等。(没有) 事务再执行中发生错误,所有的操作都会被回滚,整个事务就像从没被执行过一样.一致性事务再执行必须保证系统的一致性, 比如转账, 我有500, 你有500,如果再一个事务里我成功的转账给你100,不管并发是多少,不管出现什么情况,只要执...原创 2019-12-23 11:48:58 · 176 阅读 · 0 评论 -
消息中间件
为了解决消息丢失这一问题,因此我们引出了一些重发机制,同时也带来了”消息重复“的问题 :如下 such as:当消息发送超市时候,消息则处于不确定的状态,导致重试发送消息,有可能之前的消息已经发送成功了,会出现消息重复的情况。 解决:每个消息生成一个消息id,如果发送的消息Broker已经存在了,则丢弃,这种方法只需要维护一个已经接受的消息的message id list.消息Brok...原创 2019-12-19 10:25:40 · 100 阅读 · 0 评论 -
3. 大数据生态圈包括哪些内容,分别有什么用途面试
hadoop 生态概况Hadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下,开发分布式程序。充分利用集群的威力进行高速运算和存储。具有可靠、高效、可伸缩的特点。Hadoop的核心是YARN,HDFS和Mapreduce下图是hadoop生态系统,集成spark生态圈。在未来一段时间内,hadoop将于spark共存,hadoop与s...原创 2019-12-19 09:08:57 · 2756 阅读 · 0 评论 -
接口的幂等性的概念
幂等的意思是同一个操作,重复执行多次,跟执行一次结果一致。消息幂等,即消息发送操作对于消息消费来说是幂等。也就是相同的消息发送多次,跟发送一次是一样的,这个消费只会被消费一次。...原创 2019-12-16 16:41:43 · 213 阅读 · 0 评论 -
Dubbo底层实现原理和机制
Dubbo底层 用到Socket1.通信原理计算机于外界的信息交换成为通信, 基本的通信方法有两种 并行通信和串行通信并行通信:Parallel communication{并行是指多比特数据同时通过并行线进行传送,这样数据传送速度大大提高,但并行传送的线路长度受到限制,因为长度增加,干扰就会增加,数据也就容易出错。} 穿行通信:serial communication 串行通信作为计算机...原创 2019-12-07 10:43:22 · 1262 阅读 · 0 评论 -
Spark和Flink
Flink VS Spark 流计算 和机器学习集成在流式计算领域,同一套系统需要同时兼具容错和高性能其实非常难,同时也是一个衡量和选择的一个系统的标准,在这个领域内 Spark和flink是非常强劲的对手1.Spark和 Flink Api情况比较2.Spark和Flink支持的语言 Such as:3.Spark和flink之间的 ConectionSpark支持的C...原创 2019-12-07 08:59:32 · 350 阅读 · 0 评论 -
Mybatis
first day ...翻译 2019-07-24 09:38:28 · 105 阅读 · 0 评论 -
注解
如果注解难于理解,你就把它类同于标签,标签为了解释事物,注解为了解释代码。注解的基本语法,创建如同接口,但是多了个 @ 符号。注解的元注解。注解的属性。注解主要给编译器及工具类型的软件用的。注解的提取需要借助于 Java 的反射技术,反射比较慢,所以注解使用时也需要谨慎计较时间成本。作者:frank909来源:CSDN原文:https://blog.csdn.net/briblue...翻译 2019-07-10 17:15:57 · 102 阅读 · 0 评论