- 博客(23)
- 收藏
- 关注
RSS订阅原创 redis
redis应用五种数据结构：string/list/set/hash/zset string是动态字符串，可以通过append追加。类似于java中的arraylist，采用的是预分配冗余空间来减少内存空间的频繁分配，当字符串小于1M时，扩容都是加倍现有空间，当大于1M时，扩容是增加1M空间，redis字符串最大是512M。 list相当与java中的linkedlist（其实不是，zip...
2019-08-23 16:30:52
196
原创 flink
checkpointBarriers当接收到jobmanager要进行checkpoint的请求时，会在当前source的数据插入一个barrier，随之该barrier往下游走，期间需要进行快照的操作只要碰到barrier，就会触发自身的快照操作，当所有sink确认快照后，就会向checkpoint协调器发送确认该快照完成，当失败重启时，会从最近一次成功保存的快照恢复。barrier的...
2019-08-23 16:30:40
473
原创 排序算法
冒泡排序元素两两交换，最终选择一个最大的放到最后，完成一次冒泡；第二次在剩下的元素中再两两交换，选择一个最大的放到剩下元素的最后，以此类推..时间复杂度,是稳定的，最好和最坏都是O(n^2) public static void bubbleSort(int[] arr) { int len = arr.length; for (int i = ...
2019-08-23 16:30:07
159
原创 ACID CPA BASE
ACID传统数据库的四大特性：atomicity consistency isolation druabilitycap分布式服务中，存在以下三种特性，但不会同时满足这三种，最多只能满足其中两种consistency availability partition tolerabce一句话概括：在分区容错性下，数据一致性和可用性只能满足其中一个。在分布式系统中...
2019-08-23 16:28:50
217
原创 集合
hashmap、hashtable、concurrenthashmap、treemap底层结构：链表数组 hashmap线程非安全表现在？put时数据不一致，java多线程是通过线程轮流切换并分配处理器时间的方式实现的，假定有两个线程A和B，当A线程定位到桶的索引坐标和链表头时，时间片用完了，此时B线程执行，但是B线程定位到的桶索引坐标和A一样，并且插入成功，此时时间片再分配给A之后，A会...
2019-08-23 16:28:29
141
原创 java内存相关
jvm接https://blog.csdn.net/focuson_/article/details/81170959垃圾回收算法标记算法无论哪种垃圾回收算法，都需要找到垃圾对象。有两种算法:1、引用计数算法：堆中每个对象都有一个引用计数器，引用时加1，对象回收时，他引用的任何对象引用都减1，但是难以检测出对象之间的循环引用，增加了程序执行的开销，早期的jvm使用该算法2、根搜...
2019-08-05 20:57:57
165
原创 日志采集之filebeat和flume
Filebeat（基于6.5版本） 概述filebeat的由来Logstash是ELK（ElasticSearch、Logstash、Kibana）组件中的一个。这三个组件往往是配合使用的：ES负责数据的存储和索引，Logstash负责数据采集和过滤转换，Kibana则负责图形界面处理；之后，这三个组件又先后被收购于Elastic.co公司名下因为logstash是jvm跑的，资源...
2019-05-27 16:22:28
13237
原创 java的四种引用
java的四种引用强引用即为一般引用，软引用会在内存不足时回收，弱引用则是在GC时立即回收，虚引用一般用于标记GC对对象内存的操作。1、强引用平时使用的都是强引用，把一个对象创建并赋给一个引用变量。强引用有引用变量指向时，不会进行回收这种对象，直至oom。如果想中断强引用和某个对象之间的关联，可以显示地将引用赋值为null，这样一来的话，JVM在合适的时间就会回收该对象，但也...
2018-10-02 13:41:23
211
原创 嗯嗯
JDK -JRE --JVM。java虚拟机，经过编译的字节码问价在这个上面运行。因此可以跨平台，但现在看来扩平台已经不能称之为优势。 --核心类库 -开发工具数据类型 java：byte short int long float double 上面分别的字节数是1/2/4/8/4/8，一个字节是8bit，即8位，由于在底层都是...
2018-10-02 11:24:04
979
原创 jvm
三种JVM Sun公司的HotSpot； BEA公司的JRockit； IBM公司的J9 JVM； 在JDK1.7及其以前我们所使用的都是Sun公司的HotSpot，但由于Sun公司和BEA公司都被oracle收购，jdk1.8将采用Sun公司的HotSpot和BEA公司的JRockit两个JVM中精华形成jdk1.8的JVM。程序计数器Prog...
2018-07-23 17:09:05
1878
原创 elasticsearch操作
添加 类型为employee，该类型位于索引megacorg，每个雇员索引一个文档，该文档包含该雇员的全部信息（面向文档），该雇员的id为1需要index、type、idcurl -X PUT -H 'Content-Type: application/json' -i http://focuson1:9200/megacorp/employee/1 --data '{ "first_nam...
2018-06-04 18:16:25
747
原创 elasticsearch安装
安装启动：进入focuson1的/usr/local/src/elasticsearch上传压缩包elasticsearch-6.2.4.zip并解压安装ik中文分词器插件（分词器插件和elasticsearch有对应版本，如果没有按照对应版本，会报错，具体对应版本见GitHub）./bin/elasticsearch-plugin install https://github.com/medcl...
2018-06-04 17:07:29
214
原创 简单工厂、工厂方法、抽象工厂
简单工厂1public class SimpleFactory { public static void main(String[] args) { factory.getInstance(factory.XINGWEI_CHI).xingWei();; }}interface Person{ public void xingWei();}class Chi implemen...
2018-05-13 23:54:38
210
原创 zookeeper内部机制与注册监听机制
zookeeper应用：You can use it off-the-shelf to implement consensus, group management, leader election, and presence protocols. And you can build on it for your own, specific needs.集群节点为什么建议奇数个？...
2018-05-12 16:28:36
1375
原创 yarn（Yet Another Resource Negotiator）
hadoop的MRv1JobTracker接收client端提交的任务；分配任务给TaskTracker；监控TaskTracher；TaskTracher执行JobTracher分配给自己的任务缺点：计算资源和计算模型的管理调度耦合。即JobTracker自己资源调度、并监控管理TaskTracker集群的资源受jobTracker的能力限制不是一个通用框架，只是针对hadoop的mrhadoo...
2018-05-12 11:21:03
589
原创 hbase原理解读
regionServer之zookeeperregionServer在zookeeper上创建一个短暂的临时节点，通过一个会话session与zookeeper建立链接，zookeeper是通过heartbeat来为活跃的会话维护创建的短暂的临时节点；zookeeper留存了服务器健康状态和是否可用的信息，HMaster监视这些节点以发现可用的RegionServer以及可能的服务器故障；如果Re...
2018-05-07 18:06:34
259
原创 装饰器、静态代理、动态代理
装饰器介绍：要修改一个类的方法，该类已经存在时，用到装饰器模式装饰者要和被装饰者实现同一个接口装饰者要声明一个以被装饰者接口为入参的构造器装饰者内部，想要改造的方法自己实现，不想要改造的方法使用被装饰者的方法使用时，已有一个被装饰者的对象，new一个装饰者，把被装饰者传进去之后该接口的实现类就可以使用该装饰类缺点：如果该类有多个方法时，写一个装饰类会有很多代码冗余，代码不太雅观例子如下：存在一个接...
2018-05-06 23:01:02
586
原创 spark原理解析和spark core
spark原理解析解析一：resilient distributed dataset (RDD)resilient distributed dataset (RDD):弹性分布式数据集，有容错机制可并行执行。分布式即体现在每个rdd分多个partition，每个partition在执行时为一个task，会被master分配到某一个worker执行器（Executor）的某一个core中。弹性体现在...
2018-05-06 21:56:58
5234
原创 spark集群搭建（完全分布式）
说明说明1、其余的见前几篇博客，本文基于之前安装的集群安装spark，安装的节点如下（标红的为本次安装）：机器 安装软件 进程 focuson1 zookeeper;hadoop namenode;hadoop DataNode;hbase master;hbase regionrerver;spark master;spark worker JournalNode; DataNode;...
2018-05-05 20:56:58
14933
1
原创 hbase集群的搭建（完全分布式）
说明zookeeper和hadoop在头两篇文章已经介绍了，本文基于之前安装的集群安装hbase，安装的节点如下（标红的为本次安装）：机器 安装软件 进程 focuson1 zookeeper;hadoop namenode;hadoop DataNode;hbase master;hbase regionrerver JournalNode; DataNode; QuorumPeerM...
2018-05-02 17:25:16
904
原创 Hadoop（yarn）集群安装
说明说明一：此篇为大数据部分第二篇，第一篇见戳链接https://blog.csdn.net/focuson_/article/details/80153371，机器的安装准备说明和zookeeper的安装已经在上一篇博客中说明。说明二：本文为hadoop的安装，集群分布情况设计为：机器 安装软件 进程 focuson1 zookeeper，hadoop namenode，hadoop Da...
2018-05-02 00:23:33
589
原创 zookeeper集群搭建
工作这么久了，想把hadoop生态圈有关的东西整理一下，把之前会的整理一下，不会的再自己摸索一下。预计分为两个阶段：一、完全分布式平台搭建（zookeeper平台的搭建、hadoop平台的搭建、hbase平台的搭建、spark平台的搭建、hive平台的搭建），二、使用和原理剖析（分别为zookeeper、hadoop、hbase、spark、hive），之后会涉及到redis、kafka、flum...
2018-04-30 23:57:45
498
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人