- 博客(13)
- 资源 (5)
- 收藏
- 关注
RSS订阅转载 ZooKeeper故障处理
Zookeeper一般会出现以下两种故障：1.Zookeeper进程挂掉；2.Zookeeper进程还在，但不提供服务；（提示：ThisZooKeeperinstanceisnotcurrentlyservingrequests）Zookeeper故障监控：1.针对zookeeper进程的监控，直接监控器进程是否存在即可；（zookeeper进程名字：Quoru...
2019-08-31 16:44:15
1293
转载 Spark之RDD弹性特性
RDD作为弹性分布式数据集，它的弹性具体体现在以下七个方面。1．自动进行内存和磁盘数据存储的切换 Spark会优先把数据放到内存中，如果内存实在放不下，会放到磁盘里面，不但能计算内存放下的数据，也能计算内存放不下的数据。如果实际数据大于内存，则要考虑数据放置策略和优化算法。当应用程序内存不足时，Spark应用程序将数据自动从内存存储切换到磁盘存储，以保障其高效运行。2．基于Linea...
2019-08-29 06:55:08
367
原创 java内存结构
程序计数器：程序计数器是指CPU中的寄存器，它保存的是程序当前执行的指令的地址（也可以说保存下一条指令的所在存储单元的地址），当CPU需要执行指令时，需要从程序计数器中得到当前需要执行的指令所在存储单元的地址，然后根据得到的地址获取到指令，在得到指令之后，程序计数器便自动加1或者根据转移指针得到下一条指令的地址，如此循环，直至执行完所有的指令；（注：JVM中的程序计数器并不像汇编语言中的程序计数器...
2019-08-26 02:52:04
132
原创 java内存泄漏及预防总结
Java中的内存泄露，广义并通俗的说，就是：不再会被使用的对象的内存不能被回收，就是内存泄露。垃圾回收的时机：给对象赋予了空值null，之后再没有调用过。给对象赋予了新值，这样重新分配了内存空间。内存泄漏的场景：1、长生命周期的对象持有短生命周期的引用，就很可能会出现内存泄露。 例如：如果单例对象持有外部的引用，那么这个被引用对象将不能被 JVM 正常回收，导致内存泄漏。2、...
2019-08-26 01:22:54
167
原创 23种设计模式简介
零、设计模式的原则1.开闭原则：软件的维护性，复用性，扩展性。2.里氏替换原则：子类可以扩展父类的功能，但不能改变父类原有的功能。也就是说：子类继承父类时，除添加新的方法完成新增功能外，尽量不要重写父类的方法。3.依赖倒置原则：高层模块不应该依赖低层模块，两者都应该依赖其抽象；抽象不应该依赖细节，细节应该依赖抽象（比如顾客实体中的购买方法参数应该是商店接口而不是某个具体商店）。4.单一职责...
2019-08-21 05:40:10
395
原创 mysql及sql优化
一、mysql优化：1.查询优化慢查询日志开启并用mysqldumpslow分析使用EXPLAIN查看SQL执行计划，用法：EXPLAIN SELECT * FROM products2.使用索引B-Tree索引R-Tree索引在mysql很少使用，支持该类型的存储引擎只有MyISAM、BDb、InnoDb、NDb、Archive几种。相对于BTREE，RTREE的优势在于范围查找...
2019-08-18 08:09:39
132
原创 jvm优化概览
1.今日内容了解下我们为什么要学习JVM优化掌握jvm的运行参数以及参数的设置掌握jvm的内存模型（堆内存）掌握jamp命令的使用以及通过MAT工具进行分析掌握定位分析内存溢出的方法掌握jstack命令的使用掌握VisualJVM工具的使用我们为什么要对jvm做优化？运行的应用“卡住了”，日志不输出，程序没有反应服务器的CPU负载突然升高在多线程应用下，如何分配线程的数量？...
2019-08-17 06:22:44
188
原创 java并发包java.util.concurrent介绍
java.util.concurrent是并发包的目录。阻塞队列 BlockingQueue接口通常用于一个线程生产对象，而另外一个线程消费这些对象的场景。该接口的具体实现有ArrayBlockingQueue，DelayQueue，LinkedBlockingQueue，PriorityBlockingQueue，SynchronousQueue。DelayQueue 对元素进行持有直到...
2019-08-16 07:28:31
569
原创 HIVE中join、semi join、outer join举例详解
首先，hive中，left join与left outer join等价。举例子：hive> select * from zz0; 111111 222222 888888 hive> select * from zz1; 111111 333333 444444 888888hive> select * from zz0 join zz1 on z...
2019-08-15 04:21:22
245
原创 mapreduce自定义数据类型代码实现
package cn.itcast.mapreduce;import java.io.DataInput;import java.io.DataOutput;import java.io.IOException;import org.apache.hadoop.io.Writable;import org.apache.hadoop.io.WritableComparable;...
2019-08-13 02:43:52
135
原创 mapreduce wordcount完整代码
map：package cn.itcast.mapreduce;import java.io.IOException;import org.apache.hadoop.io.IntWritable;import org.apache.hadoop.io.LongWritable;import org.apache.hadoop.io.Text;import org.apache...
2019-08-13 01:55:04
883
转载 Spark Streaming与Storm对比
对比点 Storm Spark Streaming 实时计算模型 纯实时，来一条数据，处理一条数据 准实时，对一个时间段内的数据收集起来，作为一个RDD，再处理 实时计算延迟度 毫秒级 秒级 吞吐量...
2019-08-08 05:32:36
169
原创 常用的选择排序算法
一、排序1.选择排序（比较次数n2/2，交换次数n，原理是每次都找到最小的元素与第一个元素交换位置）int[] sort(int[] a){ //用于储存最小值 int b = 0; int N = a.length; for(int i=0; i<N; i++){ //将a[i]和a[i+1]~a[N-1]中的最小值交换 int min = ...
2019-08-07 06:56:31
285
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人