- 博客(316)
- 收藏
- 关注
RSS订阅原创 序列化
序列化与反序列化：如何通过网络传输结构化的数据？二进制流和字节流本质上是一样的。将结构化数据转换为字节流的过程称之为序列化。序列化同样适用于将结构化数据保存在文件中。序列化的因素：（1）序列化后的数据最好易于阅读（2）实现简单（3）速度快（4）序列化后的信息密度越大越好对于强业务类系统，比如电商类、社交类的系统，他们的特点是业务复杂，但对性能要求没有那么苛刻，推荐使用json。如果...
2019-08-17 00:50:32
486
转载 异步框架
异步是一种程序设计的思想，使用异步模式设计的程序可以显著减少线程等待，从而在高吞吐量的场景中，极大提升系统的整体性能，显著降低时延。异步思想就是，当我们要执行一项比较耗时的操作时，不去等待操作结束，而是给这个操作一个命令：“当操作完成后，接下来去执行什么。”Java8 内置的CompletableFuture和 ReactiveX 的RxJava，使用异步编程模型，虽然并不能加快程序本身的速度...
2019-08-16 22:59:22
1776
原创 slf4j 的配置
java日志框架log4j详细配置及与slf4j联合使用教程https://www.cnblogs.com/ywlaker/p/6124067.htmllog4j输出多个自定义日志文件，动态配置路径https://www.baidu.com/link?url=2h6dcHPfdq7P2T3VKe97JkhzIw8_OjYiNUsYaAwOm0X2OzOCrXoYYI78_V-WVA3hny9...
2019-08-09 15:12:44
262
原创 消息队列-重复消息-幂等
MQTT协议（Message Queuing Telemetry Transport），翻译过来就是遥信消息队列传输，MQTT是一个基于TCP的发布订阅协议，设计的初始目的是为了极有限的内存设备和网络带宽很低的网络不可靠的通信，非常适合物联网通信。MQTT支持三种QOS等级：QoS 0：“最多一次”，消息发布完全依赖底层 TCP/IP 网络。分发的消息可能丢失或重复。例如，这个等级可用于环境传...
2019-08-06 11:48:49
1212
原创 flume kafka
Kafka Sink uses the topic and key properties from the FlumeEvent headers to send events to Kafka. If topic exists in the headers, the event will be sent to that specific topic, overriding the topic ...
2019-08-05 17:20:15
276
原创 CAP定理
在任意的分布式系统中，一致性（Consistency），可用性（Availability）和分区容错性（Partition-tolerance）这三种属性最多只能同时存在两个属性。C 属性：一致性线性一致性（Linearizability Consistency）：在线性一致性的保证下，所有分布式环境下的操作都像是在单机上完成的一样，A 属性：可用性在分布式系统中，任意非故障的服务器都必须...
2019-08-01 16:11:28
164
原创 Workflow设计模式
工作流系统的设计模式1、复制模式（Copier Pattern）通常是将单个数据处理模块中的数据，完整地复制到两个或更多的数据处理模块中，然后再由不同的数据处理模块进行处理。需要对同一个数据集采取多种不同的数据处理转换，我们就可以优先考虑采用复制模式。2、过滤模式（Filter Pattern）3、分离模式（Splitter Pattern）想把数据分类为不同的类别来进行处理时，分离模...
2019-08-01 15:53:29
1405
转载 Elasticsearch
https://maimai.cn/article/detail?fid=1302443404&efid=CMeD__mXKvERfvRz34KMaA
2019-08-01 15:38:53
87
原创 消息队列-不丢消息
检测消息丢失的方法利用消息队列的有序性来验证是否有消息丢失。在 Producer 端，我们给每个发出的消息附加一个连续递递增的序号，然后在 Consumer 端来检查这个序号的连续性。拦截器机制，在 Producer 发送消息之前的拦截器中将序号注入到消息中，在 Consumer 收到消息的拦截器中检测序号的连续性，消息检测的代码不会侵入到你的业务代码中，发消息的时候必须要指定分区，并且，在每...
2019-08-01 10:15:43
186
原创 分布式事务
事务：原子性、一致性、隔离性、持久性。这四个属性通常称为 ACID特性目前大家所说的分布式事务，更多情况下，是在分布式系统中事务的不完整实现，分布式事务实现有 2PC（Two-phase Commit，也叫二阶段提交）、TCC(Try-Confirm-Cancel) 和事务消息。消息队列中的“事务”，主要解决的是消息生产者和消息消费者的数据一致性问题。事务消息适用的场景主要是那些需要异步更...
2019-08-01 09:50:56
122
原创 Nosql
传统的关系型数据库因为表和表之间的数据有关联，经常要进行join操作，所有数据要放在单机系统中，很难支持水平扩展，而Nosql型数据库天生支持水平扩展。如BigTable、MongoDB和Redis等。...
2019-07-29 17:32:31
219
原创 消息队列
使用消息队列的场景1、异步处理比如秒杀系统，包括风险控制； 库存锁定； 生成订单； 短信通知； 更新统计数据等，风险控制和库存锁定之后，其余的流程可以在后续再进行，也就是可以异步处理好处：更快的返回结果；减少等待，实现了步骤流程间的并发，提升了系统性能2、流量控制比如秒杀系统，使用消息队列隔离网关和后端服务，以达到流量控制和保护后端的目的这种设计的优点是：能根据下游的处理能力自动调...
2019-07-29 10:28:05
213
原创 tcp三次握手，四次挥手
三次握手双方都可以确认自己可以听到对方的声音，对方也可以听到自己的声音！https://www.cnblogs.com/lms0755/p/9053119.htmlhttps://blog.csdn.net/qq_38950316/article/details/81087809...
2019-06-11 16:43:12
120
转载 系统设计
一、概念：PV（Page View）访问量, 即页面浏览量或点击量，衡量网站用户访问的网页数量；在一定统计周期内用户每打开或刷新一个页面就记录1次，多次打开或刷新同一页面则浏览量累计。UV（Unique Visitor）独立访客，统计1天内访问某站点的用户数(以cookie为依据);访问网站的一台电脑客户端为一个访客。可以理解成访问某网站的电脑的数量。网站判断来访电脑的身份是通过来访电脑的co...
2019-01-29 17:36:09
188
转载 海量数据面试题
1、布隆过滤器https://blog.csdn.net/xinzhongtianxia/article/details/81294922
2019-01-29 15:04:51
160
原创 dfs bfs
200.Number of IslandsGiven a 2d grid map of '1’s (land) and '0’s (water), count the number of islands. An island is surrounded by water and is formed by connecting adjacent lands horizontally or vert...
2019-01-17 13:27:52
164
转载 图
https://www.cnblogs.com/hapjin/p/4760934.html【数据结构】图（邻接矩阵、邻接表）的JAVA代码实现https://blog.csdn.net/qq_38410730/article/details/79587747java图的邻接表实现两种方式及实例应用分析https://blog.csdn.net/feilong_csdn/article/de...
2019-01-06 01:46:15
133
原创 二叉树
1、二叉搜索树最近公共祖先public static TreeNode lowestCommonAncestor(TreeNode root, TreeNode p, TreeNode q) { if (root==null) { return root; } while(root!=null){ if ((p.val<=root.val&&amp...
2019-01-04 16:27:36
165
原创 链表
1、删除节点public static void deleteNode(ListNode node,int a) { ListNode p=node; ListNode q=node; while (p.next!=null) { if (p.val!=a) { p=p.next; q.next=p; } q.ne...
2019-01-04 16:23:25
170
原创 回文
public static boolean isPalindrome(String s){ int i=0;int j=s.length()-1; boolean flag=true; while(i<j) { while (!(isLetterOrDigi(s.charAt(i)))&&i<j) { i++; } while (!...
2019-01-04 16:21:38
163
转载 字符串
public String reverseString2(String s) { char[] word = s.toCharArray(); int i = 0; int j = s.length() - 1; while (i &amp;lt; j) { char temp = word[i]; wor...
2019-01-04 16:20:39
157
原创 前端小技巧
Not allowed to load local resource这是由于浏览器安全设置，导致Chrome内核无法访问到跨Tomcat服务器的资源，可能的解决方案是CORS，但是没有成功，还有一个方法是，在需要加载图片的地方用http请求将这个资源请求回来http://ip:8080/path...
2018-12-25 15:53:09
113
转载 telnet
Linux 远程登录命令telnethttps://www.cnblogs.com/kingsonfu/p/9779205.htmltelnet 127.0.0.1 能正常登录即成功linux环境下开启telnet远程登录https://blog.csdn.net/yygg329405/article/details/80387759linux远程登录（Telnet、SSH)http...
2018-12-18 14:44:38
228
转载 topk 堆
https://blog.csdn.net/juzihongle1/article/details/70212243堆（Heap）、堆排序和TopKhttps://www.cnblogs.com/eudiwffe/p/6202111.html《排序算法》——堆排序（大顶堆，小顶堆，Java）https://blog.csdn.net/Gamer_gyt/article/details/47...
2018-11-28 15:21:04
432
原创 sparkstreaming
要开始接收数据，必须显式调用 StreamingContext 的 start() 方法。这样，Spark Streaming 就会开始把 Spark 作业不断交给下面的 SparkContext 去调度执行。执行会在另一个线程中进行，所以需要调用awaitTermination 来等待流计算完成，来防止应用退出。...
2018-11-21 20:49:04
258
原创 sparkSQL rdd
Apache Hive 是 Hadoop 上的 SQL 引擎，Spark SQL 编译时可以包含 Hive 支持，也可以不包含。包含 Hive 支持的 Spark SQL 可以支持 Hive 表访问、UDF（用户自定义函数）、SerDe（序列化格式和反序列化格式），以及 Hive 查询语言（HiveQL/HQL）带有 Hive 支持的 Spark SQL 的 Maven 索引groupId...
2018-11-20 18:05:19
621
原创 maven 介绍
一、Maven 核心概念①POM②约定的目录结构③坐标④依赖管理⑤仓库管理⑥生命周期⑦插件和目标⑧继承⑨聚合二、三、Maven 的坐标使用如下三个向量在 Maven 的仓库中唯一的确定一个 Maven 工程。[1]groupid：公司或组织的域名倒序+当前项目名称[2]artifactId：当前项目的模块名称[3]version：当前模块的版本...
2018-11-18 00:32:02
167
原创 kafka SparkStreaming
发送的时候：kafka client 包里的KafkaProducer，发送的ProducerRecord接受的时候：spark.streaming.kafka包里的，0.10版本，KafkaUtils.createDirectStreamTopic：kafka里的AdminUtils.createTopickafka client 包里的KafkaConsumer和KafkaProduce...
2018-11-03 18:09:19
389
转载 二叉树遍历
/** * 前序 * LANG * @param Node */ public static void preOrder1(TreeNode Node) { Stack&amp;amp;lt;TreeNode&amp;amp;gt; stack = new Stack&amp;amp;lt;&amp;amp;gt;(); while (Node != null || !stack.empty()) {
2018-10-25 09:55:36
142
原创 递归、迭代、循环
https://www.cnblogs.com/zhizhan/p/4892886.htmlhttps://blog.csdn.net/qsbbl/article/details/76733215
2018-10-24 14:45:35
262
转载 System.out.print与Log的比较
System.out.print的优点：直观、方便。Log的优点：异步、解耦、灵活、策略多。提到System.out.print，除了感觉到方便之外，还会想到其他的优点吗？似乎也就这个优点，syso快捷键瞬间就是一条打印语句，很顺手的一件事，除了这个感觉外，似乎也没有其他特别的感受了。System.out.print和java运行程序运行在同一线程，也就是说，业务程序会等待System.ou...
2018-10-20 19:23:45
7765
转载 NIO
一、缓冲区（Buffer）：在 Java NIO 中负责数据的存取。缓冲区就是数组。用于存储不同数据类型的数据根据数据类型不同（boolean 除外），提供了相应类型的缓冲区：ByteBufferCharBufferShortBufferIntBufferLongBufferFloatBufferDoubleBuffer上述缓冲区的管理方式几乎一致，通过 allocate() 获...
2018-10-04 22:40:11
132
转载 Optional
/*一、Optional 容器类：用于尽量避免空指针异常Optional.of(T t) : 创建一个 Optional 实例Optional.empty() : 创建一个空的 Optional 实例Optional.ofNullable(T t):若 t 不为 null,创建 Optional 实例,否则创建空实例isPresent() : 判断是否包含值orElse(T t) :...
2018-10-04 00:46:19
2028
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人