自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

JavaEdge

全是硬核干货的公众号:JavaEdge

原创 Spark Sreaming实战(二)-小试流式处理

1 业务现状分析 需求 统计主站每个(指定)教程访问的客户端、地域信息分布 地域: ip转换 Spa rkSQL项目实战 客户端: use ragent获取 Hadoop基础课程 如上两个操作:采用离线(Spa rk/MapReduce )的方式进行统计 实现步骤 课程编号、i...

2019-05-22 01:09:40

阅读数 188

评论数 0

原创 突破Java面试(53)- 分布式架构的演进过程

目标 了解分布式架构中的相关概念 初始分布式架构及意义 分布式架构的发展过程和历史 分布式架构的演进过程 构建分布式架构最重要的因素 1 分布式架构的发展历史 1946 年情人节(2.14) , 世界上第一台电子数字计算机诞生在美 国宾夕法尼亚大学大学,它的名字是:ENIAC; 这台计算机占地...

2019-05-22 00:42:15

阅读数 180

评论数 0

原创 突破Java面试

02_redis如何在保持读写分离+高可用的架构下,还能横向扩容支撑1T+海量数据1、单机redis在海量数据面前的瓶颈 2、怎么才能够突破单机瓶颈,让redis支撑海量数据? 3、redis的集群架构 redis cluster 支撑N个redis master node,每个master no...

2019-05-18 14:52:01

阅读数 284

评论数 0

原创 突破Java面试(5)- 消息队列技术选型

1 面试题 消息队列(以下简称MQ),面试必问技术,工作必会技术,掌握它,是你的义务!!! 为什么使用MQ啊? MQ有什么优点和缺点啊? kafka、activemq、rabbitmq、rocketmq都有什么区别以及适合哪些场景? 2 考点分析 其实面试官主要是想看看: 2...

2019-05-16 18:03:48

阅读数 223

评论数 0

原创 Spark Sreaming实战(一)-教程概述

1 实战目标 至今实战教程的访问量 至今从搜索引擎引流过来的实战教程的访问量 2 实战流程 3 可视化显示 使用Spring Boot整合Echarts 阿里云DataV数据可视化框架 4 教程概要 5 计划 整合Flume、Kafka、 Spark Streaming打造通用的流处...

2019-05-16 15:18:27

阅读数 218

评论数 0

原创 1

1 面试题 分布式服务接口请求的顺序性如何保证? 2 考点分析 其实分布式系统接口的调用顺序,也是个问题,一般来说是不用保证顺序的。但是有的时候可能确实是需要严格的顺序保证。给大家举个例子,你服务A调用服务B,先插入再删除。好,结果俩请求过去了,落在不同机器上,可能插入请求因为某些原因执行慢了一些...

2019-05-16 15:04:28

阅读数 142

评论数 0

原创 突破Java面试(34)-dubbo支持的协议

1 面试题 dubbo支持哪些通信协议?支持哪些序列化协议? 2 考点分析 上一个问题,说说dubbo的基本工作原理,那是你必须知道的,至少知道dubbo分成哪些层,然后平时怎么发起rpc请求的,注册、发现、调用,这些是基本的。 接着就可以针对底层进行深入的问问了,比如第一步就可以先问问序列化协议...

2019-05-16 11:55:52

阅读数 198

评论数 0

原创 突破Java面试(33)-Dubbo的工作原理

1 面试题 说一下的dubbo的工作原理? 注册中心挂了可以继续通信吗? 说说一次rpc请求的流程? 2 考点分析 MQ、ES、Redis、Dubbo,上来先问你一些思考的问题,原理(kafka高可用架构原理、es分布式架构原理、redis线程模型原理、Dubbo工作原理),生产环境里可能会碰...

2019-05-16 11:29:39

阅读数 178

评论数 0

原创 突破Java面试(32)-为什么要把系统拆分成分布式的?为啥要用dubbo?

1 面试题 为什么要进行系统拆分? 如何进行系统拆分? 拆分后不用dubbo可以吗? 2 考点分析 从该节开始就进行分布式系统环节了,好多同学说,现在出去分布式成标配了,没有哪个公司不问问你分布式的事儿。你要是不会分布式的东西,简直这简历没法看,没人会让你去面试。 其实为啥会这...

2019-05-15 17:24:05

阅读数 244

评论数 0

原创 突破Java面试(31)-分布式系统连环炮

0 导读 有一些同学,之前呢主要是做传统行业,外包项目,互联网公司,一直是那种小的公司,技术一直都搞的比较简单。共同的一个问题,就是都没怎么搞过分布式系统,现在互联网公司,一般都是做分布式的系统,大家都不是做底层的分布式系统,分布式存储系统,hadoop hdfs,分布式计算系统,hadoop ...

2019-05-15 16:22:39

阅读数 234

评论数 0

原创 突破Java面试(7)-如何保证消息消费时的幂等性

1 面试题 如何保证消息消费时的幂等性? 2 考点分析 既然是消费消息,那肯定要考虑考虑会不会重复消费,能不能避免重复消费,或者重复消费了也别造成系统异常可以吗. 这个是MQ领域的基本问题,其实本质上还是问你使用消息队列如何保证幂等性,这个是你架构里要考虑的一个问题。 面试官问你,肯定是...

2019-05-14 13:02:46

阅读数 479

评论数 0

原创 Go实战抢红包系统(一)-简介

如果你是 企业工作的程序猿/媛 想要在科技竞赛中勇夺桂冠的有志青年 技多不压身对Go和微服务感兴趣攻城狮 校园毕业设计,项目面试,实习经验 你将掌握 独立从0到1 搭建整个Go红包项目 学会如何从需求到交付...

2019-05-13 14:58:50

阅读数 413

评论数 0

原创 突破Java面试(8)-MQ的数据去哪了

1 面试题 如何保证消息的可靠性传输(如何处理消息丢失的问题)? 2 考点分析 这个是肯定的,用mq有个基本原则,就是数据不能多一条,也不能少一条,不能多,就是刚才说的重复消费和幂等性问题。不能少,就是说这数据别搞丢了。那这个问题你必须得考虑一下。 如果说你这个是用mq来传递非常核心的消息...

2019-05-13 11:24:28

阅读数 201

评论数 4

原创 突破Java面试(19) - 直面分布式缓存

1 面试题 在项目中缓存是如何使用的?缓存如果使用不当会造成什么后果? 2 考点分析 这个问题,互联网公司必问,要是一个人连缓存都不太清楚,那确实比较尴尬 只要问到缓存,上来第一个问题,肯定能是先问问你项目哪里用了缓存?为啥要用?不用行不行?如果用了以后可能会有什么不良的后果? 这就是看...

2019-05-11 20:00:42

阅读数 175

评论数 0

原创 突破Java面试(27) - 如何保证缓存与数据库的数据一致性

1 面试题 如何保证缓存与数据库的双写一致性? 2 考点分析 你只要用缓存,就可能会涉及到缓存与数据库双存储双写,你只要是双写,就一定会有数据一致性的问题,那么你如何解决一致性问题? 3 详解 一般来说,就是如果你的系统不是严格要求缓存+数据库必须一致性的话,缓存可以稍微的跟数据库偶尔有...

2019-05-10 21:40:01

阅读数 577

评论数 0

原创 突破Java面试(28) - 如何解决Redis的并发竞争问题

1 面试题 redis的并发竞争问题是什么?如何解决这个问题?了解Redis事务的CAS方案吗? 2 考点分析 这个也是线上非常常见的一个问题,就是多客户端同时并发写一个key,可能本来应该先到的数据后到了,导致数据版本错了。或者是多客户端同时获取一个key,修改值之后再写回去,只要顺序错了,数据...

2019-05-09 17:56:22

阅读数 321

评论数 0

原创 突破Java面试(30) - 分布式缓存面试题回答技巧总结

这套东西基本构成了缓存这块你必须知道的基础性的知识,如果你不知道,那么说明你有点懒惰了,平时没好好积累。 因为这些问题确实不难,如果往深了问,可以问的很细,结合项目扣的很细 比如你们公司线上系统高峰QPS 3000? 那请求主要访问哪些接口? redis抗了多少请求? mysql抗了多少请求? 你...

2019-05-09 17:30:49

阅读数 367

评论数 0

原创 利用 Python 分析 MovieLens 1M 数据集

1 数据集简介 MovieLens数据集是一个关于电影评分的数据集,里面包含了从IMDB, The Movie DataBase上面得到的用户对电影的评分信息,详细请看下面的介绍。 1 links.csv 文件里面的内容是帮助你如何通过网站id在对应网站上找到对应的电影链接的。 1.1...

2019-05-08 21:09:36

阅读数 383

评论数 0

原创 突破Java面试-hystrix分布式系统可用性及设计原则

1 Hystrix是什么? 在分布式系统中,每个服务都可能会调用很多其他服务,被调用的那些服务就是依赖服务,有的时候某些依赖服务出现故障也是很正常的。 Hystrix可以让我们在分布式系统中对服务间的调用进行控制,加入一些调用延迟或者依赖故障的容错机制。 Hystrix通过将依赖服务进行资源隔离,...

2019-05-08 17:02:32

阅读数 189

评论数 0

原创 突破Java面试(02) - Redis如何通过读写分离来承载读请求QPS超过10万+?

1 Redis高并发跟整个系统的高并发之间的关系 Redis,你要搞高并发的话,不可避免,要把底层的缓存搞得很好 MySQL高并发,做到了,那么也是通过一系列复杂的分库分表,订单系统,事务要求的,QPS到几万,比较高了 要做一些电商的商品详情页,真正的超高并发,QPS上十万,甚至是百万,一秒钟百万...

2019-05-06 22:31:40

阅读数 546

评论数 1

原创 突破Java面试(23)-如何保证redis高并发及高可用

1 面试题 如何保证Redis的高并发和高可用?redis的主从复制原理能介绍一下么?redis的哨兵原理能介绍一下么? 2 考点分析 其实问这个问题,主要是考考你,redis单机能承载多高并发? 如果单机扛不住如何扩容抗更多的并发? redis会不会挂? 既然redis会挂那怎么保证redis是...

2019-05-06 22:00:43

阅读数 244

评论数 0

原创 ALS算法解析

1 前言 Spark平台推出至今已经地带到2.4.x版本,很多地方都有了重要的更新,加入了很多新的东西。 但是在协同过滤这一块却一直以来都只有ALS一种算法。 同样是大规模计算平台,Hadoop中的机器学习算法库Mahout就集成了多种推荐算法,不但有user-cf和item-cf这种经典算法,还...

2019-05-06 19:33:30

阅读数 945

评论数 0

原创 Apache Flink实战(二) - 第一个Flink应用程序

动手搭建Flink的开发环境,快速使用Java和Scala语言开发第一个基于Flink的批处理和流式处理的应用程序。 相关源码 下载安装 brew install apache-flink 1 需求描述 Flink开发批处理应用程序 需求:词频统计(word count...

2019-05-05 23:19:00

阅读数 347

评论数 0

原创 可能是推荐系统最详细且简单的入门教程

本文将深入介绍推荐系统的工作原理,和其中涉及的各种推荐机制,以及它们各自的优缺点和适用场景,帮助用户清楚的了解和快速构建适合自己的推荐系统。 1 信息发现 随着 Web 2.0 的发展, Web 已经变成数据分享的平台,如何让人们在海量的数据中想要找到他们需要的信息将变得越来越难。 在这样的...

2019-05-05 21:03:04

阅读数 1268

评论数 0

原创 突破Java面试(10)-百万消息在消息队列里积压了几个小时

1 面试题 如何解决消息队列的延时以及过期失效问题?消息队列满了以后该怎么处理?有几百万消息持续积压几小时,说说怎么解决? 2 考点分析 你看这问法,其实本质针对的场景,都是说,可能你的消费端出了问题,不消费了,或者消费的极其极其慢。 接着就坑爹了,可能你的消息队列集群的磁盘都快写满了,都没人消费...

2019-05-04 00:57:41

阅读数 219

评论数 0

提示
确定要删除当前文章?
取消 删除