- 博客(23)
- 资源 (7)
- 收藏
- 关注
RSS订阅原创 Spark Sreaming实战(二)-小试流式处理
1 业务现状分析需求统计主站每个(指定)教程访问的客户端、地域信息分布地域: ip转换Spa rkSQL项目实战客户端:use ragent获取Hadoop基础课程如上两个操作:采用离线(Spa rk/MapReduce )的方式进行统计实现步骤课程编号、ip信息、use ragent进行相应的统计分析操作: MapReduce/Spark项目架构日志收集: F lume...
2019-05-22 01:09:40
1305
原创 大厂Java面试-分布式架构演进史
目标了解分布式架构中的相关概念初始分布式架构及意义分布式架构的发展过程和历史分布式架构的演进过程构建分布式架构最重要的因素1 分布式架构的发展历史1946 年情人节(2.14) , 世界上第一台电子数字计算机诞生在美 国宾夕法尼亚大学大学，它的名字是:ENIAC; 这台计算机占地 170 平米、重达 30 吨，每秒可进行 5000 次加法运算。 第一台电子计算机诞生以后，意味着一...
2019-05-22 00:42:15
1346
原创 突破Java面试
02_redis如何在保持读写分离+高可用的架构下，还能横向扩容支撑1T+海量数据1、单机redis在海量数据面前的瓶颈2、怎么才能够突破单机瓶颈，让redis支撑海量数据？3、redis的集群架构redis cluster支撑N个redis master node，每个master node都可以挂载多个slave node读写分离的架构，对于每个master来说，写就写到master...
2019-05-18 14:52:01
1321
原创 消息队列技术选型
1 面试题消息队列(以下简称MQ),面试必问技术,工作必会技术,掌握它,是你的义务!!!为什么使用MQ啊？MQ有什么优点和缺点啊？kafka、activemq、rabbitmq、rocketmq都有什么区别以及适合哪些场景？2 考点分析其实面试官主要是想看看：2.1 知否系统缘何使用MQ？大量的候选人，说自己项目里用了redis、mq，但是其实他并不知道自己为什么要用这个东西。...
2019-05-16 18:03:48
1244
原创 Spark Sreaming实战(一)-教程概述
1 实战目标至今专栏的访问量至今从搜索引擎引流过来的专栏的访问量2 实战流程3 可视化显示使用Spring Boot整合Echarts阿里云DataV数据可视化框架4 教程概要初识实时流处理日志收集框架Flume消息队列Kafka实战环境搭建Spark Streaming入门Spark Streaming进阶Spark Streaming集成KafkaSpark Streaming集成Flume5 计划整合Flume、Kafka、 Spark Stream
2019-05-16 15:18:27
1663
1
原创 分布式服务接口请求的顺序性如何保证？
服务A发送的三个有序请求请求1、2、3，依次发到MQ，然后服务B的多个实例从MQ消费。建议从业务设计时，不需要这种顺序性的保证，一旦引入顺序性保障，会导致系统复杂度上升，而且会带来效率低下，热点数据压力过大等问题。俩请求过去了，落在不同机器节点，可能插入请求因某些原因执行慢些，导致删除请求先执行了，此时因DB没数据，所以啥影响也没；将比如某个订单id对应的请求都给分发到某机器，在那个机器上因为可能还是多线程并发执行，你得立即将某个订单id对应的请求扔一个内存队列，强制排队，确保顺序性。
2019-05-16 15:04:28
1004
1
原创 Dubbo支持的通信、序列化协议
1 面试题dubbo支持哪些通信协议？支持哪些序列化协议？2 考点分析上一个问题，说说dubbo的基本工作原理，那是你必须知道的，至少知道dubbo分成哪些层，然后平时怎么发起rpc请求的，注册、发现、调用，这些是基本的。接着就可以针对底层进行深入的问问了，比如第一步就可以先问问序列化协议这块，就是平时rpc的时候怎么走的？3 面试题详解3.1 dubbo支持不同的通信协议3.1....
2019-05-16 11:55:52
1226
原创 Dubbo的工作原理解析
1 面试题说一下的dubbo的工作原理？注册中心挂了可以继续通信吗？说说一次rpc请求的流程？2 考点分析MQ、ES、Redis、Dubbo，上来先问你一些思考的问题，原理（kafka高可用架构原理、es分布式架构原理、redis线程模型原理、Dubbo工作原理），生产环境里可能会碰到的一些问题（每种技术引入之后生产环境都可能会碰到一些问题），系统设计（设计MQ，设计搜索引擎，设计一...
2019-05-16 11:29:39
1182
原创 为什么要把系统拆分成分布式的？为啥要用dubbo？
1 面试题为什么要进行系统拆分？如何进行系统拆分？拆分后不用dubbo可以吗？2 考点分析从该节开始就进行分布式系统环节了，好多同学说，现在出去分布式成标配了，没有哪个公司不问问你分布式的事儿。你要是不会分布式的东西，简直这简历没法看，没人会让你去面试。其实为啥会这样呢？这就是因为整个大行业技术发展的原因早些年，在2010年初的时候，整个IT行业，很少有人谈分布式，更不用说微服务...
2019-05-15 17:24:05
1379
原创 分布式系统面试连环炮
0 导读有一些同学，之前呢主要是做传统行业，外包项目，互联网公司，一直是那种小的公司，技术一直都搞的比较简单。共同的一个问题，就是都没怎么搞过分布式系统，现在互联网公司，一般都是做分布式的系统，大家都不是做底层的分布式系统，分布式存储系统，hadoop hdfs，分布式计算系统，hadoop mapreduce，spark，分布式流式计算系统，storm。分布式业务系统，就是把原来用java开...
2019-05-15 16:22:39
1326
原创 如何保证消息消费时的幂等性？
1 面试题如何保证消息消费时的幂等性?2 考点分析既然是消费消息，那肯定要考虑考虑会不会重复消费,能不能避免重复消费,或者重复消费了也别造成系统异常可以吗.这个是MQ领域的基本问题，其实本质上还是问你使用消息队列如何保证幂等性，这个是你架构里要考虑的一个问题。面试官问你，肯定是必问的，这是你要考虑的实际生产上的系统设计问题。3 详解首先你别听到重复消息这个事儿，就一无所知吧，你先大概...
2019-05-14 13:02:46
2027
原创 Go实战(一)-概述
如果你是企业工作的程序猿/媛想要在科技竞赛中勇夺桂冠的有志青年技多不压身对Go和微服务感兴趣攻城狮校园毕业设计,项目面试,实习经验你将掌握独立从0到1搭建整个Go红包项目学会如何从需求到交付的整个项目开发流程和实际业务落地研发增强编程技巧、完善填坑思路提升填坑能力、塑造软件建模设计思维...
2019-05-13 14:58:50
1747
原创 消息的可靠性传输，如何处理消息丢失问题？
用MQ时，要注意消息数据：不能多，牵涉重复消费处理和幂等性问题不能少，消息不能搞丢呀若这是用MQ传递非常核心的消息，如计费系统，就是很重的业务，操作很耗时，设计上经常将计费做成异步化，就是用MQ。为确保MQ传递过程中不会弄丢计费消息。广告主投放个广告，说好用户点击一次扣1块。结果要是用户动不动点击了一次，扣费时搞的消息丢了，公司就会不断少几块。MQ丢数据，一般分两种:MQ自己弄丢了消费时弄丢了1.1 生产者丢数据生产者将数据发送到MQ时，因为网络等问题，数据在半路丢了。解决方案
2019-05-13 11:24:28
1244
4
原创 互联网大厂缓存与数据库的双写一致性解决方案
1 面试题如何保证缓存与数据库的双写一致性？2 考点分析你只要用缓存，就可能会涉及到缓存与数据库双存储双写，你只要是双写，就一定会有数据一致性的问题，那么你如何解决一致性问题？3 详解一般来说，就是如果你的系统不是严格要求缓存+数据库必须一致性的话，缓存可以稍微的跟数据库偶尔有不一致的情况，最好不要做这个方案读请求和写请求串行化，串到一个内存队列里去，这样就可以保证一定不会出现不一致的...
2019-05-10 21:40:01
2820
原创 如何解决Redis的并发竞争问题
1 面试题redis的并发竞争问题是什么？如何解决这个问题？了解Redis事务的CAS方案吗？2 考点分析这个也是线上非常常见的一个问题，就是多客户端同时并发写一个key，可能本来应该先到的数据后到了，导致数据版本错了。或者是多客户端同时获取一个key，修改值之后再写回去，只要顺序错了，数据就错了。而且redis自己就有天然解决这个问题的CAS类的乐观锁方案3 详解redis并发竞争...
2019-05-09 17:56:22
1730
原创 突破Java面试-生产环境的redis集群的部署架构是怎么样的
1 面试题生产环境中的redis是怎么部署的？2 考点分析看看你了解不了解你们公司的redis生产集群的部署架构，如果你不了解，那么确实你就很失职了，你的redis是主从架构？集群架构？用了哪种集群方案？有没有做高可用保证？有没有开启持久化机制确保可以进行数据恢复？线上redis给几个G的内存？设置了哪些参数？压测后你们redis集群承载多少QPS？兄弟，这些你必须是门儿清的，否则你确实是...
2019-05-09 17:53:25
500
原创 利用 Python 分析 MovieLens 1M 数据集
1 数据集简介MovieLens数据集是一个关于电影评分的数据集，里面包含了从IMDB, The Movie DataBase上面得到的用户对电影的评分信息，详细请看下面的介绍。1 links.csv文件里面的内容是帮助你如何通过网站id在对应网站上找到对应的电影链接的。1.1 数据格式movieId, imdbId, tmdbId1.1.1 movieId表示这部电影在movie...
2019-05-08 21:09:36
5678
2
原创 高可用系统架构(2)-Hystrix分布式系统高可用
1 Hystrix是什么？在分布式系统中，每个服务都可能会调用很多其他服务，被调用的那些服务就是依赖服务，有的时候某些依赖服务出现故障也是很正常的。Hystrix可以让我们在分布式系统中对服务间的调用进行控制，加入一些调用延迟或者依赖故障的容错机制。Hystrix通过将依赖服务进行资源隔离，进而组织某个依赖服务出现故障的时候，这种故障在整个系统所有的依赖服务调用中进行蔓延，同时Hystrix...
2019-05-08 17:02:32
1103
原创 Redis读写分离
1 Redis高并发跟整个系统的高并发之间的关系Redis，你要搞高并发的话，不可避免，要把底层的缓存搞得很好MySQL高并发，做到了，那么也是通过一系列复杂的分库分表，订单系统，事务要求的，QPS到几万，比较高了要做一些电商的商品详情页，真正的超高并发，QPS上十万，甚至是百万，一秒钟百万的请求量光是Redis是不够的，但是Redis是整个大型的缓存架构中，支撑高并发的架构里面，非常重要...
2019-05-06 22:31:40
1888
3
原创 ALS算法解析
1 前言Spark平台推出至今已经地带到2.4.x版本，很多地方都有了重要的更新，加入了很多新的东西。但是在协同过滤这一块却一直以来都只有ALS一种算法。同样是大规模计算平台，Hadoop中的机器学习算法库Mahout就集成了多种推荐算法，不但有user-cf和item-cf这种经典算法，还有KNN、SVD，Slope one这些，可谓随意挑选，简繁由君。我们知道得是，推荐系统这个应用本身...
2019-05-06 19:33:30
6125
原创 可能是推荐系统最详细且简单的入门教程
本文将深入介绍推荐系统的工作原理，和其中涉及的各种推荐机制，以及它们各自的优缺点和适用场景，帮助用户清楚的了解和快速构建适合自己的推荐系统。1 信息发现随着 Web 2.0 的发展， Web 已经变成数据分享的平台，如何让人们在海量的数据中想要找到他们需要的信息将变得越来越难。在这样的情形下，搜索系统（Google，Bing，百度等等）成为大家快速找到目标信息的最好途径。在用户对自己需求相...
2019-05-05 21:03:04
6576
原创 消息积压&消息丢失解决方案
1 面试题如何解决消息队列的延时以及过期失效问题？消息队列满了以后该怎么处理？有几百万消息持续积压几小时，说说怎么解决？2 考点分析你看这问法，其实本质针对的场景，都是说，可能你的消费端出了问题，不消费了，或者消费的极其极其慢。接着就坑爹了，可能你的消息队列集群的磁盘都快写满了，都没人消费，这个时候怎么办？或者是整个这就积压了几个小时，你这个时候怎么办？或者是你积压的时间太长了，导致比...
2019-05-04 00:57:41
1359
2
Spring基础讲义-java 入门必备
2022-11-05
南邮Windows编程课件
2017-11-26
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人