- 博客(45)
- 收藏
- 关注
RSS订阅转载 Spring爸爸又给Spring MVC生了个弟弟叫Spring WebFlux
情景引入很早之前，Java就火起来了，是因为它善于开发和处理网络方面的应用。Java有一个爱好，就是喜欢制定规范标准，但自己又不善于去实现。反倒是一些服务提供商使用它的规范标准来制造应用服务器而赚的盆满钵满。企业用户因要使用这些应用服务器而向提供商支付高额费用，而且也不是特别好用。一个青年才俊为了打破这种局面而奔走呼号、奋发图强。自我介绍显然，这个青年才俊就是后来的Sp...
2019-03-22 16:48:43
245
转载 作为java开发工作人员必备的高并发编程知识体系
高并发编程知识体系1.问题1、什么是线程的交互方式？ 2、如何区分线程的同步/异步，阻塞/非阻塞？ 3、什么是线程安全，如何做到线程安全？ 4、如何区分并发模型？ 5、何谓响应式编程？ 6、操作系统如何调度多线程？2.关键词同步，异步，阻塞，非阻塞，并行，并发，临界区，竞争条件，指令重排，锁，amdahl,gustafson3.全文概要由于单机的性能上限原因我们才不...
2019-02-15 10:45:53
323
原创 在并发编程中线程池的使用
一、为什么要使用线程池当需要处理的任务较少时，我们可以自己创建线程去处理，但在高并发场景下，我们需要处理的任务数量很多，由于创建销毁线程开销很大，这样频繁创建线程就会大大降低系统的效率。此时，我们就可以使用线程池，线程池中的线程执行完一个任务后可以复用，并不被销毁。合理使用线程池有以下几点好处：1、减少资源的开销。通过复用线程，降低创建销毁线程造成的消耗。2、多个线程并发执行任务，...
2018-12-07 17:03:32
213
原创 深入剖析Tomcat性能优化与集群session共享
北京尚学堂旗下优效学院《Tomcat性能优化与集群session共享》公开课文档版本 视频版本wx:Nancy007001 备注：CSDN 免费获取tomcat 运行模式优化Tomcat Connector(Tomcat 连接器) 有 bio、nio、apr 三种运行模式BIO模式bio(blocking I/O)，顾名思义，即阻塞式 I/O 操作，表示 Tomcat...
2018-10-29 21:41:09
536
原创 ZooKeeper 典型应用场景一览
北京尚学堂旗下优效学院《零基础大数据就业班VIP知识之ZooKeeper 典型应用场景一览》VIP文档版本 视频版本WX：Nancy007001，免费获取，时间有限，自己争取。ZooKeeper 是一个高可用的分布式数据管理与系统协调框架。基于对 Paxos 算法的实现，使该框架保证了分布式环境中数据的强一致性，也正是基于这样的特性，使得 ZooKeeper 解决很多分布式问题。网上对...
2018-10-25 22:37:40
310
原创 java网络编程面试题（一）
1、tcp和udp的区别 TCP：是面向连接的流传输控制协议，具有高可靠性，确保传输数据的正确性，有验证重发机制，因此不会出现丢失或乱序。UDP：是无连接的数据报服务，不对数据报进行检查与修改，无须等待对方的应答，会出现分组丢失、重复、乱序，但具有较好的实时性，UDP段结构比TCP的段结构简单，因此网络开销也小。2、tcp连接建立的时候3次握手，断开连接的4次握手的具体过程1.建立...
2018-10-15 15:44:52
2005
原创 select、poll和epoll的区别
在linux 没有实现epoll事件驱动机制之前，我们一般选择用select或者poll等IO多路复用的方法来实现并发服务程序。在大数据、高并发、集群等一些名词唱得火热之年代，select和poll的用武之地越来越有限，风头已经被epoll占尽。select的缺点：1. 单个进程能够监视的文件描述符的数量存在最大限制，通常是1024，当然可以更改数量，但由于select采用轮询的方式扫描文...
2018-10-12 21:25:48
208
原创 使用Zookeeper解决微服务架构下分布式事务问题
本文为原创作品，禁止转载！准备工作单机调试zookeeper集群的话，我们需要在虚拟机里虚拟出几台“微服务器“，做这一步操作之前需要在系统中预留出来8G以上磁盘空间，4G以上物理内存。虚拟机我们使用virtualbox在官网下载最新版并安装https://www.virtualbox.org/wiki/Downloads操作系统操作系统使用CentOS-6.8-x8...
2018-09-17 22:00:31
6290
2
原创 不知道能不能称得上史上最全大数据 高效学习 成就未来
通过真实企业项目，JAVA高并发、Hadoop、Hive、Scala、Spark、Python、机器学习等大数据技能，实现年薪翻番。4大核心项目让你快速掌握架构体系以及处理架构方案。 第一部分 Linux 基础1. Linux 的介绍，Linux 的安装：VMware Workstation 虚拟软件安装过程、CentOS 虚拟机安装过程2. 了解机架服务器，采用真实机架服务器...
2018-09-13 21:48:15
255
原创 大数据Hadoop生态圈技术之浅析PageRank计算原理
一、什么是PageRank？—— PageRank是Google提出的算法，用于衡量特定网页相对于搜索引擎索引中的其他网页而言的重要程度。—— 是Google创始人拉里·佩奇和谢尔盖·布林于1997年创造的—— PageRank实现了将链接价值概念作为排名因素。二、计算环境—— Hadoop-2.5.2—— 四台主机—— 两台NN的HA—— 两台RM的HA—— ...
2018-09-11 16:30:14
280
原创 大数据Hadoop分布式文件系统HDFS的两类节点NameNode和DataNode
HDFS集群有两类节点，并以管理者-工作者模式运行，即一个NameNode(管理者)和多个DataNode(工作者)。一、NameNode（NN）——基于内存存储 ：不会和磁盘发生交换·只存在内存中·持久化——NameNode主要功能·接受客户端的读写服务·收集DataNode汇报的Block列表信息——NameNode保存metadata信息包括·文件ow...
2018-09-09 17:06:05
3224
原创 Hadoop 1.x与Hadoop 2.x
一、Hadoop2.0产生的背景——Hadoop 1.0中HDFS和MapReduce在高可用、扩展性等方面存在问题——HDFS存在的问题·NameNode单点故障，难以应用于在线场景 HA·NameNode压力过大，且内存受限，影扩展性 F——MapReduce存在的问题响系统·JobTracker访问压力大，影响系统扩展性·难以支持除MapReduce之外的计算框架...
2018-09-05 17:25:16
167
原创 大数据Hadoop 技术内幕：深入解析 HDFS架构设计与实现原理
一、HDFS架构 二、HDFS设计思想 三、HDFS写流程 ---Client：·切分文件Block·按Block线性和NN获取DN列表（副本数）·验证DN列表后以更小的单位流式传输数据---各节点，两两通信确定可用·Block传输结束后：---DN向NN汇报Block信息---DN向Client汇报完成---Clien...
2018-09-04 17:23:26
1116
原创 大数据Hadoop分布式文件系统HDFS
Hadoop分布式文件系统(HDFS)被设计成适合运行在通用硬件(commodity hardware)上的分布式文件系统。它和现有的分布式文件系统有很多共同点。但同时，它和其他的分布式文件系统的区别也是很明显的。HDFS是一个高度容错性的系统，适合部署在廉价的机器上。HDFS能提供高吞吐量的数据访问，非常适合大规模数据集上的应用。HDFS放宽了一部分POSIX约束，来实现流式读取文件系统数据的目...
2018-09-02 16:44:38
776
原创 程序员必备大数据技能之分布式云平台Hadoop
一、Hadoop创始人介绍Hadoop作者Doug cutting，就职Yahoo期间开发了Hadoop项目，目前在Cloudera 公司从事架构工作。二、Hadoop简介Hadoop名字来源于Doug Cutting儿子的玩具大象。2003-2004年，Google公开了部分GFS和Mapreduce思想的细节，以此为基础Doug Cutting等人用了2年业余时间实现了...
2018-08-31 21:48:09
642
原创 程序员必修框架之Spring 3.0 MVC
Spring3.0 MVC框架类 型：中级教程适合对象：学习完spring框架，对于spring MVC感兴趣者Spring 框架提供了构建 Web 应用程序的全功能 MVC 模块。Spring MVC属于SpringFrameWork的后续产品，已经融合在Spring Web Flow里面。Spring MVC的易用性、功能强大等优点已经被越来越多的企业所接受，也成为一个使用...
2018-08-30 17:27:28
162
原创 架构师必备技能之Netty 高并发 UTS 项目实战
一、NettyNetty是由JBOSS提供的一个java开源框架。Netty提供异步的、事件驱动的网络应用程序框架和工具，用以快速开发高性能、高可靠性的网络服务器和客户端程序。也就是说，Netty 是一个基于NIO的客户、服务器端编程框架，使用Netty 可以确保你快速和简单的开发出一个网络应用，例如实现了某种协议的客户、服务端应用。Netty相当于简化和流线化了网络应用的编程开发过程，例...
2018-08-27 16:24:21
1480
原创 1小时快速搭建高可用集群（High Availability）
《1小时快速搭建高可用集群（High Availability）》主讲老师：尚学堂大数据vip张雷老师时间：8月26日晚上20：00课堂直达：https://ke.qq.com/course/215398?flowToken=1002412本次课程你将学到：最新Spark2.3.1版本，搭建高可用集群（High Availability）（1）HA集群原理（2）HA集群...
2018-08-26 18:01:53
260
原创 2018年互联网大数据之大数据潮流的主先锋Spark集群安装与部署
首先，跟大家简单说一下什么是大数据，没有百度的复杂，就是我自己总结的，有什么不对的地方，请大家指教！1、何为大数据？大数据就是短时间内，快速产生大量的多种多样的有价值的数据。2、Spark是什么？Spark是基于内存计算的大数据并行计算框架。Spark基于内存计算，提高了在大数据环境下数据处理的实时性，同时保证了高容错性和高可伸缩性，允许用户将Spark部署在大量廉价硬...
2018-08-23 21:41:38
213
原创 2018年互联网架构主流微服务架构之潮流的主先锋Spring Boot 2.0
一、Spring Boot 介绍Spring Boot是由Pivotal团队提供的全新框架，其设计目的是用来简化新Spring应用的初始搭建以及开发过程。该框架使用了特定的方式来进行配置，从而使开发人员不再需要定义样板化的配置。通过这种方式，Spring Boot致力于在蓬勃发展的快速应用开发领域(rapid application development)成为领导者。二、Spring B...
2018-08-22 13:55:49
290
翻译 基于Spark环境对比Python和Scala语言利弊
在数据挖掘中，Python和Scala语言都是极受欢迎的，本文总结两种语言在Spark环境各自特点。本文翻译自 https://www.dezyre.com/article/Scala-vs-Python-for-apache-Spark/2131.性能对比由于Scala是基于JVM的数据分析和处理，Scala比Python快10倍。当编写Python代码用且调用Spark库时，性能...
2018-08-20 20:45:57
1652
原创 高端java架构师SpringBoot ELK 分布式数据分析项目——企业实战项目
SpringBoot ELK 分布式数据分析项目可以帮助运维及研发快速理解 elasticsearch、logstash、kibana、beats 的原理， 搭建高可用的 elasticsearch 集群。全面介绍 elasticsearch 的 API 接口，实现对普通的 java 项目简单的改造，就可以实现可视化的业务日志分析平台。通过一个基于 elasticsearch 的实战项目，实现分布...
2018-08-19 17:04:15
412
原创 2018前沿技术微服务之什么是spring cloud
一、微服务介绍以一个一个模块划分系统，每个模块独立运行。如何定义模块的边界需要靠经验和技巧。 二、微服务的架构微服务需要要清晰的业务边界，高度的模块服务化解耦每个模块都完成自己的功能，并且每个模块都可以灵活的使用自己本身所需的技术他们之间分而治之，相互独立部署运行，同时可以进行相互数据通信数据通信可以使用http restful风格的api，也可以使用RPC方式相互...
2018-08-10 21:05:13
218
原创 为什么IT行业人员纷纷转型hadoop大数据工程师
AI、大数据、云计算，这三者在如今的互联网时代无人不知无人不晓，火爆程度不言而喻。随着，各大高校纷纷开设大数据专业以及各大企业纷纷高薪聘请大数据开发专业人才，促使转行的人越来越多，那么对于IT领域的从业人员为何纷纷转型hadoop大数据工程师呢？ Hadoop官方定义是：Hadoop项目™®是一套可靠的，可扩展的，支持分布式计算的开源软件。是Apache软件基金会的顶级开源项目...
2018-08-08 21:52:47
952
1
原创 高端java架构SpringBoot+高并发消息处理 EDM 项目实战
通过真实企业项目，掌握 JAVA 高并发、负载均衡、NoSQL、服务器集群、性能优化、数据库集群等架构师技能，实现年薪翻番。 SpringBoot+高并发消息处理 EDM 项目实战1.1 课程核心概述EDM 是 Email Direct Marketing 的缩写，即邮件营销。它是利用电子邮件（Email）与受众客户进行商业交流的一种直销方式，邮件营销的对于企业的价值主要体现在三个方面...
2018-08-07 21:49:09
4215
3
原创 「速存」大数据必学基础Linux之Linux的常用命令（1）持续更新
常用Linux命令介绍ls：显示指定工作目录下的内容dir：同ls命令，方便DOS用户使用cd：变换工作目录pwd：显示当前活动目录的绝对路径clear：清屏命令man：查看指令、配置文件的帮助信息，相关信息：help、info、FAQ、internetmkdir：创建新目录rmdir：删除空目录rm：删除文档和目录touch：创建一个空白文件或改变已有文件...
2018-08-05 22:25:28
151
原创 大数据在银行的七个应用实例
大数据文摘翻译，转载请保留翻译：Chenlu，Lynda； 校对：闫瑾 Hadoop is present in nearly every vertical today that isleveraging big data in order to analyze information and gain competitiveadvantages. Many financial org...
2018-08-03 15:51:59
9703
原创 2018年全新升级大数据学习路线 +资料领取 让你从基础到精通
2018年全新升级大数据学习路线第一阶段：Linux理论（1）Linux基础；（2）Linux-shell编程；（3）高并发：lvs负载均衡；（4）高可用&反向代理第二阶段：Hadoop理论（1）hadoop-hdfs理论；（2）hadoop-hdfs集群搭建；（3）hadoop-hdfs 2.x & api ；（4）hadoop-MR理论 ；（5）hadoop...
2018-08-02 17:39:17
289
2
原创 架构师基于微服务的项目使用 MockMvc完成SpringBoot2.x单元测试
使用 MockMvc完成SpringBoot2.x单元测试 1、单元测试开发过程中单元测试是必不可少的，我们更要养成随手写配套测试用例的习惯这些随手写好的测试用例在前后端分离的微服务架构下对后期需求变动项目组件重构起到了重要的作用，尤其是现在比较流行的敏捷开发、测试驱动等领域。2、依赖引入（1）首先，在Spring boot工程目录下会有/src/test/java的默认路...
2018-07-30 15:16:55
1077
1
原创 谁在听不懂大数据算我输——大数据核心技术spark
上次，小编给大家介绍什么是大数据以及大数据产生的五大原因！那，大数据来了，作为程序员的我们如何迎接大数据的到来？那便只有学好大数据，其中的重中之重我觉得就是spark ，那什么是spark呢？或者说Spark是干嘛的？我总结出四点：1、Spark分布式的计算框架2、类似Hadoop生态圈中的MapReduce（分布式计算框架）3、计算思想和MR（MapReduce简称）非常...
2018-07-27 17:10:22
310
2
原创 基于微服务的秒杀项目实战使用Spring Boot2.x Actuator监控应用
首先呢，先让我们回顾一下前面的内容1、从三大方面讲解使用Spring Boot2.x Actuator监控应用，分别是开启监控、默认端点和开启所有端点2、在开启所有端点中，我们讲解了Health、shutdown、beans、configprops、env今天，小编接着给大家讲解开启所有端点中的其他内容：6）Mappings获取应用所有Spring Web的控制器映射关系报告...
2018-07-24 17:48:37
242
原创 基于微服务的秒杀项目实战使用Spring Boot2.x Actuator监控应用
本次内容，小编我将从开启监控、默认端点、开启所有端点三大方面给大家叙述。（1）开启监控<dependency><groupId>org.springframework.boot</groupId><artifactId>spring-boot-starter-actuator</artifactId></depe...
2018-07-23 22:11:32
167
原创 谁再说听不懂大数据算我输！
首先，让我们先了解一下什么是大数据？大数据，简单的来说，就是在短时间内，快速产生大量的多种多样的有价值的数据。那是什么原因产生了大数据呢？也就是说大数据产生的原因是什么呢？1、宽带的宽带升级 2M→ 10M → 100M→ 1000M2、手机上网设备的升级 2G→3G→4G→5G？3、各种各样的APPlication 网站4、各种各样的手机APP5、上网人数的激增（智能...
2018-07-20 13:35:49
240
原创 迈向大数据时代 为你未来10年的竞争力加持砝码
在2016年和2017年的全美最佳岗位排行榜中，“数据科学家”一职位已经连续两年位列前茅；在美国，数据科学家平均年薪为11.9万美元，而程序员平均年薪为6.5万美元，其差距可见一斑；纵观国内的招聘市场，数据科学从业者的收入虽与美国尚有差距，但其月薪普遍高于其他技术类岗位30%-50%；IBM的一项调查显示，到2020年社会对于数据科学家和数据工程师的需求将增30%，届时每年开放的岗位将...
2018-07-19 15:46:42
195
原创 启动和停止完整集群的步骤
1.启动和停止完整集群的步骤#启动完整集群的步骤#第一步：启动zookeeper./ssh_all_zookeeper.sh /usr/local/zookeeper/bin/zkServer.sh start#第二步：在nn1上启动所有start-all.sh#第三步：在nn1上启动yarn日志代理服务yarn-daemon.sh start proxyserver#第四步：在n...
2018-07-17 16:24:54
1823
原创 程序员都内秀不闪言辞吗？这个标签该是时候撕掉了
程序员是个很光彩的职业，很多人都觉得程序员聪明、智商高，整天做在电脑面前敲着各种密密麻麻的代码。当然也有人会自嘲，说自己是码农、程序猿，貌似猿一般。很多的职业特性加起来，让许多外行人对程序员形成了一种普遍内秀的刻板印象，难道程序员真的都不善言谈，只擅长和计算机打交道，甚至木讷吗？实际上，这种对程序员性格的认知是有失偏颇的，在小尚和众多程序员的接触中，程序员的性格并不像外界想象的那般，很大程度上是由...
2018-07-15 14:57:10
330
原创 优效学院 基于微服务的秒杀项目实战 Spring Boot 2.0基础篇01
优效学院 基于微服务的秒杀项目实战 Spring Boot 2.0基础篇01 1. 介绍 主要解决的是在微服务的架构下简化配置（有快速配置）、前后端分离、快速开发优点：提供了快速启动入门开箱即用、提供默认配置内嵌容器化web项目没有冗余代码生成和xml配置要求2.运行Demo访问http://start.spring.io/ 生成下载demo.zipMaven本地源配置 <mirrors...
2018-07-06 10:33:37
574
1
原创 Redis中文入门手册之list
list 类型list 是一个链表结构，可以理解为一个每个子元素都是 string 类型的双向链表。主要功能是 push、pop、获取一个范围的所有值等。操作中 key 理解为链表的名字。List 类型数据操作指令简介lpush key string 在 key 对应 list 的头部添加字符串元素，返回 1 表示成功，0 表示 key 存在且不是 list 类型。rpush key string...
2018-07-04 15:37:52
129
2
原创 Redis中文入门手册之hash
2.2.2. hash 类型hash 是一个 string 类型的 field 和 value 的映射表。添加，删除操作都是 O(1)（平均）。hash 特别适合用于存储对象。相对于将对象的每个字段存成单个 string 类型。将一个对象存储在 hash 类型中会占用更少的内存，并且可以更方便的存取整个对象。省内存的原因是新建一个 hash 对象时开始是用 zipmap（又称为 small has...
2018-07-03 17:42:47
197
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人