![](https://img-blog.csdnimg.cn/20201014180756925.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
架构师成长必备技能
文章平均质量分 77
大师兄啊
做你自己想做的事~
展开
-
搭建三台高可用hadoop服务器集群
如果只有3台主机,可以按照如下规划来部署安装weekend01 zookeeper journalnode namenode zkfc resourcemanager datanodeweekend02 zookeeper journalnode namenode zkfc resourcemanager datanodeweeke...原创 2018-08-09 11:44:34 · 37169 阅读 · 1 评论 -
第一阶段:Svn版本管理与代码上线架构方案-----nexus安装和部署
将nexus安装包解压 window启动: linux bin ./nexus start 出现如下错误; 解决:>vi /etc/profile shift+g 调到最后一行 o(小写)新增一行 export RUN_AS_USER=root . /etc/profile 或者 source /etc/profile 生效 启动>./nex原创 2017-03-21 11:42:52 · 35382 阅读 · 0 评论 -
Hbase入门教程和分布式的安装部署
我们一般什么时候用Hbase呢? Hadoop关于海量数据的存储有一个组件叫文件系统,当我们需要随机访问文件系统的某一条数据的时候数据是非常慢的,发杂度也比较高,就算是通过madreduce也一样很慢。那么,Hbase和他有什么区别呢?Hbase是一个分布式的数据库(Nosql数据库不支持sql语法,支持的查询功能很简单,但是数据的结构很灵活),数据库用来阻止组织数据的,然后通过某一种格式转换成一原创 2017-03-20 18:02:51 · 35356 阅读 · 0 评论 -
Dubbo项目搭建(简单部署)
导语:Dubbo是阿里巴巴的一个分布式服务的开源框架,致力于提供高性能和透明化的RPC远程服务调用方案,是阿里巴巴SOA服务化治理方案的核心框架,每天为2,000+个服务提供3,000,000,000+次访问量支持,并被广泛应用于阿里巴巴集团的各成员站点。 参考网站:http://dubbo.io/ 部署环境:Windows7+Eclipse+Spring+SpringMVC+Mybat原创 2017-06-15 16:25:22 · 77018 阅读 · 2 评论 -
windows下 eclipse搭建spark java编译环境
环境:win10jdk1.8之前有在虚拟机或者集群上安装spark安装包的,解压到你想要放spark的本地目录下,比如我的目录就是D:\Hadoop\spark-1.6.0-bin-hadoop2.6/***注意:之前在linux环境下安装的spark的版本是spark-2.2.0-bin-hadoop2.6,但后来搭建eclipse的spark开发环境时发现spark-2...原创 2018-04-20 23:37:32 · 35275 阅读 · 0 评论 -
生产环境部署项目
常用linux指令--重命名 mv fileName otherNameftp ip密码;bin将文件转换成二进制 获取文件:(获取文件的目录是/updata/)get 文件名 拷贝:cp -r op.zip ../op.zip 解压:unzip FileName.zip压缩:zip -r FileName...原创 2018-08-08 18:03:38 · 36383 阅读 · 0 评论 -
数据库规范和优化方案(一)
一、数据库设计方面1、对查询进行优化,应尽量避免全表扫描,首先应考虑在 where 及 order by 涉及的列上建立索引;2、应尽量避免在 where 子句中对字段进行 null 值判断,否则将导致引擎放弃使用索引而进行全表扫描,如: select id from t where num is null 可以在num上设置默认值0,确保表中num列没有null值,然后这样查询: sel...原创 2018-08-13 14:12:38 · 35394 阅读 · 0 评论 -
数据库规范和优化方案(二)--19个MySQL性能优化要点解析
1、为查询优化你的查询大多数的MySQL服务器都开启了查询缓存。这是提高性最有效的方法之一,而且这是被MySQL的数据库引擎处理的。当有很多相同的查询被执行了多次的时候,这些查询结果会被放到一个缓存中,这样,后续的相同的查询就不用操作表而直接访问缓存结果了。这里最主要的问题是,对于程序员来说,这个事情是很容易被忽略的。因为,我们某些查询语句会让MySQL不使用缓存。请看下面的示例:/...原创 2018-08-13 15:15:42 · 35081 阅读 · 0 评论 -
数据库规范和优化方案(三)---mysql数据库分表及实现
mysql数据库分表及实现项目开发中,我们的数据库数据越来越大,随之而来的是单个表中数据太多。以至于查询书读变慢,而且由于表的锁机制导致应用操作也搜到严重影响,出现了数据库性能瓶颈。当出现这种情况时,我们可以考虑分表,即将单个数据库表进行拆分,拆分成多个数据表,然后用户访问的时候,根据一定的算法,让用户访问不同的表,这样数据分散到多个数据表中,减少了单个数据表的访问压力。提升了数据库访问性...原创 2018-08-13 15:40:45 · 35195 阅读 · 0 评论 -
数据库规范和优化方案(四)-----mysql分区
一,什么是数据库分区前段时间写过一篇关于mysql分表的的文章,下面来说一下什么是数据库分区,以mysql为例。mysql数据库中的数据是以文件的形势存在磁盘上的,默认放在/mysql/data下面(可以通过my.cnf中的datadir来查看),一张表主要对应着三个文件,一个是frm存放表结构的,一个是myd存放表数据的,一个是myi存表索引的。如果一张表的数据量太大的话,那么myd,myi...原创 2018-08-13 16:11:34 · 35238 阅读 · 0 评论 -
大型网站应用之海量数据和高并发解决方案
一、网站应用背景开发一个网站的应用程序,当用户规模比较小的时候,使用简单的:一台应用服务器+一台数据库服务器+一台文件服务器,这样的话完全可以解决一部分问题,也可以通过堆硬件的方式来提高网站应用的访问性能,当然,也要考虑成本的问题。当问题的规模在经济条件下通过堆硬件的方式解决不了的时候,我们应该通过其他的思路去解决问题,互联网发展至今,已经提供了很多成熟的解决方案,但并不是都具有适用性,你...原创 2018-08-13 16:31:57 · 35201 阅读 · 0 评论 -
图解hadoop的MR计算流程
图解hadoop的MR计算流程:1.左边部分是map阶段,右边部分是reduce阶段1)我们可以看出左边的有四个map task,一般情况下一个map tasl处理一个split的数据,一个split一般情况下是一个代表一个block size(128M),所以我们可以看到的是要处理的数据大小是3x128M--4x128M,所以我们回启动几个map task一般...原创 2018-04-20 17:06:33 · 44670 阅读 · 1 评论 -
Spark集群安装(spark on yarn/statndalone)
Spark有三种运行模式,分别为:local模式-只运行在本地,相当于伪分布式standalone模式-这种模式只需要安装Spark即可,使用自带的资源管理器Spark on yarn/mesos模式-这种模式Spark将使用yarn/mesos作为资源管理器 一般来说,standalone适合只想体验一把Spark集群的人,如果想将Spark应用于生产环境,还需要借助第三方的...原创 2018-04-24 14:50:16 · 36060 阅读 · 0 评论 -
spark流程源码解析
左边绿色的是客户端,右边的是我们要提交到的spark集群 不同的Master url会生成不同的TaskScheduler,而TaskScheduler是真真正正的去申请资源的,因为是不同的集群模式,所以他申请资源的方式不一样,所以生成的TaskScheduler的Barkend就不一样,而Barkend是真真正正和底层进行通讯的一个角色。yarn 的模式...原创 2018-05-04 15:34:31 · 35168 阅读 · 0 评论 -
kafka集群的搭建
第一步:准备1. 操作系统CentOS-7-x86_64-Everything-15112. 安装包kafka_2.12-0.10.2.0.tgzzookeeper-3.4.9.tar.gz3. Java 环境Zookeeper 和 Kafka 的运行都需要 Java 环境,Kafka 默认使用 G1 垃圾回收器。如果不更改垃圾回收期,官方推荐使用 7u51 以上...原创 2018-08-09 14:45:33 · 35157 阅读 · 0 评论 -
架构师学习成长路线
01.第一-阶段、Svn版本管理与代码上线架构方案 02.第二_阶段、实战Java高并发程序设计模式视频 03.第三阶段、深入JVM内核- -原理、诊断与优化 04.第四阶段、基于Netty的RPC架构实战演练 05.第五阶段、Git分 布式版本控制系统权威指南 06.第六阶段、Redis从入门到精通、集群与应用 07.第七阶段、基于案例学Java服务器端程序设计Zer...原创 2018-08-06 13:15:32 · 36861 阅读 · 0 评论 -
第一阶段:Svn版本管理与代码上线架构方案-----
11原创 2018-08-06 13:57:20 · 35369 阅读 · 0 评论 -
SpringBoot+websocket实现实时的点对点或群发通信(内附详细代码实现)
websocket原理WebSocket用于在Web浏览器和服务器之间进行任意的双向数据传输的一种技术。WebSocket协议基于TCP协议实现,包含初始的握手过程,以及后续的多次数据帧双向传输过程。其目的是在WebSocket应用和WebSocket服务器进行频繁双向通信时,可以使服务器避免打开多个HTTP连接进行工作来节约资源,提高了工作效率和资源利用率。1. 什么是keep-al...原创 2018-08-11 12:53:38 · 41874 阅读 · 13 评论 -
通过webSocket实现app产生的数据在网页实时显示
一概述## 在项目中有这样一个需要,app为智能心电跑步类app,在跑步时需要在网页端显示用户的跑步信息,包括跑步时长、心率、心电图等,其中心电图是需要实时更新的。当用户开始跑步时在网页上显示这些信息,跑步结束时结束实时数据显示,将最终跑步结果显示在网页时,效果图如下:在网页上的显示效果如下:先做个大致的分析,数据要做到实时显示,需要将app产生的数据通过网络发送到服务器...转载 2018-08-11 13:16:12 · 47288 阅读 · 0 评论 -
第五阶段:Git分布式版本控制系统指南-----Git的安装使用和详细教程
主要讲解如何在IntelliJ IDEA开发工具中使用Git图形化工具来提交代码。 Git是一个开源免费的、分布式的版本管理工具(以前都是使用SVN),功能更强大,越来越多的公司更倾向于使用Git来做项目的版本控制。IntelliJ IDEA开发工具提供了对Git的图形化操作,使得那些不懂或者记不住git命令的开发人员可以很方便地使用Git。下面我们就通过一个视频来讲解如何使用IDEA提供...原创 2018-08-11 15:54:56 · 35035 阅读 · 1 评论 -
Nginx(二)反向代理与负载均衡详细配置
反向代理(Reverse Proxy)方式是指以代理服务器来接受internet上的连接请求,然后将请求转发给内部网络上的服务器,并将从服务器上得到的结果返回给internet上请求连接的客户端,此时代理服务器对外就表现为一个反向代理服务器。 负载均衡 建立在现有网络结构之上,它提供了一种廉价有效透明的方法扩展网络设备和服务器的带宽、增加吞吐量、加强网络数据处理能力、...原创 2018-08-12 15:12:11 · 35551 阅读 · 0 评论 -
第五阶段:Git分布式版本控制系统指南-----在IDEA中Git实战和冲突解决(一)
工作中多人使用版本控制软件协作开发,常见的应用场景归纳如下:假设小组中有两个人,组长小张,组员小袁场景一:小张创建项目并提交到远程Git仓库场景二:小袁从远程Git仓库上获取项目源码场景三:小袁修改了部分源码,提交到远程仓库场景四:小张从远程仓库获取小袁的提交场景五:小袁接受了一个新功能的任务,创建了一个分支并在分支上开发场景六:小袁把分支提交到远程Git仓库场景七...原创 2018-08-08 10:22:32 · 35511 阅读 · 0 评论 -
第五阶段:Git分布式版本控制系统指南------在IDEA中Git实战和冲突解决(二)
主要讲解如何使用IntelliJ IDEA开发工具提供的Git图形化工具来解决代码冲突问题。 学习本节课程之前,建议先学习在IntelliJ IDEA中使用Git提交代码,因为本节课会有提交代码的操作。01— 什么情况下会出现代码冲突? 一般在企业中,都是通过团队协作的方式来开发一个项目,每个人都在编写代码或者修改代码,都会向Git服务器提交代码,如果多个人修改了同...原创 2018-08-08 11:14:52 · 35037 阅读 · 0 评论 -
单例设计模式
所谓单例模式,简单来说,就是在整个应用中保证只有一个类的实例存在。就像是Java Web中的application,也就是提供了一个全局变量,用处相当广泛,比如保存全局数据,实现全局性的操作等。 1. 最简单的实现 首先,能够想到的最简单的实现是,把类的构造函数写成private的,从而保证别的类不能实例化此类,然后在类中提供一个静态的实例并能够返回给使用者。这样,使用者就可以通过...转载 2016-03-09 20:51:26 · 35075 阅读 · 0 评论 -
Nginx (一)简介和基本的功能作用
Nginx (“engine x”) 是一个高性能的 HTTP 和反向代理服务器,也是一个 IMAP/POP3/SMTP代理服务器。 Nginx 是由 Igor Sysoev 为俄罗斯访问量第二的 Rambler.ru 站点开发的,第一个公开版本0.1.0发布于2004年10月4日。其将源代码以类BSD许可证的形式发布,因它的稳定性、丰富的功能集、示例配置文件和低系统资源的消耗而闻名。...原创 2018-08-21 09:48:01 · 43444 阅读 · 0 评论