- 博客(35)
- 收藏
- 关注
RSS订阅转载 SpringCloud项目实战
在工作业余时间，自学了SpringCloud的基本组件：Eureka、Ribbo、Feign、Zuul、Config、Bus，是时候操练一下自己所学的这些知识了，记录一下自己的学习过程。一、目录结构 2、需求分析 以下实现的是一个新闻门户网站，首先我们对其进行需求分析，本新闻门户网站包括的功能大概有以下几个： ①注册登录 ②新闻列表 ③用户评论...
2019-09-27 12:54:00
317
转载 Linux下RabbitMQ的安装及使用
过多的描述就不扯了，本文主要记录RabbitMQ的安装以及简单使用。本次安装是为了实现spring cloud的消息总线。一、RabbitMQ安装1.下载Erlang的rpm包 RabbitMQ是Erlang语言编写，所以Erang环境必须要有，注：Erlang环境一定要与RabbitMQ版本匹配：https://www.rabbitmq.com/which-erlan...
2019-09-25 12:44:00
218
转载 看看消息队列
一、消息队列对比1.RabbitMQ ①RabbitMQ是使用Erlang语言编写的一个开源的消息队列 ②本身支持很多协议：AMQP、XMPP、SMTP、STOMP，也正因如此，它非常重量级，更适合于企业级的开发 ②实现了Broker架构，这意味着消息在发送给客户端时先在中心队列排队。对路由，负载均衡或者数据持久化都有很好的支持。 ③分布式2.Redis...
2019-09-25 10:42:00
148
转载 SpringCloud全家桶学习之一阶段总结（一）
一、概述 前几篇小博客记录了我学习SpringCloud组件的过程，并与工作中所用的Dubbo框架做了一点比较，基本组件：Eureka、Ribbon、Hystrix、Feign、Zuul、Config，当然，这些目前在工作中还未曾使用，但是作为一名程序员，选择了IT行业，你就永远不能被时代落下，真所谓JS的名言：“真正的大师永远怀揣着一颗学徒的心”，机会是给有准备的人的，所以什么都...
2019-09-24 18:49:00
205
转载 SpringCloud全家桶学习之分布式配置中心----Config（七）
一、概述(1)背景 微服务意味着将单体应用中的业务拆分成一个个子服务，每个服务的粒度相对较小，因此系统中出现大量的服务。由于每个服务都需要配置必要的配置信息才能运行，所以一套集中式的、动态的配置管理设施是必不可少的。Spring Cloud提供了ConfigServer来解决这个问题，我们每一个微服务自己都带着application.yml，上百个配置文件的管理……接下来你会疯...
2019-09-23 10:14:00
218
转载 SpringCloud全家桶学习之路由网关----Zuul（六）
一、Zuul概述(1)Zuul是什么？ Zuul包含了对请求的路由和过滤的两个最主要的功能，其中路由功能负责将外部请求转发到具体的微服务实例上，是实现外部访问统一入口的基础；而过滤功能则负责对请求的处理过程进行干预，是实现请求校验、服务聚合等功能的基础，Zuul和Eureka进行整合，将Zuul自身注册为Eureka服务治理下的应用，同时从Eureka中获得其他微服务的消息，也...
2019-09-21 19:22:00
98
转载 SpringCloud全家桶学习之断路器---Hystrix（五）
目前我也在摸索着学习Spring Cloud，本节主要摸索的是服务熔断、服务降级、Hystrix服务监控。一、Hystrix概述(1)服务雪崩 服务雪崩：多个微服务之间调用的时候，假设微服务A调用微服务B和微服务C，微服务B和微服务C又调用其他的微服务，这就是所谓的“扇出”。如果扇出的链路上某个微服务的调用响应时间过长或不可用，对微服务A的调用就会占用越来越多的系统资源...
2019-09-21 00:54:00
109
转载 SpringCloud全家桶学习之Feign负载均衡----Feign（四）
一、Feign概述(1)Feign是什么？ 官网地址：https://projects.spring.io/spring-cloud/spring-cloud.html#spring-cloud-feign Feign是一个声明式的WebService客户端。使用Feign能让编写Web Service客户端更加简单，它的使用方法是定义一个接口，然后在上面添加注解，同时也...
2019-09-20 16:35:00
92
转载 SpringCloud全家桶学习之客户端负载均衡及自定义负载均衡算法----Ribbon（三）
一、Ribbon是什么？ Spring Cloud Ribbon是基于Netflix Ribbon实现的一套客户端 负载均衡的工具（这里区别于nginx的负载均衡）。简单来说，Ribbon是Netflix发布的开源项目，主要功能是提供客户端的软件负载均衡算法，将Netflix中间服务连接在一起。Ribbon客户端组件提供一系列完善的配置项如连接超时，重试等。再简单点说，就是在配置...
2019-09-20 00:16:00
150
转载 SpringCloud全家桶学习之服务注册与发现及Eureka高可用集群搭建（二）
一、Eureka服务注册与发现（1）Eureka是什么？ Eureka是NetFlix的一个子模块，也是核心模块之一。Eureka是一个基于REST的服务，用于定位服务，以实现云端中间层服务发现和故障转移。服务注册与发现对于微服务架构来说是非常重要的，有了服务发现与注册，只需要使用服务的标识符，就可以访问到服务，而不需要修改服务调用的配置文件了。功能类似于dubbo的注册中心，...
2019-09-17 22:26:00
147
转载 MyBatis逆向工程的使用（非插件方式）
一、概述 MyBatis是目前流行的优秀持久层框架，其逆向工程更是大大缩减了开发时间。所谓逆向工程，指的是mybatis根据数据库设计好的表，自动生成对应model、mapper及mapper.xml，本文是以非插件的方式进行逆向工程。二、手工代码 本文采用IDEA结合Maven实现逆向工程，工程结构如下： （1）入口类package com.pract...
2019-09-11 19:42:00
128
转载 作业中间件项目实战
记录一下目前工作中所用到的技术点：Elastic-Job及控制台搭建、MyBatis逆向工程的使用（非插件方式）、dubbo-admin监控台的搭建、Redis搭建一主一从及哨兵模式（二）、zookeeper集群的搭建、springboot、网关、disconf---分布式配置管理平台的搭建（linux版本）、RestTemplate、dom4j+反射实现bean与xml的相互转换、...
2019-09-11 18:02:00
334
转载 网站日志流量分析系统之离线分析（自动化脚本）
一、概述 网站日志流量分析系统之数据清洗处理（离线分析）已经将数据进行清洗处理，但是处理过程分区信息（日期reportTime是写死的），而且hql语句也是需要人工手动去执行，在实际开发中肯定不会容忍这样的事情，所以让程序自动程序那些hql语句，作离线分析是当下我们要解决的问题。二、自动化脚本（1）编写logdemo.hql脚本use logdb;alter...
2019-09-07 18:36:00
316
转载 网站日志流量分析系统之数据清洗处理（离线分析）
网站日志流量分析系统之（日志收集）已将数据落地收集并落地至HDFS，根据网站日志流量分析系统中架构图，接下来要做的事情就是做离线分析，编写MR程序或通过手写HQL对HDFS中的数据进行清洗；由于清洗逻辑比较简单，这里我选择用Hive来对HDFS中的数据进行清洗（当然也可以用MR来清洗）。数据清洗处理过程相对较长，所以：Be patient，please!二、服务器规划三、...
2019-09-07 01:32:00
1291
转载 网站日志流量分析系统之（日志收集）
一、概述 网站日志流量分析系统之（日志埋点）这里我们已经将相关数据通过ajax发送至日志服务器，这里我只用了一台日志服务器（本机Windows环境），日志收集主要分为以下几个步骤： ①日志服务器集结合logback，并自定义日志过滤器，将日志发给对应FlumeAgent客户端 ②FlumeAgent客户端根据接收器策略分发至中心服务器 ③中心服务器将数据分别落地...
2019-09-05 15:30:00
667
转载 网站日志流量分析系统之（日志埋点）
一、概述 日志埋点分为客户端和服务器端。参考并转自：https://www.cnblogs.com/hzhuxin/p/11152805.html，如有侵权，请联系删除。） ①客户端埋点：支持 iOS、安卓、Web／H5、微信小程序，主要用于分析 UV、PV、点击量等基本指标。例：下图是Web端的埋点技术图： ②服务器日志：采集后端业务服务器打印的日志...
2019-09-05 15:25:00
473
转载 网站日志流量分析系统
一、概述 背景：在互联网应用中，日志是非常重要的数据，因为互联网项目往往要求是7*24不间断运行的，所以能获取到监控系统运行的相关日志数据并进行分析就显得非常重要。网站流量统计是改进网站服务的重要手段之一，通过获取用户在网站的行为数据，进行分析，从而得到有价值的信息，并基于这些信息对网站进行改进。 日志种类： ①系统日志：开发人员在系统后台代码中增加的日志输出语句，如果...
2019-09-03 21:30:00
694
转载 IDEA部署项目，并结合Shell脚本运行Java程序
一、概述 在实际开发中，我们写好的代码，往往打成war包或jar包，通过winscp或其他软件将其上传至服务器，然而这样非常大的一个弊端就是不利于开发，为什么这么说呢？假如我们刚刚将springboot项目达jar包通过winscp部署在linux系统中，然而各种突如其来、意想不到的bug接踵而来，你在本地测试调试bug，难道你要一次又一次的打jar包，上传至服务器？我想你会疯了吧...
2019-08-29 19:41:00
413
转载 Tomcat部署Web项目的3种方式
一、将war包丢进webapps 这是最简单粗暴的方式：将web工程打成war，丢进tomcat/webapps目录即可，tomcat会自动解压。无需修改任何配置文件即可完成部署。 这里我准备了tomcat8.5.43与dubbo控制台的war包来做测试。 ①启动tomcat ②将war丢进webapps目录，tomcat会自动解压该war包。 ...
2019-08-27 16:38:00
594
转载 IDEA自动部署WEB工程至远程服务器（学习笔记）
一、部署Web工程的几种方式①本地打war，上传至远程服务器tomcat容器即可 优点：简单粗暴 缺点：浪费时间②IDEA自动部署至远程服务器 优点：节省大量时间 缺点：配置稍多（第一次）二、IDEA自动部署至远程服务器①搭建服务器的tomcat环境②本地IDEA关联远程服务器 打开IDEA，按如下图配置： 进入配置界面...
2019-08-27 15:53:00
292
转载 MySQL的多表查询学习笔记
一、案例准备 create table dept(id int primary key auto_increment,name varchar(20));View Codeinsert into dept values(null, '财务部');insert into dept values(null, '人事部');inser...
2019-08-27 09:30:00
142
转载 Flume学习笔记
一、概述 ①Flume最早是由Cloudera提供的日志收集系统，后贡献给apache。 ②Flume是一个高可用、高可靠、健壮性，分布式的海量日志采集、聚合和传输的系统。 ③Flume支持在日志系统中定制各类数据发送方，用于收集数据（source）。 ④Flume提供对数据进行简单处理，并写到各种数据接收方（可定制）的能力（sink）。二、版本历史 ①...
2019-08-23 14:09:00
158
转载 dubbo-admin监控台的搭建
一、dubbo-admin dubbo-admin是dubbo的控制台web程序，可以利用浏览器对dubbo进行性能监控、服务治理、降级、分组以及一些参数的设置。2.6版本及以前打包后是一个war包，可以直接部署到tomcat等容器；2.7版本以后名字叫incubator-dubbo-ops，它是由apache维护的新的管理软件。 从2.6.1版本开始：将dubbo-adm...
2019-08-20 14:46:00
132
转载 dom4j+反射实现bean与xml的相互转换
由于目前在工作中一直用的dom4j+反射实现bean与xml的相互转换，记录一下，如果有不正确的地方欢迎大家指正~~~一、反射机制 在此工具类中使用到了反射技术，所以提前也看了一些知识点，例如：http://www.51gjie.com/java/82（这里面有大量的例子可以学习）二、dom4j dom4j会将整个xml加载至内存，并解析成一个document对象，但...
2019-08-16 19:02:00
202
转载 CDH搭建大数据集群（5.10.0）
纠结了好久，还是花钱了3个4核8G的阿里云主机，且行且珍惜，想必手动搭建过Hadoop集群的完全分布式、HBase的完全分布式的你（当然包括我，哈哈），一定会抱怨如此多的配置，而此时CDH正是解决我们烦恼的时候。 下面安装过程比较长，所以一定要有耐心。一、CDH介绍 以下是官网给的介绍：个人感觉就是对hadoop环境的封装二、为什么选择CDH？ Clou...
2019-08-13 08:44:00
119
转载 PXE无人值守批量安装系统（批量安装系统）
设想一个场景：假如让你给1000台服务器装系统，你会怎么做？跑去每一台服务器给它安装系统吗？显然不会。接下来就是如果给1000台快捷安装系统。一、概括 通过网络引导系统的做法可以不必从硬盘、软盘或CD-ROM硬盘，而是完全通过网络来引导一台计算机。这对于安装来说非常方便，因为它意味着你可以坐在桌子旁边，不必走到机器那里插入CD-ROM光盘或软盘，就可以从网络上引导位于别处的...
2019-08-08 12:05:00
1491
转载 Hive的mysql安装配置
一、MySQL的安装 Hive的数据，是存在HDFS里的。此外，hive有哪些数据库，每个数据库有哪些表，这样的信息称之为hive的元数据信息。 元数据信息不存在HDFS，而是存在关系型数据库里，hive默认用的是derby数据库来存储。即hive工作时，除了要依赖Hadoop，还要依赖关系型数据库。 注意：虽然我们能通过HDFS查看到hive有哪些数据库，有哪些表，以...
2019-08-07 23:43:00
167
转载 Linux下的MySQL安装
一、安装说明①下载mysql的安装包 我这里已经放入网盘：https://pan.baidu.com/s/1Orl71Tk9J-TIznGaJuldhQ https://pan.baidu.com/s/1ElUU4mg0SBlupfUantu5yA ②确认当前环境是否安装过mysql rpm -qa 查看是否安装...
2019-08-07 23:20:00
75
转载 Hive的安装与基础指令
一、Hive安装 Hive的安装相对比较简单，Hive是基于Hadoop来使用的，所以搭建Hadoop伪分布式或完全分布式即可，Hive安装过程如下： ①安装并启动Hadoop 在博主的其他博客中有安装说明：Hadoop之伪分布式安装 ②获取Hive安装包，并解压 下载地址：https://mirrors.tuna.tsinghua.edu.cn/a...
2019-08-07 22:44:00
69
转载 浅谈数据库和数据仓库
一、数据库和数据仓库 二、OLTP和OLAP对比①OLTP（OnLine Transaction Processing）和OLAP（OnLine Analytical Processing） 数据库属于OLTP系统（联机事务处理系统），覆盖了企业大部分的日常操作，比如：购物、库存、银行、工资、记账等。比如MySQL、Oracle关系型数据库。 数据仓库...
2019-08-07 22:13:00
98
转载 Hive的学习之路（理论篇）
一、Hive介绍 Apache官网给出的logo，一半是Hadoop大象的头，一半是蜜蜂的身体，也是寓意着它是基于Hadoop，哈哈，纯属个人理解，进入正题。 Hive是基于Hadoop的一个数据仓库工具，可以将sql语句转换成MapReduce任务来运行。可以用来数据提取、转化、加载（ETL），这是一种可以存储、查询和分析存储在Hadoop中的大规模数据的机制。 Hi...
2019-08-07 21:51:00
138
转载 HBase的完全分布式搭建
阅读声明：以下内容是结合网上材料及工作所写的个人理解，如有不当，欢迎大家指正~~~谢谢啦一、HBase的安装模式 ①单机安装：不依赖于Hadoop的HDFS，配置完即可使用，好处是便于测试，坏处是不具备分布式数据存储的能力。 ②伪分布式安装：单台主机模拟真实环境。 ③完全分布式安装：多台主机（虚拟机）来搭建二、搭建准备 ①搭建Hadoop+JDK+ZooK...
2019-08-07 16:26:00
181
转载 HBase的学习之路一（理论篇）
阅读声明：以下内容是结合网上材料及工作所写的个人理解，如有不当，欢迎大家指正~~~谢谢啦一、HBase的介绍HBase的定义与作用 HBase是一个分布式的、面向列的非关系型（也就是基于key-value存储）的数据库。 HBase的作用：为HDFS提供低延迟的数据查询能力。 注意：HBase不是计算型的框架，就是用于存储数据，提供低延迟的数据存储，所以MR（H...
2019-08-07 13:22:00
124
转载 研究Zookeeper的原理（二）
阅读声明：以下内容是结合网上材料及工作内容所写的个人理解，如有不当，欢迎大家指正~~~谢谢啦一、ZooKeeper的选举机制、FailOver机制 我们知道ZooKeeper在分布式环境中协调服务，如果宕机，那么整体的协调服务失效，所以单台ZooKeeper存在单点故障问题，由此我们引入ZooKeeper的集群模式，搭建环境在博主的另一篇博文，谢谢大家。 选举机制：一...
2019-08-03 13:46:00
99
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人