- 博客(59)
- 资源 (47)
- 收藏
- 关注
RSS订阅转载 浅谈maven中的scope，systempath
scope maven中scope的默认值是compilescope的分类1）compile 默认是compile。compile表示被依赖项目需要参与当前项目的编译，包括后续的测试，运行周期也参与其中，是一个比较强的依赖。打包的时候通常需要包含进去。2）test 表示依赖项目仅仅参与测试相关的工作，包括测试代码的编译，执行。比较典型的如junit3）runtime 表示被依赖项目无需参与项目的...
2018-05-29 17:09:25
8994
转载 Spark Yarn-cluster与Yarn-client
摘要在Spark中，有Yarn-Client和Yarn-Cluster两种模式可以运行在Yarn上，通常Yarn-Cluster适用于生产环境，而Yarn-Clientr更适用于交互，调试模式，以下是它们的区别 Spark插拨式资源管理Spark支持Yarn,Mesos,Standalone三种集群部署模式，它们的共同点：Master服务(Yarn ResourceManager,Mesos ma...
2018-05-29 11:20:06
206
转载 zuul灰度发布功能实现
原文地址:点击打开链接灰度发布、蓝绿发布、金丝雀发布各是什么意思，可以看这篇点击打开链接。基于eureka、ribbon实现灰度发布，是这一篇要讲的知识。我们要发布版本了，在不确定正确性的情况下，我们选择先部分节点升级，然后让一些特定的流量进入到这些新节点，完成测试后再全量发布。我们知道，在eureka中注册各个服务后，如果一个服务有多个实例，那么默认会走ribbon的软负载均...
2018-05-23 17:09:50
1340
转载 使用Spring Boot Actuator监控应用(no use)
摘要: 原创出处https://peijie-sh.github.io欢迎转载，保留摘要，谢谢！Actuator是Spring Boot提供的对应用系统的自省和监控的集成功能，可以对应用系统进行配置查看、相关功能统计等。使用Actuator引入依赖即可Maven：<dependency> <groupId>org.springframework.boot<...
2018-05-23 17:07:12
883
转载 蓝绿发布、A/B 测试和金丝雀发布的优缺点（互联网产品的3种发布策略）
成熟的互联网产品用户数量庞大，如果采用全量发布的话不论对于开发运维团队有着未知的风险，而且产品以及运营团队也同样面临的用户体验的巨大挑战。目前常见的发布策略有蓝绿发布、金丝雀发布（灰度发布）、AB测试这几种，在国内的开发者中，对这几个概念有独立的理解。蓝绿发布通常被大家成为热部署；金丝雀发布在国内的名头完全被他的变种发布方式盖过了，主要是灰度发布与AB测试，下面来详细的为大家解释一下............
2018-05-23 17:04:00
3212
原创 Git 分支管理详解
注，测试机 CentOS 5.5 x86_64，Git 服务器版本：git version 1.8.2.1，客户端版本：git version 1.9.2.msysgit.0。所有软件请到这里下载：http://msysgit.github.io/。1.前言在上一篇博客中我们主要讲解了Git 远程仓库，相信大家对远程的Git仓库有一定的了解，嘿嘿。在这一篇博客中我们来在大家讲解一下Git 分支管理......
2018-05-22 10:11:27
812
1
转载 Linux下的crontab定时执行任务命令详解
在LINUX中，周期执行的任务一般由cron这个守护进程来处理[ps -ef|grep cron]。cron读取一个或多个配置文件，这些配置文件中包含了命令行及其调用时间。cron的配置文件称为“crontab”，是“cron table”的简写。一、cron服务 cron是一个linux下 的定时执行工具，可以在无需人工干预的情况下运行作业。 service crond start /...
2018-05-22 03:59:56
135
转载 浅析MongoDB数据库的海量数据存储应用
【摘要】当今已进入大数据时代，特别是大规模互联网web2.0应用不断发展及云计算所需要的海量存储和海量计算发展，传统的关系型数据库已无法满足这方面的需求。随着NoSQL数据库的不断发展和成熟，可以较好地解决海量存储和海量计算方面的应用需求。本文重点描述作为NoSQL之一MongoDB数据库在海量数据存储方面的应用。1 引言NoSQL,全称是“Not Only Sql”，指的是非关系型的数据库。这...
2018-05-21 15:40:53
7580
原创 mongodb主要用来干嘛，什么时候用，存什么样的数据？
简介MongoDB[1] 是一个基于分布式文件存储的数据库。由C 语言编写。旨在为WEB应用提供可扩展的高性能数据存储解决方案。MongoDB[2] 是一个介于关系数据库和非关系数据库之间的产品，是非关系数据库当中功能最丰富，最像关系数据库的。他支持的数据结构非常松散，是类似json的bson格式，因此可以存储比较复杂的数据类型。Mongo最大的特点是他支持的查询语言非常强大，其语法有点类似于面向...
2018-05-21 15:31:58
38060
3
转载 微服务示例-Spring Cloud
1~开发准备 JDK:1.8 Spring Boot:1.5.9.RELEASE Spring Coud:Edgware.RELEASE IDE:IntelliJ IDEA 2017 Maven:3.3.92~创建服务注册中心 File->New->Projects->Spring Initializr 点击Next,填写信息如下:然后点击Next,选择如下:点击Ne...
2018-05-18 18:18:14
228
转载 spring boot: Whitelabel Error Page的解决方案
运行起来没报错，但是打开浏览器输入地址http://localhost:8080/greeting出现以下页面检查地址没问题，核对jar包也正确。google,有说少jar包，按照回答添加以后也无济于事。折腾了一会找到了原因竟然时目录文件结构问题，最后附上官网说明http://docs.spring.io/spring-boot/docs/current-SNAPSHOT/reference/ht...
2018-05-18 18:15:43
5953
转载 IDEA新建项目时，没有Spring Initializr选项
最近开始使用IDEA作为开发工具，然后也是打算开始学习使用spring boot。看着博客来进行操作上手spring boot，很多都是说创建一个新项目(Create New Project)选择 Spring Initializr。然而我发现我的IDEA上面没有Spring Initializr这个选项。解决办法如下：在settings -> Plugins 里面搜索spring boot...
2018-05-17 19:44:39
1253
转载 Ribbon实现客户端负载均衡
前面文章中已经将服务注册到了Eureka，但是还没有解决请求地址硬编码和负载均衡的问题。 这边文章，我们讲述使用Ribbon完成请求以及负载均衡。让电影微服务调用用户微服务的时候，解决请求地址和端口的硬编码 实现负载均衡 1.服务器端负载均衡：使用Nginx,由Nginx完成反向代理，实现负载均衡。 2.客户端负载均衡：电影微服务中有某个组件（Ribbon），可以知道有多少个可用的...
2018-05-17 17:33:00
843
转载 Spring Cloud 负载均衡器 Ribbon原理及实现
Ribbon简介分布式系统中，各个微服务会部署多个实例，如何将服务消费者均匀分摊到多个服务提供者实例上，就要使用到负载均衡器Ribbon 是负载均衡器 ，它提供了很多负载均衡算法，例如轮询、随即等，在配置服务提供者地址后，可以将服务消费者请求均匀的分发为服务消费者整合Ribbon添加 Ribbon 依赖库?1234<dependency> <groupId>org.spr...
2018-05-17 17:30:42
10797
3
转载 SpringCloud微服务架构分布式组件如何共享session对象
参考文章: https://www.cnblogs.com/fengli9998/p/7881331.htmlhttps://blog.csdn.net/dsen726/article/details/80880458一.简单做一个背景说明1.为说明问题，本文简单微服务架构示例如下2.组件说明分布式架构，每个组件都是集群或者主备。具体说明如下：zuul service:网关，...
2018-05-17 14:59:32
18760
8
转载 spring-session和redis解决spring cloud中session不一致性问题
现在都比较流行使用spring boot来进行开发，使用spring cloud来搭建分布式。在搭建的时候会涉及到一个关键的问题，session统一的问题。使用zuul作为网关转发来调用其他模块，zuul中的session和其他模块的session会不一致，同时如果是前后端分离，还存在跨域的问题下面会给出解决的方法。这样会导致用户登入时候，没法保存用户的信息，session会存在问题。解决的办法采...
2018-05-17 14:55:15
3837
2
转载 spring cloud组件详解
why当我们使用一个新技术的时候，应该首先问的一个问题就是why：为什么要使用这个技术？或者问：这个技术是可以解决什么问题。我也想写篇微服务的文章，以及微服务的优缺点在微服务架构中，当一个大型系统被拆分成微服务系统以后，不仅包括功能拆分，还包括系统拆分、代码拆分、数据库拆分、缓存拆分等，多个系统的部署、维护、调用关系、调度、监控、fail over就会成为一系列问题。同时微服务系统划分越多，调用链...
2018-05-17 14:01:57
13304
转载 使用Spring Cloud Feign作为HTTP客户端调用远程HTTP服务
在Spring Cloud Netflix栈中，各个微服务都是以HTTP接口的形式暴露自身服务的，因此在调用远程服务时就必须使用HTTP客户端。我们可以使用JDK原生的URLConnection、Apache的Http Client、Netty的异步HTTP Client, Spring的RestTemplate。但是，用起来最方便、最优雅的还是要属Feign了。Feign简介Feign是一种声明...
2018-05-17 11:17:56
448
转载 springcloud(一): 大话Spring Cloud
研究了一段时间spring boot了准备向spirng cloud进发，公司架构和项目也全面拥抱了Spring Cloud。在使用了一段时间后发现Spring Cloud从技术架构上降低了对大型系统构建的要求，使我们以非常低的成本（技术或者硬件）搭建一套高效、分布式、容错的平台，但Spring Cloud也不是没有缺点，小型独立的项目不适合使用，另外对分布式事物的支持暂时也没有。Spring C...
2018-05-17 11:17:47
251
转载 中小型公司对于Spring Cloud的选择与思考
技术背景什么是微服务微服务的概念源于2014年3月Martin Fowler所写的一篇文章“Microservices”。微服务架构是一种架构模式，它提倡将单一应用程序划分成一组小的服务，服务之间互相协调、互相配合，为用户提供最终价值。每个服务运行在其独立的进程中，服务与服务间采用轻量级的通信机制互相沟通（通常是基于HTTP的RESTful API）。每个服务都围绕着具体业务进行构建，并且能够被独...
2018-05-16 19:45:26
1687
转载 MongoDB存储结构
MongoDB存储结构http://www.cnblogs.com/zabery/archive/2012/07/09/mongodb-nei-bu-jie-gou.html一、前言本文主要讲述MongoDB使用的数据类型BSON，使用的传输协议Mongo Wire Protocol，MongoDB数据文件的内部结构。二、BSONBSON [bee · sahn], short for Bina...
2018-05-16 17:22:02
1364
转载 MongoDB简介及其主要特点
什么是MongoDB？MongoDB 是由C++语言编写的，是一个基于分布式文件存储的开源数据库系统。在高负载的情况下，添加更多的节点，可以保证服务器性能。MongoDB 旨在为WEB应用提供可扩展的高性能数据存储解决方案。MongoDB 将数据存储为一个文档，数据结构由键值(key=>value)对组成。MongoDB 文档类似于 JSON 对象。字段值可以包含其他文档，数组及文档数组。主...
2018-05-16 17:16:32
1034
转载 Mongodb存储特性
原文链接一、存储引擎（Storage） mongodb 3.0默认存储引擎为MMAPV1，还有一个新引擎wiredTiger可选，或许可以提高一定的性能。 mongodb中有多个databases，每个database可以创建多个collections，collection是底层数据分区（partition）的单位，每个collection都有多个底层的数据文件组成。（参见下文data...
2018-05-16 17:15:05
1231
原创 mongodb的优缺点
对比mysql, mongo的优缺点有：优点: l 文档结构的存储方式，能够更便捷的获取数据l 内置GridFS，支持大容量的存储l 内置Sharding，分片简单l 海量数据下，性能优越l 支持自动故障恢复（复制集）l 动态查询l 全索引支持,扩展到内部对象和内嵌数组l 查询记录分析l 快速,就地更新l 高效存储二进制大对象 (比如照片和视频)l 复制和故障切换支持l A...
2018-05-16 16:40:23
1403
转载 MongoDB的特点和适用场景
实用性MongoDB是一个面向文档的数据库，它并不是关系型数据库，直接存取BSON，这意味着MongoDB更加灵活，因为可以在文档中直接插入数组之类的复杂数据类型，并且文档的key和value不是固定的数据类型和大小，所以开发者在使用MongoDB时无须预定义关系型数据库中的”表”等数据库对象，设计数据库将变得非常方便，可以大大地提升开发进度。可用性和负载均衡MongoDB在高可用和读负载均衡上的...
2018-05-16 16:28:44
27756
3
转载 Hive、HBase、Impala的简单对比
1. 什么是实时分析（在线查询）系统？大数据领域里面，实时分析（在线查询）系统是最常见的一种场景，通常用于客户投诉处理，实时数据分析，在线查询等等过。因为是查询应用，通常有以下特点：a. 时延低（秒级别）。b. 查询条件复杂（多个维度，维度不固定），有简单（带有ID)。c. 查询范围大（通常查询表记录在几十亿级别）。d. 返回结果数小（几十条甚至几千条）。e. 并发数要求高（几百上千同时并发）。f...
2018-05-16 14:33:32
1223
转载 impala实现HBase数据查询
由于工作需要，现在需要使用Cloudera Manager的Impala实现大批量数据的查询统计功能。于是，在前面使用Hbase和solr搭建的平台完成最高院的全文检索平台，继续在clouderaManager原有的hadoop平台基础上继续进行更深层次的研究和应用。基于某些地方法院对于数据的要求不一致，有的客户针对于法律文书的全文检索，有的客户针对于当前某种类型案件的统计，因此原有的Hbase+...
2018-05-16 14:32:26
6234
转载 impala查询hbase库方法
一、 概述 Hbase数据库是一种列存储数据库，以方式查询相应的数据，通常查询hbase库的数据，需要用get、scan命令通过行健查询相关数据 二、 建立petabase到hbase的数据表映射 1、 创建hive的外部表 在任意节点root用户下，执行hive，进入hive命令行模式，执行以下建立外部表语句： CREATE external TABLE qgws_hive(key string...
2018-05-16 14:31:20
1091
转载 Spring Boot整合Druid连接池开启数据库监控功能
Druid是一个关系型数据库连接池，它是阿里巴巴的一个开源项目。Druid支持所有JDBC兼容的数据库，包括Oracle、MySQL、Derby、PostgreSQL、SQL Server、H2等。Druid在监控、可扩展性、稳定性和性能方面具有明显的优势。通过Druid提供的监控功能，可以实时观察数据库连接池和SQL查询的工作情况。使用Druid连接池，在一定程度上可以提高数据库的访问性能。本文...
2018-05-15 20:24:19
785
转载 关于spring boot注解说明
Spring Boot关于自动配置的源码在spring-boot-autoconfigure-xxx.jar内。若想查看有哪些自动配置，可以查看这里的源码。可以通过下面几种方式查看当前项目中已启用和未启用的自动配置的报告。 1）运行jar包时增加--debug参数： java -jar xx.jar --debug 2）在application中设置属性，d...
2018-05-15 16:48:08
378
原创 spring boot 多数据源配置
数据源注解, 这里只列出了副数据源配置: /* ====================== 常规配置 ====================== */ @Bean(name = "secondaryDataSource") @Qualifier("secondaryDataSource") @ConfigurationProperties(prefix="spring....
2018-05-15 16:11:35
656
转载 YAML文件简介
我们可能在spring配置文件里见到过.yml格式的东东，配置文件不都是.propertie或者.xml文件吗？.yml是什么鬼，今天我带你们来一探究竟。YAML（Yet Another Markup Language）（发音 /ˈjæməl/ ）一种基于Unicode容易阅读，容易和脚本语言交互的，用来表达资料序列的编程语言。适应场景脚本语言：由于实现简单，解析成本很低，YAML 特别适合...
2018-05-14 18:04:49
5359
1
转载 spring boot 读取配置文件（application.yml）中的属性值
在spring boot中，简单几步，读取配置文件（application.yml）中各种不同类型的属性值：1、引入依赖：[html] view plain copy<!-- 支持 @ConfigurationProperties 注解 --> <dependency> <groupId>org.springframework.boot</gr...
2018-05-12 17:49:43
3935
转载 spark与storm比对与选型
大数据实时处理平台市场上产品众多，本文着重讨论spark与storm的比对，最后结合适用场景进行选型。一、spark与storm的比较比较点StormSpark Streaming实时计算模型纯实时，来一条数据，处理一条数据准实时，对一个时间段内的数据收集起来，作为一个RDD，再处理实时计算延迟度毫秒级秒级吞吐量低高事务机制支持完善支持，但不够完善健壮性 / 容错性ZooKeeper，Acker，...
2018-05-12 16:28:32
566
转载 实时流处理Storm、Spark Streaming、Samza、Flink孰优孰劣
From http://www.dataguru.cn/article-9532-1.html分布式流处理需求日益增加，包括支付交易、社交网络、物联网（IOT）、系统监控等。业界对流处理已经有几种适用的框架来解决，下面我们来比较各流处理框架的相同点以及区别。分布式流处理是对无边界数据集进行连续不断的处理、聚合和分析。它跟MapReduce一样是一种通用计算，但我们期望延迟在毫秒或者秒级别。这类系统...
2018-05-12 16:27:13
1033
转载 Apache Flink和Apache Spark有什么异同？它们的发展前景分别怎样？
1、Spark在SQL上的优化，尤其是DataFrame到DataSet其实是借鉴的Flink的。Flink最初一开始对SQL支持得就更好。2、Spark的cache in memory在Flink中是由框架自己判断的，而不是用户来指定的，因为Flink对数据的处理不像Spark以RDD为单位，就是一种细粒度的处理，对内存的规划更好。3、Flink原来用Java写确实很难看，现在也在向Spark靠...
2018-05-12 16:23:38
4981
转载 浅谈Apache Flink和Apache Spark的异同与发展前景
1、抽象 AbstractionSpark中，对于批处理我们有RDD,对于流式，我们有DStream，不过内部实际还是RDD.所以所有的数据表示本质上还是RDD抽象。后面我会重点从不同的角度对比这两者。在Flink中，对于批处理有DataSet，对于流式我们有DataStreams。看起来和Spark类似，他们的不同点在于：（一）DataSet在运行时是表现为运行计划(runtime plans)...
2018-05-12 16:13:21
1091
转载 Flink及主流流框架比较
引言随着大数据时代的来临，大数据产品层出不穷。我们最近也对一款业内非常火的大数据产品 - Apache Flink做了调研，今天与大家分享一下。Apache Flink(以下简称flink) 是一个旨在提供‘一站式’ 的分布式开源数据处理框架。是不是听起来很像spark？没错，两者都希望提供一个统一功能的计算平台给用户。虽然目标非常类似，但是flink在实现上和spark存在着很大的区别，flin...
2018-05-12 16:12:19
9117
5
转载 Apache 流框架 Flink，Spark Streaming，Storm对比分析（一）
1.Flink架构及特性分析Flink是个相当早的项目，开始于2008年，但只在最近才得到注意。Flink是原生的流处理系统，提供high level的API。Flink也提供 API来像Spark一样进行批处理，但两者处理的基础是完全不同的。Flink把批处理当作流处理中的一种特殊情况。在Flink中，所有 的数据都看作流，是一种很好的抽象，因为这更接近于现实世界。 1.1 基本架构下面我们介绍...
2018-05-12 16:10:44
257
转载 Apache 流框架 Flink，Spark Streaming，Storm对比分析（二）
本文内容接上一篇Apache 流框架 Flink，Spark Streaming，Storm对比分析（一） 2.Spark Streaming架构及特性分析 2.1 基本架构 基于是spark core的spark streaming架构。 Spark Streaming是将流式计算分解成一系列短小的批处理作业。这里的批处理引擎是Spark，也就是把Spark Streaming的输入数 据按照b...
2018-05-12 16:09:17
611
gcc rpm安装包
2021-02-20
crontabs_pack
2021-02-20
initscripts.zip
2021-02-20
centos7.4 postgresql11-11.8 rpm 安装包
2020-11-14
service命令 安装包
2020-11-14
ImpalaJDBC42-2.6.17.1020.jar
2020-05-18
logstash-7.6.0.tar.gz
2020-02-23
logstash-7.6.0.rpm
2020-02-23
docker离线rpm包-use.rar
2019-10-30
elasticHD_darwin_amd64
2019-02-28
elasticHD_linux_amd64
2019-02-28
elasticHD_windows_amd64
2019-02-28
cdh-7.1.7, cm7.4.4离线安装包
2023-11-24
jdk-8u291-x64.rar
2021-05-10
net-tools-2.0-0.51.20160912git.el8.x86_64.rpm
2021-02-20
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人