- 博客(13)
- 资源 (3)
- 收藏
- 关注
RSS订阅原创 三十九、Maven项目中profile+properties占位符
今天遇到一个问题，就是properties文件中赋值用的这种形式${xxx}，真正的值是配置在pom的profile中，但是未生效。后来找到原因，原来是pom中少了一段代码： <build> <resources> <resource> <directory>${project.basedir}...
2019-02-28 13:59:34
2778
转载 一、用例图、功能模块图、ER图之间的区别和联系
这周周一，我们导师要求小组成员开会，我们分别汇报自己的工作，在会中，谈到了用例图，于是我们开始对大家熟悉的用例图进行探讨。经过探讨与自己的思考，我认为应该从以下几个问题来弄清楚用例图的作用。1、用例图由谁来做？为谁做，做完了有什么用途？用例图非常直观的的表达了客户的需求，大家想想我们在与客户沟通完成后，我们大脑中得到了什么？答案就是我们的用例图，仔细想想，难道不是吗？用例图把角色和角色完成...
2019-02-27 09:40:25
35267
2
原创 二十、Spark 2.0系列之SparkSession详解
Spark2.0中引入了SparkSession的概念，它为用户提供了一个统一的切入点来使用Spark的各项功能，用户不但可以使用DataFrame和Dataset的各种API，学习Spark2的难度也会大大降低。本文就SparkSession在Spark22.0中的功能和地位加以阐释。SparkSession的功能首先，我们从一个Spark应用案例入手：SparkSessionZip...
2019-02-18 10:25:36
12000
原创 十九、深入分析 Parquet 列式存储格式
Parquet 是面向分析型业务的列式存储格式，由 Twitter 和 Cloudera 合作开发，2015 年 5 月从 Apache 的孵化器里毕业成为 Apache 顶级项目，最新的版本是 1.8.0。列式存储列式存储和行式存储相比有哪些优势呢？可以跳过不符合条件的数据，只读取需要的数据，降低 IO 数据量。 压缩编码可以降低磁盘存储空间。由于同一列的数据类型是一样的，可以使用...
2019-02-18 10:24:23
293
原创 十、Linux sort命令详解
sort是在Linux里非常常用的一个命令，管排序的，集中精力，五分钟搞定sort，现在开始！1 sort的工作原理 sort将文件的每一行作为一个单位，相互比较，比较原则是从首字符向后，依次按ASCII码值进行比较，最后将他们按升序输出。[rocrocket@rocrocket programming]$ cat seq.txtbananaapplepearorange...
2019-02-18 09:29:30
193
原创 十八、可视化任务调度系统airflow
最近工作需要，使用airflow搭建了公司的ETL系统，顺带在公司分享了一次airflow，整理成文，Enjoy！1. airflow 介绍1.1 airflow 是什么Airflow is a platform to programmatically author, schedule and monitor workflows.airflow 是一个编排、调度和监控workf...
2019-02-15 09:45:02
5148
原创 九、Linux文件上传下载
如果你不想用ftp工具进行上传下载，也不想用scp拷来拷去，建议用lrzsz提供的命令，用着特别舒服，谁用谁知道lrzsz 官网入口：http://freecode.com/projects/lrzsz/lrzsz是一个unix通信套件提供的X，Y，和ZModem文件传输协议windows 需要向centos服务器上传文件，可直接在centos上执行命令yum -y install lrz...
2019-02-12 10:14:33
353
原创 六、LVS Nginx HAProxy 方案选型
一般对负载均衡的使用是随着网站规模的提升根据不同的阶段来使用不同的技术。具体的应用需求还得具体分析，如果是中小型的Web应用，比如日PV小于1000万，用Nginx就完全可以了；如果机器不少，可以用DNS轮询，LVS所耗费的机器还是比较多的；大型网站或重要的服务，且服务器比较多时，可以考虑用LVS。一种是通过硬件来进行进行，常见的硬件有比较昂贵的F5和Array等商用的负载均衡器，它的优点就是...
2019-02-02 16:40:14
405
1
原创 五、LVS Nginx HAProxy 对比
目前，在线上环境中应用较多的负载均衡器硬件有F5 BIG-IP,软件有LVS，Nginx及HAProxy,高可用软件有Heartbeat、Keepalived，成熟的架构有LVS+Keepalived、Nginx+Keepalived、HAProxy+keepalived及DRBD+Heartbeat.三种负载均衡器的优缺点说明如下：LVS的优点：1、抗负载能力强、工作在第4层仅作分发...
2019-02-02 16:34:51
365
原创 四、HAProxy+RabbitMQ
1、基本概念1.1、RabbitMQ集群概述 通过 Erlang 的分布式特性（通过 magic cookie 认证节点）进行 RabbitMQ 集群，各 RabbitMQ 服务为对等节点，即每个节点都提供服务给客户端连接，进行消息发送与接收。 这些节点通过 RabbitMQ HA 队列（镜像队列）进行消息队列结构复制。本方案中搭建 3 个节点，并且都是磁盘节点（所有节点状态保持一...
2019-02-02 16:27:22
698
原创 三、Nginx+Keepalived高可用集群
1.Keepalived高可用软件 Keepalived软件起初是专为LVS负载均衡软件设计的，用来管理并监控LVS集群系统中各个服务节点的状态，后来又加入了可以实现高可用的VRRP功能。因此，keepalived除了能够管理LVS软件外，还可以作为其他服务的高可用解决方案软件。 keepalived软件主要是通过VRRP协议实现高可用功能的。VRRP是Virtual Rou...
2019-02-02 16:25:35
237
原创 二、Keepalived实现双机热备
keepalived的作用是检测后端TCP服务的状态，如果有一台提供TCP服务的后端节点死机，或者工作出现故障，keepalived会及时检测到，并将有故障的节点从系统中剔除，当提供TCP服务的节点恢复并且正常提供服务后keepalived会自动将TCP服务的节点加入到集群中。这些工作都是keepalived自动完成，不需要人工干涉，需要人工做的只是修复发生故障的服务器，以下通过示例来演示。 ...
2019-02-02 16:24:04
300
原创 一、HAProxy从零开始到掌握
HAProxy是什么HAProxy是一个免费的负载均衡软件，可以运行于大部分主流的Linux操作系统上。HAProxy提供了L4(TCP)和L7(HTTP)两种负载均衡能力，具备丰富的功能。HAProxy的社区非常活跃，版本更新快速（最新稳定版1.7.2于2017/01/13推出）。最关键的是，HAProxy具备媲美商用负载均衡器的性能和稳定性。因为HAProxy的上述优点，它当前不仅...
2019-02-02 15:40:26
404
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人