lswnew的专栏

转载 Jenkins教程

教程地址:http://www.yiibai.com/jenkins/

转载 持续集成Jenkins+sonarqube部署教程

一 概述      本文主要介绍jenkins，sonarQube的安装与集成，代码分析有sonarQUbe和sonar-runner构建，或者在maven项目情况下可以sonarQbude和maven的构建。介绍jenkins的编译打包部署，代码检查。最后集成jenkins二 预装软件 软件名称 平台 备注jdk1.8.0_60 Win10 操作系统apach

转载 CentOS6.9下安装rabbitmq消息队列

安装如下步骤：首先安装erlang1yum install erlang安装rabbitmq rpm包12wget http://www.rabbitmq.com/releases/rabbitmq-server/v3.5.0/ra

转载 CentOS6.8安装RabbitMQ

1、安装erlang安装依赖包：yum install xmlto gcc gcc-c++ kernel-devel m4 ncurses-devel openssl-devel unixODBC-devel wxBase wxGTK wxGTK-gl perl -yerlang下载：百度云盘：http://pan.baidu.com/s/1c1UaGpU 

原创 Redis的配置

daemonize：如需要在后台运行，把该项的值改为yespdifile：把pid文件放在/var/run/redis.pid，可以配置到其他地址bind：指定redis只接收来自该IP的请求，如果不设置，那么将处理所有请求，在生产环节中最好设置该项port：监听端口，默认为6379timeout：设置客户端连接时的超时时间，单位为秒loglevel：等级分

转载 Linux(Centos)之安装Redis及注意事项

阅读目录1.redis简单说明2.准备工作3.gcc的安装4.Tcl的安装5.redis的安装6.redis的测试7.Linux中设置redis的服务器启动和关闭8.Linux中设置redis的开机启动回到顶部1.redis简单说明　　a.在前面我简单的说过redis封装成共用类的实现，地址如下：http://www.cnblogs.com/hanyinglon

转载 CentOS6.9安装Redis4.0.0

1、环境准备主机名IP系统redis-01192.168.10.24CentOS release 6.9 (Final)Redis安装比较简单，官网下载界面就有参考：https://redis.io/download2、安装# 创建安装目录mkdir /app

转载 mysql出现ERROR 1819 (HY000)的解决方法

ERROR 1819 (HY000): Your password does not satisfy the current policy requirements，出现这个问题怎么办？不用着急，下面给出答案。为了加强安全性，MySQL5.7为root用户随机生成了一个密码，在error log中，关于error log的位置，如果安装的是RPM包，则默认是/var/log/mysqld.lo

转载 Centos7.2 ganglia（三）之详解和扩展

一、 ganglia指标详解1.1 基本指标（默认的gmond指标）cpu metrics(12):    cpu_aidle:自启动开始CPU空闲时间所占百分比，单位是百分比    #cpu_ctxt：自系统启动以来CPU发生的上下文交换的次数，单位是每秒多少次    cpu_idle：CPU空闲，系统没有显著磁盘I/O请求的时间所占的百分比

转载 Centos7.2 ganglia（二）之web界面介绍

http://www.51niux.com/?id=83 第一篇文章讲述了ganglia的搭建过程以及主要配置文件的参数解释，这篇文章对web界面的功能做解释。gweb由：Main、Search、Views、Aggregate Graphs、Compare Hosts、Events、Reports、Automatic Rotation、Live Dashboard、Cubism、Mobil

转载 Centos7.2 ganglia（一）之环境搭建部署

一、ganglia简介1.1 ganglia介绍        ganglia是一款为HPC(高性能计算) 集群设计的可扩展性 的分布式监控系统，它可以监视和显示集群中节点的各种状态信息，他由运行在各个节点上的gmond守护进程来采集 CPU、内存、磁盘利用率、I/O负载、网络流量情况等方面的数据。然后汇总到gmetad守护进程下，使用rrdtool存储数据，然后将历史数据以曲线方

转载 多方位拓展之路：监控平台MongoDB实践

在“监控平台MongoDB实践”上，千寻位置的技术专家肖应军发表了一场关于MongoDB实践演讲，他的演讲内容主要分为四个方面：1.使用MongoDB的原因及MongoDB的现状2.MongoDB的使用场景有哪些？3.监控平台MongoDB实践中有哪些经验值得参考？4.MongoDB接下来的研究方向侧重哪些方面？以下是根据现场演讲和PPT的整理内容。一、为什

转载 提升 MongoDB 安全性的10个方法

MongoDB提供了一系列组件来提升数据的安全性。数据安全在MongoDB中是最重要的——因此它利用这些组件来减少曝光面。下面是10个可以用来改善你个人或云中MongoDB服务器安全的小提示。　　1. 启用auth — 即使在可信赖网络中部署MongoDB服务器时启用auth也是项好的安全实践。当你的网络受攻击时它能够提供“深层防御”。编辑配置文件来启用auth　　1　　a

转载 使用Docker构建redis集群

1集群结构说明集群中有三个主节点，三个从节点，一共六个结点。因此要构建六个redis的docker容器。在宿主机中将这六个独立的redis结点关联成一个redis集群。需要用到官方提供的ruby脚本。2构建redis基础镜像本文选择版本为redis-3.0.7，如果需要其他版本，直接修改wget后面地址中的版本号即可。 代码清单2-1 下载&编译redis源

转载 Docker 存储之卷（Volume）

（1）Docker 安装及基本用法（2）Docker 镜像（3）Docker 容器的隔离性 - 使用 Linux namespace 隔离容器的运行环境（4）Docker 容器的隔离性 - 使用 cgroups 限制容器使用的资源（5）Docker 网络（6）若干企业生产环境中的容器网络方案（7）Docker 存储 - AUFS（8）Dock

转载 Docker 存储 - AUFS

（1）Docker 安装及基本用法（2）Docker 镜像（3）Docker 容器的隔离性 - 使用 Linux namespace 隔离容器的运行环境（4）Docker 容器的隔离性 - 使用 cgroups 限制容器使用的资源（5）Docker 网络（6）若干企业生产环境中的容器网络方案（7）Docker 存储 - AUFS  

转载 若干企业生产环境中的docker容器网络方案

本系列文章将介绍 Docker的相关知识：（1）Docker 安装及基本用法（2）Docker 镜像（3）Docker 容器的隔离性 - 使用 Linux namespace 隔离容器的运行环境（4）Docker 容器的隔离性 - 使用 cgroups 限制容器使用的资源（5）Docker 网络（6）若干企业生产环境中的容器网络方案 

转载 Docker 网络

转自(http://www.cnblogs.com/sammyliu/p/5894191.html)本系列文章将介绍 Docker的相关知识：（1）Docker 安装及基本用法（2）Docker 镜像（3）Docker 容器的隔离性 - 使用 Linux namespace 隔离容器的运行环境（4）Docker 容器的隔离性 - 使用 cgroups 限制容

转载 网易考拉海购Dubbok框架优化详解

本文背景还要从网易考拉海购（下文简称“考拉”）微服务化说起，现在任何大型的互联网应用，尤其是电商应用从Monolithic单体应用走向微服务化已经是必然趋势。微服务化是一个比较宽泛的概念，涉及到一个产品生命周期的多个方面，首先它作为一个指导原则指引业务划分、架构解耦等；技术层面实施微服务需要开发测试阶段、运行阶段、发布阶段、部署阶段等一系列基础框架的支撑。我们在享受服务化易扩展易部署等便利性的同时

转载 FastDFS集群部署

之前介绍过关于FastDFS单机部署，详见博文：FastDFS+Nginx(单点部署)事例下面来玩下FastDFS集群部署，实现高可用（HA）服务器规划：跟踪服务器1【主机】（Tracker Server）：192.100.139.121跟踪服务器2【备机】（Tracker Server）：192.100.139.122存储服务器1（Storage

转载 FastDFS+Nginx(单点部署)事例

关于FastDFS集群部署请见博文 FastDFS集群部署FastDFS是由淘宝的余庆先生所开发，是一个轻量级、高性能的开源分布式文件系统，用纯C语言开发，包括文件存储、文件同步、文件访问（上传、下载）、存取负载均衡、在线扩容、相同内容只存储一份等功能，适合有大容量存储需求的应用或系统。做分布式系统开发时，其中要解决的一个问题就是图片、音视频、文件共享的问题，分布式文件系统正好可以解决这个

转载 FastDFS为什么要结合Nginx

FastDFS为什么要结合Nginx？我们在使用FastDFS部署一个分布式文件系统的时候，通过FastDFS的客户端API来进行文件的上传、下载、删除等操作。同时通过FastDFS的HTTP服务器来提供HTTP服务。但是FastDFS的HTTP服务较为简单，无法提供负载均衡等高性能的服务，所以FastDFS的开发者——淘宝的架构师余庆同学，为我们提供了Nginx上使用的FastDFS模块

转载 Ubuntu下FastDFS分布式文件系统配置与部署

1 分布式文件系统介绍分布式文件系统：Distributed file system, DFS，又叫做网络文件系统：Network File System。一种允许文件通过网络在多台主机上分享的文件系统，可让多机器上的多用户分享文件和存储空间。特点：在一个分享的磁盘文件系统中，所有节点对数据存储区块都有相同的访问权，在这样的系统中，访问权限就必须由客户端程序来控制。分布式文件系

转载 分布式文件系统-FastDFS

一、FastDFS简介一、FastDFS简介FastDFS是由国人余庆所开发，其项目地址：https://github.com/happyfish100  FastDFS是一个轻量级的开源分布式文件系统，主要解决了大容量的文件存储和高并发访问的问题，文件存取时实现了负载均衡。  支持存储服务器在线扩容,支持相同的文件只保存一份,节约磁盘。  FastDFS只能通过Cli

转载 iptables超全详解

前提基础：当主机收到一个数据包后，数据包先在内核空间中处理，若发现目的地址是自身，则传到用户空间中交给对应的应用程序处理，若发现目的不是自身，则会将包丢弃或进行转发。iptables实现防火墙功能的原理是：在数据包经过内核的过程中有五处关键地方，分别是PREROUTING、INPUT、OUTPUT、FORWARD、POSTROUTING，称为钩子函数，iptables这款用户空间的

转载 Storm与Spark：谁才是我们的实时处理利器

实时商务智能这一构想早已算不得什么新生事物（早在2006年维基百科中就出现了关于这一概念的页面）。然而尽管人们多年来一直在对此类方案进行探讨，我却发现很多企业实际上尚未就此规划出明确发展思路、甚至没能真正意识到其中蕴含的巨大效益。为什么会这样？一大原因在于目前市场上的实时商务智能与分析工具仍然非常有限。传统数据仓库环境针对的主要是批量处理流程，这类方案要么延迟极高、要么成本惊人——当然，也可能二者

转载 Storm：最火的流式处理框架

伴随着信息科技日新月异的发展，信息呈现出爆发式的膨胀，人们获取信息的途径也更加多样、更加便捷，同时对于信息的时效性要求也越来越高。举个搜索场景中的例子，当一个卖家发布了一条宝贝信息时，他希望的当然是这个宝贝马上就可以被卖家搜索出来、点击、购买啦，相反，如果这个宝贝要等到第二天或者更久才可以被搜出来，估计这个大哥就要骂娘了。再举一个推荐的例子，如果用户昨天在淘宝上买了一双袜子，今天想买一副泳镜去游泳

转载 基于Ubuntu 14.04构建mysql5.6 Docker镜像

我们的目的是创建一个基于Ubuntu 14.04 的MySQL的 Docker Image，并且在新创建出来的容器里自动启动MySQL服务接受外部连接步骤： 1. 首先创建一个目录并在目录下创建一个Dockerfile，文件内容如下# Pull base image FROM ubuntu:14.04 MAINTAINER shencq "shencq@g-

转载 scribe、chukwa、kafka、flume日志系统对比

1. 背景介绍许多公司的平台每天会产生大量的日志（一般为流式数据，如，搜索引擎的pv，查询等），处理这些日志需要特定的日志系统，一般而言，这些系统需要具有以下特征：（1） 构建应用系统和分析系统的桥梁，并将它们之间的关联解耦；（2） 支持近实时的在线分析系统和类似于Hadoop之类的离线分析系统；（3） 具有高可扩展性。即：当数据量增加时，可以通过增加节点进行水平扩展。本文

转载 基于Flume+Log4j+Kafka的日志采集架构方案

Flume 基本概念Flume是一个完善、强大的日志采集工具，关于它的配置，在网上有很多现成的例子和资料，这里仅做简单说明不再详细赘述。Flume包含Source、Channel、Sink三个最基本的概念：Source——日志来源，其中包括：Avro Source、Thrift Source、Exec Source、JMS Source、Spooling Directo

转载 Kafka 入门 and kafka+logstash 实战应用

一、基础理论这块是整个kafka的核心无论你是先操作在来看还是先看在操作都需要多看几遍。首先来了解一下Kafka所使用的基本术语TopicKafka将消息种子(Feed)分门别类 每一类的消息称之为话题(Topic).Producer发布消息的对象称之为话题生产者(Kafka topic producer)Consumer订阅消息并处

转载 消息队列应用场景

1异步处理场景说明：用户注册后，需要发注册邮件和注册短信。传统的做法有两种1.串行的方式；2.并行方式。（1）串行方式：将注册信息写入数据库成功后，发送注册邮件，再发送注册短信。以上三个任务全部完成后，返回给客户端。（架构KKQ：466097527，欢迎加入）（2）并行方式：将注册信息写入数据库成功后，发送注册邮件的同时，发送注册短信。以上三个任务完成后，返回给客户

转载 Kafka项目实战－用户日志上报实时统计之分析与设计

1.概述　　本课程的视频教程地址：《Kafka实战项目之分析与设计》　  本课程我通过一个用户实时上报日志案例作为基础，带着大家去分析Kafka这样一个项目的各个环节，从而对项目的整体设计做比较合理的规划，最终让大家能够通过本课程去掌握类似Kafka项目的分析与设计。下面，我给大家介绍本课程包含的课时内容，如下图所示：　　接下来，我们开始第一课时的学习：《项目整体概

转载 RabbitMQ简介

前言：    MQ 是什么？队列是什么，MQ 我们可以理解为消息队列，队列我们可以理解为管道。以管道的方式做消息传递。场景：    1.其实我们在双11的时候，当我们凌晨大量的秒杀和抢购商品，然后去结算的时候，就会发现，界面会提醒我们，让我们稍等，以及一些友好的图片文字提醒。而不是像前几年的时代，动不动就页面卡死，报错等来呈现给用户。    在这业务场景中，我们就可以采用队列的机制

转载 MQ选型对比