Konaji

Apache Kafka 简介、集群搭建及配置详解前言kafka是一种高吞吐量的分布式发布订阅消息系统，它可以处理消费者规模的网站中的所有动作流数据。这种动作（网页浏览，搜索和其他用户的行动）是在现代网络上的许多社会功能的一个关键因素。这些数据通常是由于吞吐量的要求而通过处理日志和日志聚合来解决。Kafka中相关名词producer：生产者。consumer：消费者。topic: 消...

前言单点登录简称为 SSO，是目前比较流行的企业业务整合的解决方案之一。SSO的定义是在多个应用系统中，用户只需要登录一次就可以访问所有相互信任的应用系统。我们目前的系统存在诸多子系统，而这些子系统是分别部署在不同的服务器中，那么使用传统方式的session是无法解决的，我们需要使用相关的单点登录技术来解决。SSO单点登录访问流程主要有以下步骤：访问服务：SSO客户端发送请求访问...

前言Spring Security是一个能够为基于Spring的企业应用系统提供声明式的安全访问控制解决方案的安全框架。它提供了一组可以在Spring应用上下文中配置的Bean，充分利用了Spring IoC，DI（控制反转Inversion of Control ,DI:Dependency Injection 依赖注入）和AOP（面向切面编程）功能，为应用系统提供声明式的安全访问控制功能，...

前言在上文中我们已经详细介绍了 Solr 的部署 ，本文我们将介绍 Solr 在 Java 中的使用。上文传送门 : [Solr] Apache Solr 简介及使用[Solr] Apache Solr 集群环境准备索引库 schema.xml 配置文件<?xml version="1.0" encoding=&qu

前言Hadoop是一个由Apache基金会所开发的分布式系统基础架构。 用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力进行高速运算和存储。Hadoop实现了一个分布式文件系统（Hadoop Distributed File System），简称HDFS。HDFS有高容错性的特点，并且设计用来部署在低廉的（low-cost）硬件上；而且它提供高吞吐量（high ...

前言SolrCloud是Solr提供的分布式搜索方案，当你需要大规模，容错，分布式索引和检索能力时使用 SolrCloud。当一个系统的索引数据量少的时候是不需要使用SolrCloud，当索引量很大，搜索请求并发很高，这时需要使用SolrCloud来满足这些需求。SolrCloud需要Solr基于Zookeeper部署，Zookeeper是一个集群管理软件，由于SolrCloud需要由多台...

前言Solr是一个独立的企业级搜索应用服务器，它对外提供类似于Web-service的API接口。用户可以通过http请求，向搜索引擎服务器提交一定格式的XML文件，生成索引；也可以通过Http Get操作提出查找请求，并得到XML格式的返回结果。Solr下载到solr的官网进行下载:http://lucene.apache.org/ 下载历史版本的网址: http://archi...

前言MyBatis逆向工程需要用到的就是MyBatis官方提供的MyBatis Generator(MBG)。MBG是MyBatis和iBATIS的代码生成器，它将为所有版本的MyBatis以及版本2.2.0之后的iBATIS版本生成代码。MBG对简单CRUD（增删改查）的大部分数据库操作产生重大影响。但是您仍然需要为连接查询或存储过程手动编写SQL和对象代码。准备工作本文中使用到的一...

前言搜索引擎指的是通过一定的策略, 从互联网中获取到数据, 将这些数据保存到自己的服务器当中, 然后提供用户一个页面, 用来做查询的, 这个就被称为搜索引擎 例如: 百度、谷歌原始数据库查询的弊端1) 当数据量很大的时候, 当用户输入一个内容的时候, 我们很难在很快的时间进行返回2) 原始的数据库中模糊查询, 只能进行首尾的匹配3) 当用户输入错误, 那么原始的数据库将会和用户...

创建备份脚本，并且自动删除十天以前的备份文件#!/bin/bash#备份数据库命令#mysqldump -hHadoop1 -P3306 -uroot -proot mydb>/tmp.sql#备份到此目录mysqldump_dir=/usr/data/mysql/dump/#查看mysql备份目录是否存在if test ! -e $mysqldump_dirthen ...

#!/bin/bash#存放日志的文件夹log_dir=/opt/user/log/log/#待上传的日志临时目录log_upload_dir=/opt/user/log/upload/#上传到HDFS的目录hadoop_log=/test/log/num=0#创建日志文件夹if [ ! -e $log_dir ]then mkdir -p $log_dirfi#创...

前言前文中已经详细介绍了MQ以及在Java中对MQ的使用，由于本次搭建MQ集群使用到了ZK集群，本人已将所有细节写到了另一文章，若有需要请查看如下。传送门 : [Zookeeper集群搭建] [ActiveMQ消息中间件的概念及安装][ActiveMQ在Java中的使用]环境搭建mkdir /usr/activemqtar -xzvf /root/apache-a...

前言ZooKeeper是源代码开放的分布式协调服务，由雅虎创建，是Google的开源实现。ZooKeeper是一个高性能的分布式数据一致性解决方案，他将那些复杂的、容易出错的分布式一致性服务封装起来，构成一个高效可靠的原语集，并提供一系列简单易用的接口给用户使用。准备工作准备三台机器安装JDK 1.8查看时间是否同步 (统一时间 date -s “2018-06-30 21...

前言随着工程的不断扩大，要部署很多不同的服务，这其中就避免不了Cookie的跨域问题，如何实现Cookie在不同域之前实现传输，本文将详细描述。Cookie介绍1、path Cookie路径是由path设置，例如我们设置path为 / ，代表当前工程下的所有请求均可访问此Cookie，若path为 /test ，代表当前工程下 /test 下的请求才能访问此Cookie。 2、...

前言Jenkins是一个开源软件项目，是基于Java开发的一种持续集成工具，用于监控持续重复的工作，旨在提供一个开放易用的软件平台，使软件的持续集成变成可能。下面我们进入正题环境准备Jenkins 2.107.3SVNJDK 1.8Tomcat 7Maven 3.5注： 用JDK 1.7 可能会发生Jenkins 404准备工作一、SVN...

前言在上文中我们提到了在MyEclipse中创建分支并合并，这次我们将对SVN进行权限分配注：在MyEclipse中创建分支并合并请点击 [SVN]在MyEclipse中创建分支并合并下面我们开始对SVN进行权限划分①进入SVN资源目录,修改conf里面的配置cd /var/svn/repository/pro_oa/conf②备份配置文件cp authz au...

前言在上文中我们提到了在MyEclipse中创建SVN工程，这次我们将开始创建分支。注：在MyEclipse中创建SVN工程请点击 [SVN]在MyEclipse中创建SVN工程六种SVN合并方式 注：本文中主要介绍以上前两种合并方式①分支合并到主干右击主干trunk工程 之后选择第二个选项(从分支合并到主干)，如下图下面选择要合并的分支路径...

前言在上文中我们提到了SVN在服务器的构建，今天我将带领大家在MyEclipse中创建SVN工程。注：SVN服务器搭建请点击: [SVN]版本控制工具搭建及使用①在MyEclipse中找到SVN资源库视图 ②新建资源库,连接SVN 连接成功后如下图所示③上传项目至SVN新建web工程 test_svn④忽略文件上传工程时,有些文件我们是不用上传...

前言Apache Subversion 通常被缩写成 SVN，是一个开放源代码的版本控制系统，Subversion 在 2000 年由 CollabNet Inc 开发，现在发展成为 Apache 软件基金会的一个项目，同样是一个丰富的开发者和用户社区的一部分。SVN相对于的RCS、CVS，采用了分支管理系统，它的设计目标就是取代CVS。互联网上免费的版本控制服务多基于Subversion...

前言对象关系映射（英语：(Object Relational Mapping，简称ORM，或O/RM，或O/R mapping），是一种程序技术，用于实现面向对象编程语言里不同类型系统的数据之间的转换。从效果上说，它其实是创建了一个可在编程语言里使用的–“虚拟对象数据库”。面向对象是从软件工程基本原则（如耦合、聚合、封装）的基础上发展起来的，而关系数据库则是从数学理论发展而来的，两套理论存...