- 博客(41)
- 收藏
- 关注
RSS订阅原创 Redis Java API编程
Redis 目前已经成为最流行的内存数据库之一，Java版本的API使用起来也非常方便；配合Spring-data 的项目可以很方便的使用redis的内存功能，将dao与redis整合。今天我们只介绍Redis的Java API, 借助jdk的序列化工具，我们可以将对象存存储到内存中； package com.techstar.cache;import java.util.Ar...
2016-09-04 18:04:23
325
原创 Netty-入门Netty编码
在学习Netty编程之前，我们先了解一下为什么要使用Netty， 通过前几篇的代码，大家发现JDK的NIO API太不好用了。JDK自带的API主要有一下4个贴点：1) NIO的类库和API繁杂，使用麻烦，你需要熟练掌握Selector、ServerSocketChannel、SocketChannel、ByteBuffer等；2) 需要具备其它的额外技能做铺垫，例如熟...
2016-09-04 16:05:43
241
原创 Netty-入门AIO编程
在介绍Netty编程之前， 我们不得不限介绍一下Unix系统下的事件驱动IO模型；在JDK1.7之后出现的NIO2.0也引入了这个异步非阻塞通道，他不需要通过多路复用器对注册通道进行轮询操作即可实现异步读写，从而简化了NIO的编程模型；NIO2.0提供的异步的套接字通道是真正的异步I/O，在异步I/O操作的时候可以传递信号变量，当操作完成之后回调相关的方法。 异步I/O也被称作AIO。...
2016-09-01 20:33:48
227
原创 Netty -入门NIO初级编程
接上篇，今天主要讲解NIO的编程入门，借用上一篇的例子，这次试用NIO进行一次升级。 一、 TimeServer端，步骤如下1、打开ServerSocketChannel，用于监听用户端的连接，他是所有客户端连接的父管道2、绑定监听端口，设置连接为非阻塞模式3、创建Reactor线程，创建多路复用器并启动线程4、将ServerSocketChannel注册到Reacto...
2016-08-31 20:23:09
157
原创 Netty -入门IO与NIO
1、什么是Netty Netty是由JBOSS提供的一个java开源框架。Netty提供异步的、事件驱动的网络应用程序框架和工具，用以快速开发高性能、高可靠性的网络服务器和客户端程序。 也就是说，Netty 是一个基于NIO的客户，服务器端编程框架，使用Netty 可以确保你快速和简单的开发出一个网络应用，例如实现了某种协议的客户，服务端应用。Netty相当简化和流...
2016-08-31 20:01:24
191
原创 maven 将本地jar 添加到maven私服库中
install 到本地mvn deploy:deploy-file -Dfile=TrendDB_RDF.jar -DgroupId=com.techstar.trenddb -DartifactId=trenddb_rdf -Dversion=1.0 -Dpackaging=jar deploy到远程私服库mvn deploy:deploy-file -Dgroup...
2016-08-25 10:10:46
300
原创 RPC大数据包传输
netty 默认的数据包传输大小为1024Byte ServerBootstrap bootstrap = new ServerBootstrap(); bootstrap.group(bossGroup, workerGroup).channel(NioServerSocketChannel.class) .childHandler(new Channe...
2016-07-25 10:55:10
2750
原创 maven管理子项目版本编号
最近遇到一个很麻烦的事情，一个用maven构建的项目有好几个模块，而且还要频繁的更新版本以保证开发进度。每次修改版本号就成了我最头疼的事情，后来想想我遇到的问题那些大牛们肯定也遇到过呀，网上一搜还真是，不少前辈们贡献的帖子！项目目录： 使用一下命令mvn versions:set -DnewVersion=0.0.4-SNAPSHOT 或者使用mvn -N ve...
2016-06-01 09:32:13
548
原创 Mysql 中文乱码问题解决
mysql的乱码问题主要出现在， 以下4方面：1、jdbc 的url设定的字符编码问题2、Mysql server编码问题3、table 设定的编码问题4、Mysql Client编码问题 一、 规避出现乱面的方式：1、在创建数据库时制定编码集 CREATE DATABASE `zkcfg` CHARACTER SET 'utf8' COLLAT...
2016-05-17 16:27:29
128
原创 CentOS 7 Iptables 安装
CentOS7默认的防火墙不是iptables,而是firewalle； #先检查是否安装了iptablesservice iptables status#安装iptablesyum install -y iptables#升级iptablesyum update iptables #安装iptables-servicesyum install ipt...
2016-05-17 15:28:13
102
原创 Tomcat 集群 使用Redis实现Session共享
Tomcat 集群 使用Redis实现Session共享优点1、tomcat重启Session不会丢失2、不在占用tomcat的内存3、可以很方便的统计当前在线人数 使用方式修改tomcat /conf/context.xml<Valve className="com.orangefunction.tomcat.redissessions.RedisSes...
2016-03-23 13:44:17
168
原创 RPC 轻量级框架高并发处理
RPC（远过程调用）在分布式系统中是很常用的基础通讯方式，核心思想是将不同进程之间的通讯抽象为函数调用。基本的过程是：1、调用端将参数序列化到流中并发送给服务端2、服务端从流中反序列化出参数并完成实际的处理3、将结果序列化后返回给调用端。通常的RPC由接口形式来定义，接口定义服务的名字，接口方法定义每个请求的输入参数和返回结果，并且RPC内部的序列化、网络通讯等实现细...
2016-03-21 12:38:08
1078
原创 hive 安装部署
1、源码编译 源码下载地址http://archive.cloudera.com/cdh5/cdh/5/hive-1.1.0-cdh5.5.1-src.tar.gz mvn clean package -Phadoop-2 -Pdist -DskipTests -Dtar 编译完成之后的gz文件在hive-1.1.0-cdh5.5.1/packagin...
2016-02-18 11:06:49
153
原创 Hive1.1.0 hiveserver2 与beeline的配置及使用
Hive 1.1.0配置见《hive 安装部署》 这篇文章介绍hiveserver2的配置及使用，以及后台守护进程的配置实用 1、 基础配置，hiveserver2 启动时会检查Hadoop的环境变量是否配置，因此Hive必须安装在Hadoop集群里，并且配置好Hadoop的环境变量export JAVA_HOME=/usr/jdk1.7.0_71export C...
2016-02-18 11:06:05
546
原创 hive 配置 属性列表以及说明
HIVE 配置属性的意义，留着做笔记用，感谢大牛们的翻译 hive.exec.mode.local.auto 决定 Hive 是否应该自动地根据输入文件大小，在本地运行（在GateWay运行） 默认值：true hive.exec.mode.local.auto.inputbytes.max 如果hive.exec.mode.local.auto 为...
2016-02-17 16:43:59
435
原创 CDH Hadoop 集群部署方案
1、 集群规划主机名称 主机IP 安装软件 运行的进程node1 10.1.19.100 zookeepr1 DataNode、NodeManager、JournalNode、QuorumPeerMainnode2 10.1.19.144 zookeepr2 DataNode、NodeManager、JournalNode...
2016-01-07 14:39:09
345
原创 sqoop2 常见问题 以及处理方式
一、报错：The specified function "connection" is not recognized.原因是版本不一样，SQOOP 1.99.4以后命令就变了: 具体看这里：https://sqoop.apache.org/docs/1.99.4/CommandLineClient.html#create-link-function 二、sqoop端口冲突要注意一下$SQO...
2016-01-07 14:36:51
897
原创 sqoop2 使用实例
启动Client/usr/hadoop/sqoop-1.99.5-cdh5.5.1-bin-hadoop200/bin/sqoop.sh client 为客户端配置服务器：set server --host node3--port 12000 --webapp sqoop 【红色部分为 本机hostname 主机名和端口号】sqoop:000> set server ...
2016-01-07 14:12:49
453
原创 sqoop2 安装部署、源码编译
1.安装准备工作：已经装好的 hadoop 环境是cdh版本 hadoop-2.6.0 64位下载的sqoop安装包 （不知道这个安装包支不支持64位，所以我下载的源码，然后自己编译源码）http://archive.cloudera.com/cdh5/cdh/5/sqoop2-1.99.5-cdh5.5.1.tar.gz源码下载地址：http://archive.cloud...
2016-01-06 11:22:11
386
原创 Openfire 集成 原有用户系统
Openfire 提供了一套 JDBC的用户整合方案，使用这个方案可以整合现有系统用户信息；所有的配置信息都可以Openfire的控制台完成配置，不过作为屌丝程序员，还是习惯了直接通过sql修改配置的方式完成； 修改的配置信息如下：delete from ofProperty;Insert into ofProperty (name,propValue) values ('...
2015-12-21 16:23:15
207
原创 Hadoop学习笔记 7 Hbase集群环境搭建
HBase运行模式:单机和分布式（伪分布式、真分布式），我们今天配置的环境是真分布式环境OS：Redhat 6.5 64bitJDK:JDK1.7Hadoop:2.7.1Zookeeper:3.4.6 HBase集群环境是在HDFS环境中运行的，在安装HBase集群之前必须配置好HDFS的集群环境 配置之前，请先自行到Hbase官方网站下载安装包，我...
2015-12-15 21:24:36
124
原创 Hadoop学习笔记 6 Hadoop源码编译
在学习Hadoop开始，便被告知官网只提供了32位系统的安装文件，如果要在64位系统中运行，那就得自己重新编译安装文件；前段时间一直在学习怎么样安装使用Hadoop，先把编译64位的安装文件忽略了，等到对Hadoop熟悉之后再学习会更省时间，还不错，跟预想的一样。下面就介绍一下怎么样编译64位的安装文件系统环境OS：RedHat6.5 64bit企业版JDK：1.8.0_2...
2015-12-06 12:50:26
126
原创 Hadoop学习笔记 5 sqoop 初学习
1.上传sqoop2.安装和配置 在添加sqoop到环境变量 将数据库连接驱动拷贝到$SQOOP_HOME/lib里3.使用 第一类：数据库中的数据导入到HDFS上 sqoop import --connect jdbc:mysql://10.1.19.244:3306/openfire --username root --password 123 --tab...
2015-12-05 20:50:43
87
原创 Hadoop学习笔记 3 - Partioner 学习
Partioner是通过启动多个map 与Reduce来将文件中的数据进行分组, 在Mapper向Reducer输出之前对输出进行分组并根据此次分组指定每组数据在那台机器上执行，将结果输出到不同文件。 以下为实现代码： package com.itbuilder.mr;import java.io.IOException;import java.util.HashM...
2015-12-02 21:26:50
299
原创 Hadoop学习笔记 4 - 集群环境安装部署
一、 集群规划：主机名称 主机IP 安装软件 运行的进程hadoop01 10.1.19.130 zookeepr1 DataNode、NodeManager、JournalNode、QuorumPeerMainhadoop02 10.1.19.132 zookeepr2 DataNode、NodeManager、JournalNo...
2015-12-01 20:48:57
82
原创 zookeeper 集群安装配置
1、安装配置环境OS：linux redhat6.5 64bit JDK： 1.7.1zookeeper: 3.4.62、下载zookeeper安装文件下载地址：http://archive.apache.org/dist/zookeeper/stable/ 3、 安装zookeeper 使用tar命令解压zookeeper的压缩文件即可tar /usr/...
2015-11-22 13:31:29
90
原创 Hadoop学习笔记 2 - MapReduce 简单实例
1.2 MapReduce开发实例 MapReduce 执行过程，如下图，（先由Mapper进行map计算，将数据进行分组，然后在由Reduce进行结果汇总计算） 直接上代码package com.itbuilder.hadoop.mr;import java.io.IOException;import org.apache.hadoop.conf.Co...
2015-10-18 11:54:52
151
原创 Hadoop学习笔记 1 - hadoop-2.7.1 安装配置
1、 搭建linux环境 我准备的环境是VM RedHat Linux 6.5 64bit 设置固定IP vim /etc/sysconfig/network-scripts/ifcfg-eth0 将IP地址设定为192.168.38.128 修改主机名： vim /etc/hosts ...
2015-09-12 15:05:36
180
原创 基于Spring声明式事务的 分布式事务管理
开发传统应用遇到的最大问题就是多数据源的事务一致性问题， 下面介绍一种常用的分布式事务处理方式的使用开发环境：Eclipse+Java1.7 + tomcat7， 另外使用到的开源框架 Spring3.X 提到分布式事务大家首先想到的肯定是jta，我们用到的就是基于jta的一种实现atomikos，下面就介绍一下他的使用 1、 依赖的jar ...
2015-09-02 15:03:10
325
原创 linux redhat 6.5 企业版 Redis 3.0.3安装
系统环境准备 1、下载Redis 3.0.3 版本 地址： http://download.redis.io/releases/redis-3.0.3.tar.gz2、通过tar 命令将文件解压[root@localhost ~] tar -vxzf /usr/local/redis-3.0.3.tar.gz3、 将解压后的文件放到 /usr/local/ （个人习惯）...
2015-09-02 13:26:19
173
原创 通过nginx实现openfire集群的负载均衡
前段时间实现了openfire的集群部署，如果要在应用中实现应用我们还需要一个至关重要的工作：负载分发 我们选中的负载工具是nginx（原因很简单：开源，免费） 1、安装nginx （redhat企业版6.5 64bit环境）到nginx官网下载最新版本文件，目前最新版本时候nginx-1.9.3.tar.gz 之所以选择最新版本是因为在新版本的nginx中已经提...
2015-08-20 16:28:36
287
原创 mysql linux环境下的安装
我使用的linux系统环境是 RedHat 企业版 6.5 64bit版本，使用的root账户参考： http://my.oschina.net/lzwenme/blog/291292到mysql官网下载linux系统64位的安装包 MySQL-5.6.26-1.linux_glibc2.5.x86_64.rpm-bundle.tar 1、 使用tar 命令进行解压缩，linux命...
2015-07-31 14:02:32
88
原创 openfire安装部署 4- 常见问题及解决方案汇总
1、 Hazelcast插件安装后在已安装列表中不显示问题原因： 只要是在已安装列表中不显示则说明插件未安装成功，一般是由于插件版本不兼容造成解决方案：查看插件的最低支持版本 与 openfire的版本是否兼容； 尽量使用该版本可用的插件，可以避免很多麻烦问题 2、自定义插件在高版本的openfire中安装失败 例如：在openfire 3.9.3 版本中开发，并且安...
2015-07-30 12:55:20
617
原创 openfire安装部署 3- openfire集群配置
openfire集群配置的可选方案目前有三种1、基于oracle的coherence实现-----较早版本的官方实现，目前用户量比较大（但是openfire官方已经放弃了这种集群方案）2、基于zookeeper实现的zkfire 在openfire的基础之上进行修改，通过zookeeper的集群功能实现了openfire的功能----应用效果未知 （由于zookeeper的限制，集群必...
2015-07-30 12:35:47
312
原创 openfire安装部署 2- openfire安装配置
openfire选择的版本 ： openfire-3.10.2-1.i386.rpm 之所以选择这个版本是因为这个版本提供了broadcast与Hazelcast Clustering Plugin这两个集群所需要的插件，当然openfire还有其他方式实现集群配置，我们选择openfire官方建议的方式实现集群 安装方式在 http://muruiheng.iteye.com/blog/22...
2015-07-29 15:47:00
152
原创 openfire安装部署 1 -运行环境准备
openfire目前算是国内及时通讯应用中普及率最高的消息中间件了，由于最近的项目中使用到了o这个东西，所以不得不研究一下，从最基本的安装开始：环境准备1、 系统环境linux：redhat 6.5 2、 jdk版本：1.71、 jdk安装下载jdk 1.7的linux 64bit版本，的tar.gz文件通过tar czvf jdk.tar.gz -C /usr/jav...
2015-07-28 16:26:05
103
原创 WebSocket使用示例
Html5给大家提供了一个很高大上的功能：WebSocket socket通信是在服务端与客户端之间进行的，所谓的WebSocket其实就是通过Html 与 后台服务器之间进行的消息传递；下面我们来介绍一下如何实现一个简单的WebSocket实例。注意：JDK必须是1.7以上版本，tomcat必须是7以上版本；spring对Websocket的支持也是只有Spring4之后...
2015-06-28 10:49:20
118
原创 分布式日志
最近完成一个简单的日志管理系统，拿出来跟大家分享一下！主要实现的功能：1、支持动态修改配置2、实现统一的配置管理3、支持文件输出、habse输出、mongodb输出基于以上三点功能，我们下面详细说明1、支持动态修改配置说道支持这个功能，有个同事认为没有这个必要，他的观点是log4j的配置不需要经常变动，不需要支持这样的功能；本人的观点是“配置可以进行统一管理、而且正式机跟测试机的lo...
2015-05-27 20:50:26
115
原创 Spring声明式事务管理
Spring的声明式事务管理，可以说是开发人员的福音，也是架构师们的法宝；通过这个神器我们可以有效的解决事务不一致、连接泄露等问题 下面我们就介绍一下Spring声明式事务的配置：1、创建事务管理器 <bean id = "transactionManager" class="org.springframework.jdbc.datasource.DataSourceTr...
2015-02-28 16:20:53
76
原创 Spring+SpringMVC企业快速开发架构搭建2-web端封装
使用SpringMVC进行开发，主要优势很多；我们主要看中的有以下几点：1、代码量少2、学习简单，与我们之前使用的框架风格相似3、能够支持多种视图为了将以上几点发挥的更好，我选择将web层的Controller进行封装，目的也很明确：为了让我们的开发人员使用起来更简单，封装工作分为三部分1、请求参数处理、响应值处理我们默认支持的视图是html，选择json作为前台到后台...
2015-02-11 10:18:34
90
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人