ITSTAR

http://redirect.simba.taobao.com/rd?w=unionnojs&f=http%3A%2F%2Fai.taobao.com%2Fauction%2Fede...

排序:
默认
按更新时间
按访问量

分布式锁2 Java非常用技术方案探讨之ZooKeeper

分布式锁1 Java常用技术方案 前言:       由于在平时的工作中,线上服务器是分布式多台部署的,经常会面临解决分布式场景下数据一致性的问题,那么就要利用分布式锁来解决这些问题。所以自己结合实际工作中的一些经验和网上看到的一些资料,做一个讲解和总结。希望这篇文章可以方便自己以后查阅,...

2017-06-05 16:34:12

阅读数:459

评论数:0

分布式锁1 Java常用技术方案

分布式锁1 Java常用技术方案 前言:       由于在平时的工作中,线上服务器是分布式多台部署的,经常会面临解决分布式场景下数据一致性的问题,那么就要利用分布式锁来解决这些问题。所以自己结合实际工作中的一些经验和网上看到的一些资料,做一个讲解和总结。希望这篇文章可以方便自己以后查阅,...

2017-06-05 16:33:19

阅读数:390

评论数:0

Eclipse常用配置

Eclipse常用配置介绍 以下是项目中所使用的eclipse需要配置的地方, 相关工具软件放在(\\172.20.17.126\tools),配置文件放在(http://tech.xiaoniu88.net/svn/documents/eclipse_settings)开发过程须统一开发工...

2017-05-19 11:20:08

阅读数:419

评论数:0

Drools基础入门

第一节: 基础使用 1. 新建一个maven工程 2. 引入drools的依赖** dependencies> dependency> groupId>org.droolsgroupId> ...

2017-05-19 11:18:51

阅读数:376

评论数:0

Drools的另类用法--模板使用,以及与Spring集成

简述 Drools的用法非常多,功能也非常强大,本文不讨论具体语法以及使用,主要分享一下在使用过程中一种比较另类的思路,由于本人未使用过Drools历史版本,故没有对比,所有讨论都基于Drools 6.3。 思路 首先我们都知道Drools由一系列的drl规则文件 + 工作内存(work...

2017-05-19 11:17:33

阅读数:2949

评论数:0

修改linux最大文件句柄数

大家知道在linux服务器大并发调优时,往往需要预先调优linux参数,其中修改linux最大文件句柄数是最常修改的参数之一。 在linux中执行ulimit -a 即可查询linux相关的参数,如下所示: [root@mongodb11 ~]# ulimit -a core file siz...

2016-09-14 19:17:51

阅读数:2549

评论数:0

四种生成和解析XML文档的方法详解(介绍+优缺点比较+示例)

众所周知,现在解析XML的方法越来越多,但主流的方法也就四种,即:DOM、SAX、JDOM和DOM4J 下面首先给出这四种方法的jar包下载地址 DOM:在现在的Java JDK里都自带了,在xml-apis.jar包里 SAX:http://sourceforge.net/projects...

2015-02-04 16:27:10

阅读数:2238

评论数:0

crontab命令

前一天学习了 at 命令是针对仅运行一次的任务,循环运行的例行性计划任务,linux系统则是由 cron (crond) 这个系统服务来控制的。Linux 系统上面原本就有非常多的计划性工作,因此这个系统服务是默认启动的。另外, 由于使用者自己也可以设置计划任务,所以, Linux 系统也提供了使...

2014-12-23 17:30:42

阅读数:546

评论数:0

Redis与Memcached的区别

传统MySQL+ Memcached架构遇到的问题   实际MySQL是适合进行海量数据存储的,通过Memcached将热点数据加载到cache,加速访问,很多公司都曾经使用过这样的架构,但随着业务数据量的不断增加,和访问量的持续增长,我们遇到了很多问题:   1.MySQL需要不断进...

2014-11-10 17:11:32

阅读数:727

评论数:0

InputFormat的数据划分、Split调度、数据读取三个问题的浅析

在执行一个Job的时候,Hadoop会将输入数据划分成N个Split,然后启动相应的N个Map程序来分别处理它们。 数据如何划分?Split如何调度(如何决定处理Split的Map程序应该运行在哪台TaskTracker机器上)?划分后的数据又如何读取?这就是本文所要讨论的问题。 先从一张...

2014-11-05 21:28:44

阅读数:647

评论数:0

Hadoop集群安全性:Hadoop中Namenode单点故障的解决方案及详细介绍AvatarNode

正如大家所知,NameNode在Hadoop系统中存在单点故障问题,这个对于标榜高可用性的Hadoop来说一直是个软肋。本文讨论一下为了解决这个问题而存在的几个solution。 1. Secondary NameNode 原理:Secondary NN会定期的从NN中读取editlog,与自...

2014-11-05 17:40:31

阅读数:1631

评论数:0

hadoop中槽-slot是线程还是进程讨论

hadoop一个节点默认起两个map slot,这两个slot是多线程吗? hadoop-0.21.0 源码中是这样的: 首先看看 org.apache.hadoop.mapred.TaskTracker 类: ==================================...

2014-11-05 17:39:17

阅读数:581

评论数:0

Hadoop集群三种作业调度算法介绍

Hadoop集群中有三种作业调度算法,分别为FIFO,公平调度算法和计算能力调度算法 先来先服务(FIFO) Hadoop中默认的调度器FIFO,它先按照作业的优先级高低,再按照到达时间的先后选择被执行的作业。 FIFO比较简单,hadoop中只有一个作业队列,被提交的作业按照先后顺序在作业...

2014-11-05 16:56:51

阅读数:899

评论数:0

HDFS体系结构简介及优缺点

1 HDFS体系结构简介及优缺点 1.1体系结构简介 HDFS是一个主/从(Mater/Slave)体系结构,从最终用户的角度来看,它就像传统的文件系统一样,可以通过目录路径对文件执行CRUD(Create、Read、Update和Delete)操作。但由于分布式存储的性质,HDFS集群...

2014-11-05 14:34:59

阅读数:679

评论数:0

hadoop机架感知--加强集群稳固性,该如何配置hadoop机架感知

最新热门 最新回复 最新发表 面试题 项目区 hadoop资源 openstack资源 新手指导 环境搭建 休闲阅读目 hadoop疑问 openstack疑问 移动云 百度云 微软云   ...

2014-11-05 11:08:01

阅读数:730

评论数:0

linux NAT方式上网

我以下写的配置方法别人在网上已经发布过类似的文章。但是我觉的别人写的 东西不一定是对的,必须自己亲自试验一下才行。就像有句话说的:“实践是检验真理的唯一标准”以下是我操作的步骤。希望不足的地方,读者能够指出。    1.必须检查你的windows系统的VMware DHCP Service 和...

2014-09-30 15:30:01

阅读数:4155

评论数:0

hadoop集群balance工具详解

在线上的hadoop集群运维过程中,hadoop 的balance工具通常用于平衡hadoop集群中各datanode中的文件块分布,以避免出现部分datanode磁盘占用率高的问题(这问题也很有可能导致该节点CPU使用率较其他服务器高)。      1) hadoop balance工具的用法...

2014-09-28 11:42:41

阅读数:883

评论数:0

It's possible that the above module doesn't match the current version of Python

当运行yum时可能出现如下问题: [root@Centos ~]# yum There was a problem importing one of the Python modules required to run yum. The error leading to this probl...

2014-09-19 11:28:28

阅读数:5411

评论数:0

Linux下python升级至2.7步骤

首先下载源tar包   可利用linux自带下载工具wget下载,如下所示: 1 # wget http://www.python.org/ftp/python/2.7.3/Python-2.7.3.tgz    下载...

2014-09-14 23:16:28

阅读数:20013

评论数:4

Jedis使用示例

Jedis 是 Redis 官方首选的 Java 客户端开发包。 工作过程总结的一个示例,贴出来,如下: Java代码   package com.wujintao.redis;    import java.util.Date;  import java.util.Hash...

2014-09-09 00:05:49

阅读数:7270

评论数:0

Redis的Java客户端Jedis的八种调用方式(事务、管道、分布式…)介绍

redis是一个著名的key-value存储系统,而作为其官方推荐的java版客户端jedis也非常强大和稳定,支持事务、管道及有jedis自身实现的分布式。 在这里对jedis关于事务、管道和分布式的调用方式做一个简单的介绍和对比: 一、普通同步方式 最简单和基础的调用方式, @Test...

2014-09-09 00:00:53

阅读数:1429

评论数:0

maven插件报错之解决

用m2eclipse创建Maven项目时报错 问题: Could not calculate build plan: Failure to transfer org.apache.maven.plugins:maven-surefire-plugin:pom:2.7.1 from ...

2014-08-31 18:44:43

阅读数:1244

评论数:0

maven中央库连接不成功解决办法

解决办法:    修改hosts文件,新增一行

2014-08-20 23:11:38

阅读数:5764

评论数:1

hive中简单介绍分区表

hive中创建分区表没有什么复杂的分区类型(范围分区、列表分区、hash分区、混合分区等)。分区列也不是表中的一个实际的字段,而是一个或者多个伪列。意思是说在表的数据文件中实际上并不保存分区列的信息与数据。 下面的语句创建了一个简单的分区表: create table partition_...

2014-08-19 23:41:10

阅读数:493

评论数:0

memcached全面剖析–5. memcached的应用和兼容程序

系列文章导航: memcached完全剖析–1. memcached的基础 memcached全面剖析–2. 理解memcached的内存存储 memcached全面剖析–3. memcached的删除机制和发展方向 memcached全面剖析–4. memcached的分布式算法 me...

2014-08-18 15:54:00

阅读数:494

评论数:0

memcached全面剖析–4. memcached的分布式算法

系列文章导航: memcached完全剖析–1. memcached的基础 memcached全面剖析–2. 理解memcached的内存存储 memcached全面剖析–3. memcached的删除机制和发展方向 memcached全面剖析–4. memcached的分布式算法 me...

2014-08-18 14:40:59

阅读数:552

评论数:0

memcached全面剖析–3. memcached的删除机制和发展方向

系列文章导航: memcached完全剖析–1. memcached的基础 memcached全面剖析–2. 理解memcached的内存存储 memcached全面剖析–3. memcached的删除机制和发展方向 memcached全面剖析–4. memcached的分布式算法 me...

2014-08-18 14:12:27

阅读数:453

评论数:0

memcached完全剖析–1. memcached的基础

系列文章导航: memcached完全剖析–1. memcached的基础 memcached全面剖析–2. 理解memcached的内存存储 memcached全面剖析–3. memcached的删除机制和发展方向 memcached全面剖析–4. memcached的分布式算法 me...

2014-08-18 14:10:30

阅读数:448

评论数:0

memcached全面剖析–2. 理解memcached的内存存储

系列文章导航: memcached完全剖析–1. memcached的基础 memcached全面剖析–2. 理解memcached的内存存储 memcached全面剖析–3. memcached的删除机制和发展方向 memcached全面剖析–4. memcached的分布式算法 me...

2014-08-18 14:09:54

阅读数:449

评论数:0

如何使用Hadoop的ChainMapper和ChainReducer

Hadoop的MR作业支持链式处理,类似在一个生产牛奶的流水线上,每一个阶段都有特定的任务要处理,比如提供牛奶盒,装入牛奶,封盒,打印出厂日期,等等,通过这样进一步的分工,从而提高了生产效率,那么在我们的Hadoop的MapReduce中也是如此,支持链式的处理方式,这些Mapper像Linux管...

2014-06-28 23:25:38

阅读数:1516

评论数:0

Hadoop配置项整理(mapred-site.xml)

续上篇 name value Description hadoop.job.history.location   job历史文件保存路径,无可配置参数,也不用写在配置文件里,默认在logs的history文件夹下。 hadoop.job.h...

2014-06-24 10:49:20

阅读数:677

评论数:0

Hadoop配置项整理(hdfs-site.xml)

续上篇整理一下hdfs相关的配置项      name  value Description  dfs.default.chunk.view.size 32768 namenode的http访问页面中针对每个文件的内容显示大小,通常无需设置。 dfs....

2014-06-24 10:48:49

阅读数:566

评论数:0

Hadoop配置项整理(core-site.xml)

记录一下Hadoop的配置和说明,用到新的配置项会补充进来,不定期更新。以配置文件名划分 以hadoop 1.x配置为例 core-site.xml    name value  Description   fs.default.name hdfs://hado...

2014-06-24 10:47:44

阅读数:2852

评论数:0

VMware tools 安装

echo "export LC_ALL=C" >> /root/.bashrc

2014-06-23 15:59:16

阅读数:662

评论数:0

Secondary NameNode:它究竟有什么作用?

前言 最近刚接触Hadoop, 一直没有弄明白NameNode和Secondary NameNode的区别和关系。很多人都认为,Secondary NameNode是NameNode的备份,是为了防止NameNode的单点失败的,直到读了这篇文章Secondary Namenode - Wh...

2014-06-16 14:14:34

阅读数:29152

评论数:9

Hadoop Hbase完全分布式环境搭建

Hadoop分布式环境搭建 一、安装软件准备   由于资源限制,本文档的Hadoop的节点环境均部署在虚拟的linux上,使用的虚拟机和linux的版本如下: VMware-workstation-full-8.0.2-591240.exe [红帽企业.Linux.5].TLF-SOFT-...

2014-06-11 15:44:08

阅读数:3584

评论数:0

jsoup的基础理论(一)

一、   JSOUP简介 在以往用java来处理解析HTML文档或者片段时,我们通常会采用htmlparser(http://htmlparser.sourceforge.net/)这个开源类库。现在我们有了JSOUP,以后的处理HTML的内容只需要使用JSOUP就已经足够了,JSOUP有更快的...

2014-06-02 20:54:53

阅读数:6803

评论数:1

Java 正则表达式 量词 --- 三种匹配模式【贪婪型、勉强型、占有型】

在Sun的API中对在对 “最大匹配Greedy”“最小匹配Reluctant”“完全匹配Possessive”的描述,不能让我明白他们有什么区别,现在将我对这三种匹配模式的理解写出来,供大家参考。 1、Greediness(贪婪型):最大匹配 X?、X*、X+、X{n,}都是最大...

2014-05-29 10:56:27

阅读数:1778

评论数:0

win7下搭建FTP服务器

在局域网中共享文件,FTP是比较方便的方案之一。Win7内部集成了FTP,只是设置起来颇费一番功夫。着文以记之。   一、安装FTP组件     由于Win7默认没有安装FTP组件。故FTP的设置第一步就是安装FTP组件     点击:控制面板—》程序和功能—》打开或关闭Wind...

2014-05-14 23:32:25

阅读数:791

评论数:0

REST风格的应用程序实现

莫笑我老土,因为我确实是最近才听说REST风格的,以前就是觉得 /category/product/pid 这样的地址非常的漂亮,但是那只是表象罢了,了解深入以后,发现必须有一个客户端的Ajax Engine和Server端的服务配合,才能实现一个REST风格的应用,下面就是我的实验。 问题?...

2014-05-13 16:25:56

阅读数:729

评论数:0

SOA标准之----SCA架构思想

SOA标准之----SCA架构思想   SOA在Java领域有两套标准:一个是SUN推出的JBI(没有得到BEA和IBM的承认),另外一个是:IBM和BEA等公司推出的SCA和SDO标准。   JBI之关注Java组件只处理Java组件的集成。 SCA实现了业务组件和传输协议的分离,可以...

2014-05-06 12:02:39

阅读数:1019

评论数:0

SOA标准之----JBI架构思想

SOA标准之----JBI架构思想   SOA在Java领域有两套标准:一个是SUN推出的JBI(没有得到BEA和IBM的承认),另外一个是:IBM和BEA等公司推出的SCA和SDO标准。   JBI之关注Java组件只处理Java组件的集成。 SCA实现了业务组件和传输协议的分离,可以...

2014-05-06 11:54:23

阅读数:878

评论数:0

MULE ESB webservice jms服务

写之前的内容时,Mule刚刚3.0.1版本,很多官方文档还没有更新(尤其示例代码),维持在V2的状态。经过了一年多的时间,Mule社区版发展至了3.2版本,并且推出了Mule Studio可视化开发工具(当前beta状态,支持Mule 3.1.2)。 将以前自己验证的示例代码在3.1.2版本上又...

2014-04-13 18:26:32

阅读数:3994

评论数:0

MULE ESB配置模式

Mule 3.0版本提供了“pattern”的机制。Pattern总结了实际使用过程中的常见场景,以简化的服务配置方式提供。 6.1 简单服务模式(simple service pattern) 简单服务模式用于简化同步服务调用的配置,对应消息传递方式中的请求-响应方式。 图 简单服务模...

2014-04-13 18:24:03

阅读数:2948

评论数:1

Mule ESB 的一些基本概念

Mule ESB中有一些基本的概念,理解这些基本概念后才能理解Mule的内部机制。从中也可以看到Mule解决问题的基本思路。 4. 基本概念 4.1 Model Model表示托管各个服务的运行时环境。 图 Model 4.2 Service Service是用来处理服务请...

2014-04-13 18:16:28

阅读数:1624

评论数:1

Mule 官方例子研究

Mule 官方例子研究 一、编译导入Mule自带的例子 1.准备 安装Mule。这里就不介绍mule的安装了,请参考《Mule安装部署手册》。 2. 编译Mule自带例子中的Hello例子 使用命令行到目录:D:/app/mule3.1.1/examples/hello下,输入:mvn ...

2014-04-12 23:19:30

阅读数:5670

评论数:0

Mule ESB 入门,最简单的Hello实例

这是一个最简单的mule esb入门实例,其中用了 flow ,endpoint ,transformer,component 这些组件,这些组件的配置也是最简单配置. 情景: 1.在浏览器地址栏输入http://localhost:9090/hello-mule?name=oliver&am...

2014-04-12 22:40:00

阅读数:16474

评论数:4

Maven内置隐式变量

Maven提供了三个隐式的变量可以用来访问环境变量,POM信息,和Maven Settings env env变量,暴露了你操作系统或者shell的环境变量。便 如在Maven POM中一个对${env.PATH}的引用将会被${PATH}环境变量替换,在Windows中为%PATH%...

2014-04-05 11:18:54

阅读数:9179

评论数:0

在xml的汪洋中遨游之mule篇

mule号称开源ESB的最好实现,研究mule也有段时间了, 在“浩如烟海”的xml配置中,保持清醒的头脑确实不容易。  作为学习笔记之一,记录一下一个mule简单应用的实现。 需求:给指定的email地址发送邮件.  一:基本实现:  1: 实现命令行输入发送email:  为了能在命令行接受输...

2014-03-21 16:44:57

阅读数:2050

评论数:0

安装和使用memcached

如何将 memcached 融入到您的环境中? 在开始安装和使用 using memcached 之前,我们需要了解如何将 memcached 融入到您的环境中。虽然在任何地方都可以使用 memcached,但我发现需要在数据库层中执行几个经常性查询时,memcached 往往能发挥最大的效用。...

2014-03-21 11:57:29

阅读数:550

评论数:0

提示
确定要删除当前文章?
取消 删除
关闭
关闭