- 博客(28)
- 资源 (2)
- 收藏
- 关注
RSS订阅转载 分布式Web服务器架构
最开始，由于某些想法，于是在互联网上搭建了一个网站，这个时候甚至有可能主机都是租借的，但由于这篇文章我们只关注架构的演变历程，因此就假设这个时候已经是托管了一台主机，并且有一定的带宽了，这个时候由于网站具备了一定的特色，吸引了部分人访问，逐渐你发现系统的压力越来越高，响应速度越来越慢，而这个时候比较明显的是数据库和应用互相影响，应用出问题了，数据库也很容易出现问题，而数据库出问题的时候，应用也容易
2014-06-11 10:25:03
771
原创 使用Log4j进行日志操作
1.1. 背景在应用程序中添加日志记录总的来说基于三个目的：监视代码中变量的变化情况，周期性的记录到文件中供其他应用进行统计分析工作；跟踪代码运行时轨迹，作为日后审计的依据；担当集成开发环境中的调试器的作用，向文件或控制台打印代码的调试信息。最普通的做法就是在代码中嵌入许多的打印语句，这些打印语句可以输出到控制台或文件中，比较好的做法就是构造一个日志操作类来封装此类操作，而不是让一
2014-04-08 16:29:01
531
原创 org.apache.log4j.Logger 详解
1. 概述1.1. 背景 在应用程序中添加日志记录总的来说基于三个目的 ：监视代码中变量的变化情况，周期性的记录到文件中供其他应用进行统计分析工作；跟踪代码运行时轨迹，作为日后审计的依据；担当集成开发环境中的调试器的作用，向文件或控制台打印代码的调试信息。 最普通的做法就是在代码中嵌入许多的打印语句，这些打印语句可以输出到控制台或文件中，比较好的做法就是构造一个日
2014-04-08 16:27:58
609
原创 log4j的使用
（一）log4j的用途：可以用来做日志文件，即可以往.log文件中输入我们在程序中运行的一些数据，比如说：你往数据库里面保存了一条信息，同样，你也可以用log4j的日志文件来记录你所保存的信息，并且更完整，可以包含1、保存的时间 2、调用的函数 3、自己想记录、保存什么信息 等等 这些都是可以的。（二）改如何使用? 使用log4j来做日志文件需要三个东西：1、jar包，即l
2014-04-08 11:24:20
497
转载 最棒的10款 MySQL GUI 工具
绝大多数的关系数据库都明显不同于MS Access，它们都有两个截然不同的部分：后端作为数据仓库，前端作为用于数据组件通信的用户界面。这种设计非常巧妙，它并行处理两层编程模型，将数据层从用户界面中分离出来，同时运行数据库软件制造商专注于它们的产品强项：数据存储和管理。它同时为第三方创建大量的应用程序提供了便利，使各种数据库间的交互性更强。这类产品包括Embarcadero Rapid SQL和Or
2013-12-18 14:31:06
804
转载 Linux学习之--CentOS6.4下Mysql数据库的安装与配置
如果要在Linux上做j2ee开发，首先得搭建好j2ee的开发环境，包括了jdk、tomcat、eclipse的安装(这个在之前的一篇随笔中已经有详细讲解了Linux学习之CentOS(七)--CentOS下j2ee环境搭建),如果要开发web项目，我们当然可以安装一个myeclipse到Linux系统上去，这个安装方法和安装eclipse完全相同，就没有记录下来了，有了jdk、tomcat、ec
2013-12-17 11:30:19
629
转载 Linux下的安装Mysql
一.下载说明前期的一些准备说明，参考：MySQL 发展史http://blog.csdn.net/tianlesoftware/article/details/6999245 Mysql 不同版本 说明http://blog.csdn.net/tianlesoftware/article/details/6723117MySQL 分为
2013-12-17 10:45:10
650
原创 myeclipse配置hadoop开发环境
1、安装Hadoop开发插件 hadoop安装包contrib/目录下有个插件hadoop-0.20.2-eclipse-plugin.jar，拷贝到myeclipse根目录下/dropins目录下。2、 启动myeclipse，打开Perspective：【Window】->【Open Perspective】->【Other...】->【Map/Reduce】-
2013-12-16 16:46:28
724
转载 如何理解Hadoop-Hbase原理与应用小结
1 我们常说HBase是“数据即日志”的数据库，它是怎样修改和删除数据的？和Oracle这类传统的RDBMS有什么区别？ 答：首先Hbase中的一个“元素”是由行键、列族名、限定符、时间戳唯一标识的并且行键作为数据行在表里的唯一标识，我们只有通过行键来访问列族别无他法。修改数据：我们先找到要修改的行键把新的数据记录追加到对应的列族中并打上一个新时间戳代表最新版本。删除数据：
2013-12-03 10:21:42
633
转载 Hbase迎接电信TB级大数据洗礼之热点网站功能实践
在今年年初的时候联通王志军院长就Hadoop在电信行业的大数据应用谈了自己的经验，随着3G网络的发展中国联通目前运营着世界上最大的CDMA网络，流量运营是中国联通一个重要特点。中国联通3G套餐当中流量占比非常非常大，中国联通3G用户流量使用情况也是非常可观的。那么在3G网络功能中上网冲浪占了很大的比例，去研究用户感兴趣的热点网站成为了行为分析中很有特点的一项功能，联通就可以根据这些网站信息推出增值
2013-12-03 09:53:24
960
转载 Hadoop之Hbase数据库完全分布模式安装guide
1. 安装环境简介物理笔记本：i5 2.27GHz (4 CPU) 4G内存 320GB硬盘 32位win7 操作系统虚拟机：Product VMware® Workstation Version 7.0.0 build-203739虚拟机安装配置URL：http://ideapad.it168.com/thread-2088751-1-1.html 不会配置的朋友
2013-12-03 09:45:16
1095
转载 Google Analytics(谷歌分析) 架构与原理
Google Analytics(Google分析)是Google的一款免费的网站分析服务，Google Analytics最早是由一些工程师设计的，后来被Google收购，现在被广受好评。对于Google Analytics的用户目前在国内的用户已经数以万计，本站 www.javabloger.com也使用Google Analytics工具对网站的访问趋势进行分析。Google Analyt
2013-11-29 17:35:28
2322
转载 HBase入门7 -安全&权限
近2年来云计算的话题到目前为止风风火火从来没有平静过，一直是大家嘴边讨论的热门话题，人们期望运用云计算提供可靠、稳定、高速的计算，在云计算中Google是目前最大的云计算供应商，例如：Google GAE(Google App Engine)和Google的Docs在线文章服务，这些SaaS上线产品的数据存储(datastore)是由BigTable提供存储服务的，在次之前我提到过Yahoo贡献给
2013-11-29 17:33:02
1663
转载 Java操作MongoDB NoSQL数据库
一、介绍MongoDB是一个“绿色”免安装直接解压(unzip)即可运行的高性能，开源，无 关系型(NoSQL)的文档型数据库，它在许多场景下可用于替代传统的关系型数据库或键(key)/值(value)存储方式。Mongo使用C++开 发，提供了以下功能： * 面向集合的存储：适合存储对象及JSON形式的数据。 * 动态查询：Mongo支持丰富的查询表达式。查询
2013-11-29 17:29:37
719
转载 基于Hbase存储的分布式消息(IM)系统-JABase
前段日子看了在highscalability.com上一篇介绍facebook消息系统的文章，一夜之后被无数个网站无数次的转载，现如今facebook的任何一个话题都会引起很多人的关注，但我对只对这文章里面没有说明的部分比较感兴趣，系统里是怎么获得即时消息的？PHP监听器？开启很多个监听器服务？推模式？拉模式？跟Twitter一样采用消息中间件？对此有了些疑问，期待日后有人能给出明确解答。
2013-11-29 17:24:43
2428
转载 Lily-建立在HBase上的分布式搜索
Lily以NoSQL技术为主题，是建立在云计算上的内容仓库(content repository)。它是基于Apache的 HBase(存储)和Solr(索引/搜索)，并提供了大型内容集合存储与检索的解决方案。可运用在 门户网站，内容管理系统，及时搜索，档案应用，文案管理，等等。 Lily项目与传统的Lucene框架相比体现了以下几点关键性的优势： ·伸
2013-11-29 17:23:09
1138
转载 MySQL向Hive/HBase的迁移工具
Apache Hive是目前大型数据仓库的免费首选产品之一，使用Apache Hive的人是不会期望在小数据量上做什么文章，例如把MySQL中的数据搬到Hive/HBase中去，那样的话原先很快能执行完毕的SQL，估计在Hive上运行跟原来相比时间延长10倍都不止。但如果你有MySQL数据可以把大量的数据向Hive导入，如果上亿条的数据量再加上复杂的SQL查询条件对于MySQL来说是一件比较头疼的
2013-11-29 17:19:45
690
转载 Hbase入门6 -白话MySQL(RDBMS)与HBase之间
任何一项新技术并非救命稻草，一抹一擦立马药到病除的百宝箱，并非使用Spring或者NOSQL的产品就神乎其神+五光十色，如果那样基本是扯淡。同类 型产品中不管那种技术最终要达到的目的是一样的，通过新的技术手段你往往可能避讳了当前你所需要面对的问题，但过后新的问题又来了。也许回过头来看看还不 如在原来的基础上多动动脑筋 想想办法 做些改良可以得到更高的回报。 传统数据库是以数
2013-11-29 17:18:12
725
转载 HBase入门5(集群) -压力分载与失效转发
在上一篇关于HBase的文章中曾经讲述过HBase在分布式中的架构，这篇文章将会讲述HBase在分布式环境中是如何排除单点故障的(SPFO)，做一个小实验讲述HBase在分布式环境中的高可用性，亲眼看到一些现象，延伸一些思考的话题。先来回顾一下HBase主要部件： 1.HBaseMaster 2.HRegionServer 3.HBase Client
2013-11-29 17:15:32
676
转载 HBase入门篇4–存储
前几篇文章讲述了 HBase的安装、Hbase命令和API的使用、HBase简单的优化技巧，《HBase入门篇4》这篇文章是讲述把HBase的数据放在HDFS上的点滴过程。目前对与HBase我是一个绝对的新手，如果在文章中有任何我理解有错误的地方请各位指正，谢谢。Ok，进行正题 ……… 在HBase中创建的一张表可以分布在多个Hregion，也就说一张表可以被拆分成多块，每一块
2013-11-29 17:13:51
860
转载 HBase入门篇3
前两篇文件分别说到了我在学习HBase中的一些入门经验，而《HBase 入门3》这篇文章浅显的从几个方面谈谈HBase的一些优化技巧，只能作为我学习笔记的一部分，因为学多了怕忘，留给自己以后看看。1 修改 linux 系统参数 Linux系统最大可打开文件数一般默认的参数值是1024,如果你不进行修改并发量上来的时候会出现“Too Many Open Files”的错误，导致整
2013-11-29 17:04:14
569
转载 HBase入门篇
HBase是什么？ HBase是Apache Hadoop中的一个子项目，Hbase依托于Hadoop的HDFS作为最基本存储基础单元，通过使用hadoop的DFS工具就可以看到这些这些数据 存储文件夹的结构,还可以通过Map/Reduce的框架(算法)对HBase进行操作，如右侧的图所示：HBase在产品中还包含了Jetty，在HBase启动时采用嵌入式的方式来启动Jetty，因此可
2013-11-29 16:54:00
697
转载 HBase入门篇2-Java操作HBase例子
本篇文章讲述用HBase Shell命令 和 HBase Java API 对HBase 服务器 进行操作。在此之前需要对HBase的总体上有个大概的了解。比如说HBase服务器内部由哪些主要部件构成？HBase的内部工作原理是什么？我想学习任何一项知识、技术的态度不能只是知道如何使用，对产品的内部构建一点都不去关心，那样出了问题，很难让你很快的找到答案，甚至我们希望最后能对该项技术的领悟出自己的
2013-11-29 16:51:44
756
转载 hadoop分布式文件系统的安装与配置
3台机器:master(192.168.0.210),slave1(192.168.0.211),slave2(192.168.0.212) , slave2(192.168.0.213) 系统都为Centos 5 假设将master做为namenonde,将slaver1,slaver2和slaver3做为datanode 1、分别设置的主机名，即修改/etc/sysconfi
2013-11-08 11:15:39
851
原创 hadoop基础
1.下面是主要的类层次图2.Writable和WritableComparable的子类们基本大同小异 3.RawComparator和WritableComparator举例如下,以下以text类型的comparator每个字符从高到低位比较,对于数字类型的字符串也是比较适用的/** A WritableComparator optimized for
2013-08-19 22:55:14
511
原创 hibernate的主键生成策略
1、assigned主键由外部程序负责生成，在 save() 之前必须指定一个。Hibernate不负责维护主键生成。与Hibernate和底层数据库都无关，可以跨数据库。在存储对象前，必须要使用主键的setter方法给主键赋值，至于这个值怎么生成，完全由自己决定，这种方法应该尽量避免。generator class="assigned" />“ud”是自定义的策略名，
2013-08-16 17:56:59
535
原创 常见的数据库面试大全
1. 数据抽象：物理抽象、概念抽象、视图级抽象,内模式、模式、外模式 2. SQL语言包括数据定义、数据操纵(Data Manipulation),数据控制(Data Control) 数据定义：Create Table,Alter Table,Drop Table, Craete/Drop Index等 数据操纵：Select ,insert,update,delete, 数据控
2013-08-15 20:29:55
542
转载 JDBC连接数据库字符串
JDBC连接各种数据库的字符串大同小异，在此总结一下，备忘。oracle driverClass：oracle.jdbc.driver.OracleDriver url：jdbc:oracle:thin:@127.0.0.1:1521:dbnamemysql driverClass：com.mysql.jdbc.Driver PS：有的时候，mysq
2013-08-12 21:17:22
580
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人