- 博客(461)
- 收藏
- 关注
RSS订阅原创 zookeeper 入门讲解实例 转
转 http://www.blogjava.net/BucketLi/archive/2010/12/21/341268.htmlzookeeper使用和原理探究（一）zookeeper介绍zookeeper是一个为分布式应用提供一致性服务的软件，它是开源的Hadoop项目中的一个子项目，并且根据google发表的<The Chubby lock service for loos...
2015-07-07 17:58:40
126
原创 用Apache Kafka构建流数据平台
http://www.infoq.com/cn/news/2015/03/apache-kafka-stream-data?utm_source=infoq&utm_medium=related_content_link&utm_campaign=relatedContent_articles_clk 近来，有许多关于“流处理”和“事件数据”的讨论，它们往往都与像Kaf...
2015-07-07 14:43:10
165
原创 大数据架构：flume-ng+Kafka+Storm+HDFS 实时系统组合
http://www.aboutyun.com/thread-6855-1-1.html个人观点：大数据我们都知道hadoop，但并不都是hadoop.我们该如何构建大数据库项目。对于离线处理，hadoop还是比较适合的，但是对于实时性比较强的，数据量比较大的，我们可以采用Storm，那么Storm和什么技术搭配，才能够做一个适合自己的项目。下面给大家可以参考。可以带着下面问题来阅读本文章...
2015-07-07 14:42:57
151
原创 Flume-ng+Kafka+storm的学习笔记
http://blog.csdn.net/zxcvg/article/details/18600335/Flume-ngFlume是一个分布式、可靠、和高可用的海量日志采集、聚合和传输的系统。 Flume的文档可以看http://flume.apache.org/FlumeUserGuide.html 官方的英文文档 介绍的比较全面。 不过这里写写自己...
2015-07-07 14:42:36
135
原创 Kafka设计解析（三）：Kafka High Availability （下）
http://www.infoq.com/cn/articles/kafka-analysis-part-3?utm_source=infoq&utm_medium=related_content_link&utm_campaign=relatedContent_articles_clk Kafka是由LinkedIn开发的一个分布式的消息系统，使用Scala编写，它以可...
2015-07-06 16:04:42
265
原创 Kafka设计解析（二）：Kafka High Availability （上）
http://www.infoq.com/cn/articles/kafka-analysis-part-2?utm_source=infoq&utm_medium=related_content_link&utm_campaign=relatedContent_articles_clk Kafka在0.8以前的版本中，并不提供High Availablity机制，一旦一...
2015-07-06 16:01:40
123
原创 Kafka剖析（一）：Kafka背景及架构介绍
http://www.infoq.com/cn/articles/kafka-analysis-part-1/Kafka是由LinkedIn开发的一个分布式的消息系统，使用Scala编写，它以可水平扩展和高吞吐率而被广泛使用。目前越来越多的开源分布式处理系统如Cloudera、Apache Storm、Spark都支持与Kafka集成。InfoQ一直在紧密关注Kafka的应用以及发展，“Ka...
2015-07-06 15:59:40
98
原创 HDFS HA-Quorum Journal Manager
http://www.binospace.com/index.php/hdfs-ha-quorum-journal-manager/?utm_source=tuicool1、背景HDFS HA，即NameNode单点故障问题，一直是关系到HDFS稳定性最为重要的特性。之前Hadoop0.23初探系列文章中，介绍了HDFS的Federeation概况、配置与部署的情况，以及有关HA的相关概...
2015-07-06 15:56:06
196
原创 zookeeper原理（转）
ZooKeeper是一个分布式的，开放源码的分布式应用程序协调服务，它包含一个简单的原语集，分布式应用程序可以基于它实现同步服务，配置维护和命名服务等。Zookeeper是hadoop的一个子项目，其发展历程无需赘述。在分布式应用中，由于工程师不能很好地使用锁机制，以及基于消息的协调机制不适合在某些应用中使用，因此需要有一种可靠的、可扩展的、分布式的、可配置的协调机制来统一系统的状态。Zooke...
2015-07-06 15:54:22
93
转载 ORACLE RMAN增量备份经典理解
http://blog.itpub.net/29119536/viewspace-1131999/Oracle中，增量备份时分等级的，级别从0开始，一级一级递增，不过实际上用的最多的也就是0级和1级了，0级增量备份是后面级别的增量备份的 基础，0级备份实际上就是一个完全备份，与普通的完全备份唯一的不同点是0级备份可以作为其他级别增量备份的基础，而普通的完全备份是不能的。
2015-06-25 15:17:18
1587
转载 hadoop hbase metric名全解释
http://blog.csdn.net/mrtitan/article/details/8984980系统参数监控metricsload_one 每分钟的系统平均负载load_fifteen 每15分钟的系统平均负载load_five 每5分钟的系统平均负载boottime
2015-06-19 10:51:33
776
转载 ganglia在hadoop中的配置:hadoop-metrics2.properties 以及各监控项含义
http://blog.csdn.net/ljq32/article/details/37662665ganglia3.6.0 hadoop2.0.0-cdh4.2.0 使用 hadoop-metrics2.properties, 在文件中添加以下内容,# for Ganglia 3.6 support*.sink.ganglia.class=org.apache.had
2015-06-18 18:53:06
4452
转载 mysql Could not initialize master info structure 解决方法
http://blog.itpub.net/7607759/viewspace-719707/处理一则MySQL Slave环境出现ERROR 1201 (HY000): Could not initialize master info structure的案例。冷备份方式复制一份新的slave，初始化参数中已经修改了相关文件路径及server_id等关联参数。
2015-06-09 17:26:41
5259
转载 Linux命令find -perm使用方法
Linux命令find -perm使用方法 花了点时间才将linux中find命令的-perm参数弄懂，分享一下。 find -perm，根据文件的权限来查找文件，有三种形式：find -perm modefind -perm -modefind -perm +mode那么这三者之间有什么区别呢？解释之前首先得简单说一下linux中文
2015-06-09 14:35:25
6031
2
转载 使用smartmontools监控磁盘的健康状态
http://blog.csdn.net/smartmz/article/details/6031742使用smartmontools监控磁盘的健康状态 smartmontools介绍 smartmontools是一款开源的磁盘控制，监视工具，可以运行在Linux，Unix，BSD，Solaris，Mac OS，OS/2，Cygwin和Windows上，同时它
2015-06-08 14:32:39
2097
转载 Hadoop 设置队列计算能力调度器应用和配置
http://www.cnblogs.com/ggjucheng/archive/2012/07/25/2608817.html需求公司里有两个部门，一个叫hive，一个叫pig，这两个部门都需要使用公司里的hadoop集群。于是问题来了，因为hadoop默认是FIFO调度的，谁先提交任务，谁先被处理，于是hive部门很担心pig这个部门提交一个耗时的任务，影响了hive的业务
2015-06-08 13:48:59
2553
转载 搭建hadoop集群环境
http://blog.sina.com.cn/s/blog_62c8de540101qrea.html搭建hadoop集群环境 本文通过在vmware workstation上建立三台虚拟机来搭建hadoop集群环境，其中一台作为namenode，两台作为datanode。一、安装vmware workstation（10.0.0）（一路下一步即可）二、创建3个
2015-06-08 12:32:22
559
转载 hadoop三个配置文件的参数含义说明
1 获取默认配置配置hadoop，主要是配置core-site.xml,hdfs-site.xml,mapred-site.xml三个配置文件，默认下来，这些配置文件都是空的，所以很难知道这些配置文件有哪些配置可以生效，上网找的配置可能因为各个hadoop版本不同，导致无法生效。浏览更多的配置，有两个方法:1.选择相应版本的hadoop,下载解压后，搜索*.xml,找到
2015-06-05 14:02:18
746
转载 hadoop SecondaryNameNode和NameNode
1.概述光从字面上来理解，很容易让一些初学者先入为主的认为：SecondaryNameNode(snn)就是NameNode(nn)的热备进程。其实不是。snn是HDFS架构中的一个组成部分，但是经常由于名字而被人误解它真正的用途，其实它真正的用途，是用来保存namenode中对HDFS metadata的信息的备份，并减少namenode重启的时间。对于hadoop进程中 ，要配置好
2015-06-03 18:22:57
519
原创 Hadoop2.0运维管理与集群安装监控和管理
Hadoop2.0运维管理与集群安装监控和管理时间课程模块内容09:00-12:00模块一：RedHadoop集群入门● Hadoop应用案例和核心思想● RedHadoop Enterprise安装及部署模块二：Hadoop集群管● Hadoop常见使用命令● Hadoop运维故障及解决
2015-06-01 15:51:44
2909
转载 postgreSQL格式化时间的函数详解
数据类型格式化函数： PostgreSQL格式化函数提供一套有效的工具用于把各种数据类型(日期/时间、integer、floating point和numeric)转换成格式化的字符串以及反过来从格式化的字符串转换成指定的数据类型。下面列出了这些函数，它们都遵循一个公共的调用习惯：第一个参数是待格式化的值，而第二个是定义输出或输出格式的模板。函数返回类型描述例
2015-06-01 14:45:36
701
转载 PHP 5.3.0以上推荐使用mysqlnd驱动
http://zhangxugg-163-com.iteye.com/blog/18949901.什么是mysqlnd驱动?PHP手册上的描述:MySQL Native Driver is a replacement for the MySQL Client Library (libmysql). MySQL Native Driver is part of the o
2015-04-09 17:32:43
821
转载 perl连接mysql 报错 MySQL server has gone away
使用perl连接mysql，这个网上有很多案例了，一般大家都是DBI下的DBD::MySQL这个模块进行．这里做一个mask弄一个TIPS: Perl DBI MySQL的字符集为UTF8 Perl DBI 特殊字符写入时报错 Perl DBI 连接自动重连或是连接超时 １. 当MySQL的字符集是UTF8时需要引入：use utf8;binmode(STDOUT
2015-02-10 10:50:49
819
转载 mysqldump导出－－数据+结构+（函数+存储过程）
http://blog.chinaunix.net/uid-23354495-id-3031556.htmlmysqldump--导出工具#导出某个数据库－－结构+数据shell>mysqldump -h192.168.161.124 -uroot -pxxxxxx --opt db_name |gzip -9 > /db_bakup/db_name.gz
2015-01-15 11:24:39
687
转载 Hive中Order by和Sort by的区别是什么?
http://www.crazyant.net/1456.htmlHive基于HADOOP来执行分布式程序的，和普通单机程序不同的一个特点就是最终的数据会产生多个子文件，每个reducer节点都会处理partition给自己的那份数据产生结果文件，这导致了在HADOOP环境下很难对数据进行全局排序，如果在HADOOP上进行order by全排序，会导致所有的数据集中在一台reducer
2014-12-29 14:58:13
1181
转载 tomcat日志自动分割
http://cmjcmj8080.iteye.com/blog/847619今天在tomcat上查看项目日志的时候,发现catalina.out文件竟然已经达到202M了,决定做一下日志的分割.先看了一下crontab任务中,发现有个删除前10天日志的自动任务,但是没有发现切割的自动任务. 放狗搜了一下,据说tomcat有默认的日志分割功能,能每天自动生成类似catalina
2014-12-22 14:28:05
1744
原创 目录下文件过多删除报错 -bash: /bin/rm: Argument list too long
rm -f *“-bash: /bin/rm: Argument list too long“..意思是参数太长，rm 干不了。可以用ls | xargs rm -f这个命令将目录下所有文件删除。
2014-12-18 15:15:57
3885
转载 mysqldumpslow使用说明总结
http://blog.sina.com.cn/s/blog_53b13d950100vmc5.htmlmysqldumpslow使用说明mysqldumpslow --helpUsage: mysqldumpslow [ OPTS... ] [ LOGS... ]Parse and summarize the MySQL slow query log. Options
2014-12-11 10:05:17
1635
转载 over(partition by..) 的运用
http://blog.csdn.net/cnham/article/details/4500928oracle的分析函数over 及开窗函数一：分析函数overOracle从8.1.6开始提供分析函数，分析函数用于计算基于组的某种聚合值，它和聚合函数的不同之处是对于每个组返回多行，而聚合函数对于每个组只返回一行。 下面通过几个例子来说明其应用。
2014-12-11 09:56:34
559
转载 linux正则表达式 grep egrep用法
http://www.cnblogs.com/caibird2005/archive/2009/04/14/1436008.htmlshell命令执行的相应顺序&&令1 && 命令2 如果这个命令1执行成功& &那么执行这个命2mv myfile myfile2 && echo "if you are seeing this then mv was su
2014-12-11 09:53:29
895
原创 使用cronolog按日期分割日志
cronologcronolog是一个简单的过滤程序从标准输入读取日志文件条目，每个条目写入到输出文件指定一个文件名模板和当前的日期和时间。当扩大的文件名更改，关闭当前文件，并打开一个新的。 cronolog的目的是要在配合使用的Web服务器（ 如 Apache） ，分成每天或每月的日志，访问日志Linux下运行的Web服务器Apache，默认日志文件是不分割的，一个整文件既不易于管理，也
2014-11-27 15:45:37
6067
转载 linux配置IP的方法
http://www.cnblogs.com/xd502djj/archive/2011/03/01/1967800.htmlLinux系统下如何设置IP地址？我们可以通过命令设定IP的方法，不过此方法的前提条件是用户需root权限。在Linux系统的 /etc/sysconfig/network-script/ifcfg-eth0文件中存放着网卡IP地址配置的相关信息，它的具体格式为
2014-11-17 15:04:30
651
转载 perl对mysql的操作
http://blog.chinaunix.net/uid-24608128-id-2117953.htmlperl对mysql的查询：使用DBI模块。DBD::mysql:"DBI:mysql:database=$dbname;host=$hostname;port=$port";一个通过DBI执行的简单查询包括四部分：1、准备阶段。2、执行阶
2014-11-12 16:40:20
1488
转载 Perl 的 html 解析模块
http://blog.sina.com.cn/s/blog_3ef3b17a0100e0ht.htmlHTML::TreeBuilder这个解析模块使用了强大的 HTML::Element 模块。解析时，HTML::TreeBuilder模块把整个 html 文档转换成了 perl 的数据结构，可以进行任意的操作。使用时先创建一个 HTML::TreeBuilder 对象。
2014-11-12 16:37:28
982
转载 Perl函数参数中传递数组和引用的使用
http://developer.51cto.com/art/201007/214024.htm本文和大家重点讨论一下Perl函数参数中传递数组和引用的使用，今天看到这个问题可以通过传递参数引用来解决，所以打算写下来，希望可以帮到大家。Perl函数参数中传递数组和引用今天看到了在Perl函数参数中传递引用的一段文章，其中讲到了一个问题，自己以前还碰到过，不过最后是通过其
2014-11-12 16:36:07
3598
转载 Perl-11---循环修饰符
http://bdxnote.blog.163.com/blog/static/844423520083183751732/在编写程序的过程中，常常要用到嵌套的循环结构，有时侯需要使用一种手段来中断它；Perl提供了以下四个循环修饰符：continue、next、last、redo；1、continue语句块：for循环的递增列表是在循环体之后执行的，con
2014-11-12 10:00:16
758
原创 crontab 中ssh远程启动java程序报错 Could not reserve enough space for object heap
今天发现个问题，在crontab 中启动java程序报错 Could not reserve enough space for object heap ，但是手工启动没有问题
2014-11-10 14:32:42
1129
转载 perl 处理 json 数据
http://xiaofeng1982.blog.163.com/blog/static/315724582014511102541328/安装两个插件 （我的perl版本是window strawberry perl, 强烈建议用这个版本，因为在window 下面安装一些perl 包涉及nmake 等编译问题，常常让开发者在window系统下受挫，strawberry p
2014-11-07 17:15:33
4105
转载 用perl获得当前日期
今天在网上查到如何用perl语言得到当前日期，记在这里：(＄sec,＄min,＄hour,＄day,＄mon,＄year,＄weekday,＄yeardate,＄savinglightday) = (localtime(time));print "day=======＄day\n";print "mon=======".++＄mon."\n";print "year=======＄
2014-11-06 17:16:56
1577
转载 mysql的InnoDB和MyISAM区别总结
InnoDB和MyISAM是在使用MySQL最常用的两个表类型，各有优缺点，视具体应用而定。 下面是已知的两者之间的差别，仅供参考。 innodbInnoDB 给 MySQL 提供了具有事务(commit)、回滚(rollback)和崩溃修复能力 (crash recovery capabilities)的事务安全(transaction-safe (ACID compli
2014-10-20 10:20:29
593
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人