- 博客(91)
- 资源 (3)
- 收藏
- 关注
RSS订阅
原创 Flume-ng生产环境实践（四）实现log格式化interceptor
续上篇，由于filesink中需要使用/data/log/%{dayStr}/log-%{hourStr}%{minStr}-这样文件格式的，为了使file-sink能使用%{dayStr}这样的标签，需要在数据传输过程中，给event的header中添加对应的键值对。在flume-ng中提供了很方便的方式：Interceptor以下为实现的interceptor，首先使用正则表达式匹配ngi
2012-12-29 15:49:14
8340
3
原创 Flume-ng生产环境实践（三）实现文件sink，按照固定格式目录输出
应用场景：需要实时收集多台服务器的nginx日志到一台机器。收集完成结果存放需要按天生成文件夹，按每5分钟生成文件，比如2012年12月29日12点26分的日志，需要放到/data/log/20121229/log-1225-对应的文件中。自己实现了类似flume-og和flume-ng的hdfs-sink的文件sink。使用的时候配置如下：agent.source
2012-12-29 15:45:15
7480
原创 Flume-ng生产环境实践（二）flume-ng 测试过程中event丢失部分body数据
经过测试发现，当source端单event的body数据大于16字节后，输出到目标只剩下16字节。进过多源代码的分析，发现，源代码中进行了截取。在LoggerSink.java中：if (event != null) { if (logger.isInfoEnabled()) { logger.info("Event: " + EventHe
2012-12-07 16:27:20
3115
2
原创 Flume-ng生产环境实践（一）Flume-ng生产环境编译
1.首先在系统上安装jdk1.6+和mvn3.X： $ java -version java version "1.6.0_31"Java(TM) SE Runtime Environment (build 1.6.0_31-b04-415-11M3635)Java HotSpot(TM) 64-Bit Server VM (bu
2012-12-03 16:55:06
4715
2
原创 keepalived配置
之前已经安装完成，接下来我们配置keepalived。假设我的ip地址如下：server1:192.168.0.150server2:192.168.0.157vip:192.168.0.50在两台服务器上分别执行如下命令：[@server_150 keepalived]# mkdir /etc/keepalived[@server_150 keepal
2013-03-28 14:27:33
1140
keepalived配置
之前已经安装完成，接下来我们配置keepalived。假设我的ip地址如下：server1:192.168.0.150server2:192.168.0.157vip:192.168.0.50在两台服务器上分别执行如下命令：[@server_150 keepalived]# mkdir /etc/keepalived[@server_150 keepalive...
2013-03-28 14:27:00
114
原创 keepalived安装
wget http://www.keepalived.org/software/keepalived-1.2.7.tar.gztar zxvf keepalived-1.2.7.tar.gzcd cd keepalived-1.2.7安装前先安装 gcc openssl poptyum install -y gcc openssl-devel popt-
2013-03-21 13:27:32
1387
keepalived安装
wgethttp://www.keepalived.org/software/keepalived-1.2.7.tar.gztar zxvf keepalived-1.2.7.tar.gzcdcd keepalived-1.2.7安装前先安装 gccopenssl poptyuminstall-ygccopenssl-develpopt-devel由于服务器以前都...
2013-03-21 13:27:00
214
原创 redis安装以及主从的简单配置测试
配置主从redis（机器ip：192.168.0.150和192.168.0.157）在192.168.0.150cp redis.conf m_redis.conf在192.168.0.157上cp redis.conf s_redis.confvim s_redis.conf找到# slaveof
2013-03-21 13:22:33
1229
redis安装以及主从的简单配置测试
配置主从redis（机器ip：192.168.0.150和192.168.0.157）在192.168.0.150cp redis.conf m_redis.conf在192.168.0.157上cp redis.conf s_redis.confvim s_redis.conf找到# slaveof <masterip> <m...
2013-03-21 13:22:00
99
原创 redis入门资料整理
由于新的项目改版需要使用redis的一些特性，所以讲redis安装配置的信息记录下来，留做备份！redis的英文网站：http://redis.io/对应的中午网站：http://redis.cn/下载：wget http://redis.googlecode.com/files/redis-2.6.11.tar.gz 解压：tar zxvf redis-2
2013-03-14 13:42:08
1167
redis入门资料整理
由于新的项目改版需要使用redis的一些特性，所以讲redis安装配置的信息记录下来，留做备份！redis的英文网站：http://redis.io/对应的中午网站：http://redis.cn/下载：wgethttp://redis.googlecode.com/files/redis-2.6.11.tar.gz解压：tar zxvf redis-2.6.11.tar...
2013-03-14 13:42:00
76
转载 bonding-多网卡绑定一起，作为一个网卡使用，实现负载均衡和提高带宽
linux双网卡绑定一个IP地址，实质工作就是使用两块网卡虚拟为一块，使用同一个IP地址，是我们能够得到更好的更快的服务。其实这项技术 在 Sun和Cisco中早已存在，被称为Trunking和Etherchannel技术，在Linux的2.4.x的内核中也采用这这种技术，被称为 bonding。 1、bonding 的原理： 什么是bonding需要从网卡的混杂(pro
2013-03-13 10:59:45
5447
bonding-多网卡绑定一起，作为一个网卡使用，实现负载均衡和提高带宽
linux双网卡绑定一个IP地址，实质工作就是使用两块网卡虚拟为一块，使用同一个IP地址，是我们能够得到更好的更快的服务。其实这项技术 在 Sun和Cisco中早已存在，被称为Trunking和Etherchannel技术，在Linux的2.4.x的内核中也采用这这种技术，被称为 bonding。 1、bonding 的原理： 什么是bonding需要从网卡的混杂(pr...
2013-03-13 10:59:00
221
转载 Linux Virtual Server (LVS)之:ksoftirqd进程耗尽单核100%si处理软中断导致性能瓶颈
最近测试LVS性能，发现当CPU其中一个核耗尽后系统达到性能顶峰。 消耗CPU资源的是ksoftirqd进程，全部用于处理软中断（从进程名也能识别出了）。 搜了一下，很多人都遇到这类问题，似乎也没有解决。了解到并尝试过的解决方案有： 1、减少集群成员的数量； 2、修改集群模式（NAT、TURNL、DR）； 3、修改
2013-03-13 10:56:39
4237
Flume-ng生产环境实践（四）实现log格式化interceptor
续上篇，由于filesink中需要使用/data/log/%{dayStr}/log-%{hourStr}%{minStr}-这样文件格式的，为了使file-sink能使用%{dayStr}这样的标签，需要在数据传输过程中，给event的header中添加对应的键值对。在flume-ng中提供了很方便的方式：Interceptor以下为实现的interceptor，首先使用正则表达式匹配ngi...
2012-12-29 15:49:00
138
Flume-ng生产环境实践（三）实现文件sink，按照固定格式目录输出
应用场景：需要实时收集多台服务器的nginx日志到一台机器。收集完成结果存放需要按天生成文件夹，按每5分钟生成文件，比如2012年12月29日12点26分的日志，需要放到/data/log/20121229/log-1225-对应的文件中。自己实现了类似flume-og和flume-ng的hdfs-sink的文件sink。使用的时候配置如下：agent.sources = s...
2012-12-29 15:45:00
374
flume-ng 测试过程中event丢失部分body数据
经过测试发现，当source端单event的body数据大于16字节后，输出到目标只剩下16字节。进过多源代码的分析，发现，源代码中进行了截取。在LoggerSink.java中：if (event != null) { if (logger.isInfoEnabled()) { logger.info("Event: " + EventHelper.dump...
2012-12-07 16:27:00
661
原创 Linux tar命令详解
最近使用tar命令，老把参数弄混。遂决定写此博文以备查询使用。在linux下查看tar命令帮助：tar --help会出现一大片的信息，最后。 Usage: tar [OPTION...] [FILE]...GNU `tar' saves many files together into a single tape or disk archive, and canresto
2012-12-07 16:25:22
1079
Linux tar命令详解
最近使用tar命令，老把参数弄混。遂决定写此博文以备查询使用。在linux下查看tar命令帮助：tar --help会出现一大片的信息，最后。 Usage: tar [OPTION...] [FILE]...GNU `tar' saves many files together into a single tape or disk archive, and canresto...
2012-12-07 16:25:00
235
原创 hadoop分布式环境部署之namenode或datanode启动失败
bug信息：namenodeorg.apache.hadoop.ipc.Server: Error register getProtocolVersionjava.lang.IllegalArgumentException: Duplicate metricsName:getProtocolVersionat org.apache.hadoop.metrics.util.Met
2012-12-07 16:23:19
1310
hadoop分布式环境部署之namenode或datanode启动失败
bug信息：namenodeorg.apache.hadoop.ipc.Server:ErrorregistergetProtocolVersionjava.lang.IllegalArgumentException:DuplicatemetricsName:getProtocolVersionat org.apache.hadoop.metrics.util.Metric...
2012-12-07 16:23:00
119
原创 hadoop学习入门之伪分布式部署及测试
安装运行伪分布式Hadoop（以0.20.2版本为例）下载Hadoop：地址：http://www.apache.org/dyn/closer.cgi/hadoop/common/ 选择一个镜像地址。选择版本。操作都在hadoop的home目录下。准备工作解压所下载的Hadoop发行版。编辑 conf/hadoop-env.sh文件，至少需要将JAVA_
2012-12-07 16:20:12
847
hadoop学习入门之伪分布式部署及测试
安装运行伪分布式Hadoop（以0.20.2版本为例）<wbr style="line-height:25px; font-family:Arial,Helvetica,simsun,u5b8bu4f53; font-size:14px"></wbr>下载Hadoop：地址：http://www.apache.org/dyn/closer.cgi/hadoop/co...
2012-12-07 16:20:00
84
原创 安装配置ssh并实现无密码登录
首先修改hostname和hosts文件比如现在有三台机器：ip地址分别为：192.168.0.101 192.168.0.102 192.168.0.103我们要实现101机器无密码ssh连接102和103的机器。修改hostname：执行sudo vim /etc/hostname 修改机器名称 为 ubuntu1 ubuntu2 ubuntu3执行s
2012-12-07 16:18:18
1639
安装配置ssh并实现无密码登录
首先修改hostname和hosts文件比如现在有三台机器：ip地址分别为：192.168.0.101192.168.0.102192.168.0.103我们要实现101机器无密码ssh连接102和103的机器。修改hostname：执行sudo vim /etc/hostname 修改机器名称 为 ubuntu1 ubuntu2 ubuntu3执行su...
2012-12-07 16:18:00
152
原创 linux学习之安装jdk
linux下安装jdk：一、下载jdk(jdk1.6.0_29)官方网站jdk1.6最新版本为jdk1.6.0_29，下载地址：http://www.oracle.com/technetwork/java/javase/downloads/jdk-6u29-download-513648.html 选择版本：jdk-6u29-linux-i586.bin 下载，或者直接点击该地
2012-12-07 16:17:12
640
linux学习之安装jdk
linux下安装jdk：一、下载jdk(jdk1.6.0_29)官方网站jdk1.6最新版本为jdk1.6.0_29，下载地址：http://www.oracle.com/technetwork/java/javase/downloads/jdk-6u29-download-513648.html选择版本：jdk-6u29-linux-i586.bin 下载，或者直接点击该地...
2012-12-07 16:17:00
107
转载 Linux下scp的用法
Linux下scp的用法scp就是secure copy，一个在linux下用来进行远程拷贝文件的命令。有时我们需要获得远程服务器上的某个文件，该服务器既没有配置ftp服务器，也没有做共享，无法通过常规途径获得文件时，只需要通过简单的scp命令便可达到目的。一、将本机文件复制到远程服务器上#scp /home/administrator/news.txt root@
2012-12-07 16:15:46
712
Linux下scp的用法
Linux下scp的用法scp就是secure copy，一个在linux下用来进行远程拷贝文件的命令。有时我们需要获得远程服务器上的某个文件，该服务器既没有配置ftp服务器，也没有做共享，无法通过常规途径获得文件时，只需要通过简单的scp命令便可达到目的。一、将本机文件复制到远程服务器上#scp /home/administrator/news.txt roo...
2012-12-07 16:15:00
80
原创 NoSQL数据库学习之MongoDB之group by 限制
如果你用group 命令的话可能会遇到下面两种错误：a.)命令：db.flogsamplelog.group({cond:{datetimes":20111027},key:{"pid":"1"},initial:{"count":0},reduce:function(doc,prev){if(doc.pid==prev.pid)prev.count++;}})error:
2012-12-07 16:14:24
1561
NoSQL数据库学习之MongoDB之group by 限制
如果你用group 命令的话可能会遇到下面两种错误：a.)命令：db.flogsamplelog.group({cond:{datetimes":20111027},key:{"pid":"1"},initial:{"count":0},reduce:function(doc,prev){if(doc.pid==prev.pid)prev.count++;}})error:...
2012-12-07 16:14:00
283
原创 NoSQL数据库学习之MongoDB(一)初体验
最近公司让对用户样本库进行分析，数据量每天30W条以上，如果条件组合，则数据量更多。使用关系型数据库（Mysql）一年将会达到上亿条记录，这对mysql来说，各种查询将变得非常慢。 考虑使用nosql数据库。选择使用现在流行的mongodb数据库。 本节先介绍window安装数据库以及简单的连接操作。 一、下载mongodb，我下的是最新版本mongodb-win32-i
2012-12-07 16:13:08
1055
NoSQL数据库学习之MongoDB(一)初体验
最近公司让对用户样本库进行分析，数据量每天30W条以上，如果条件组合，则数据量更多。使用关系型数据库（Mysql）一年将会达到上亿条记录，这对mysql来说，各种查询将变得非常慢。 考虑使用nosql数据库。选择使用现在流行的mongodb数据库。 本节先介绍window安装数据库以及简单的连接操作。 一、下载mongodb，我下的是最新版本mongodb-win32-i...
2012-12-07 16:13:00
53
原创 了解下一致性哈希算法
一致性哈希算法在1997年由麻省理工学院提出(参见扩展阅读[1])，设计目标是为了解决因特网中的热点(Hot spot)问题，初衷和CARP十分类似。一致性哈希修正了CARP使用的简单哈希算法带来的问题，使得DHT可以在P2P环境中真正得到应用。 基本场景现在互联网分布式系统应用越来越普遍，不可避免的要碰到集群中单节点破坏后系统负载的问题hash(object
2012-12-07 16:07:49
587
了解下一致性哈希算法
一致性哈希算法在1997年由麻省理工学院提出(参见扩展阅读[1])，设计目标是为了解决因特网中的热点(Hot spot)问题，初衷和CARP十分类似。一致性哈希修正了CARP使用的简单哈希算法带来的问题，使得DHT可以在P2P环境中真正得到应用。 基本场景现在互联网分布式系统应用越来越普遍，不可避免的要碰到集群中单节点破坏后系统负载的问题hash(object)%...
2012-12-07 16:07:00
54
转载 网站用户行为分析在用户市场领域的应用
【导言】在全球范围内，网站用户行为分析仍然是一门新兴发展的科学，其方法和实践是在近几年才系统理论化的。在实际应用中，网站用户行为分析博得了很多的好奇，但好奇背后，人们也为她注入了各种想象：网站用户行为分析能带来哪些商业价值？哪些用户行为是值得关注的？网站用户行为分析是如何辅助产品运营和营销分析的？她能给我们何种启示？本文结合研究院用户行为实验室在现网运营的门户网站中的实践经验，提炼一些主题
2012-12-07 16:06:46
1033
网站用户行为分析在用户市场领域的应用
【导言】在全球范围内，网站用户行为分析仍然是一门新兴发展的科学，其方法和实践是在近几年才系统理论化的。在实际应用中，网站用户行为分析博得了很多的好奇，但好奇背后，人们也为她注入了各种想象：网站用户行为分析能带来哪些商业价值？哪些用户行为是值得关注的？网站用户行为分析是如何辅助产品运营和营销分析的？她能给我们何种启示？本文结合研究院用户行为实验室在现网运营的门户网站中的实践经验，提炼一些...
2012-12-07 16:06:00
88
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人