- 博客(18)
- 资源 (57)
- 收藏
- 关注
RSS订阅原创 flume之常用sink详解
1、Logger Sink 记录INFO级别的日志，一般用于调试。前面介绍Source时候用到的Sink都是这个类型的Sink必须配置的属性： type logger maxBytesToLog 16 Maximum number of bytes of the Event body to log
2017-09-30 10:25:44
9024
原创 flume之自定义sink组件
flume内部提供了很多种sink，如：logger、file_roll、avro、hdfs、kafak、es等，方便直接将event数据对接到本地磁盘、或者其他第三方存储中。有的时候，我们需要自定义source，来完成特殊需求。本文介绍如何开发自定义sink，来实现将event数据存储到Mysql。1、pom.xml <?xml version="1.0"?><...
2017-09-29 17:42:53
5182
原创 flume之intercept
flume是以多种组件形成的一个框架，最最常用的三种组件有：source、channel、sink。这三个组件分别来完成事件（event）数据的“收集”、“传递”、“写入”的功能，一般需求都可以通过这三种组件来满足其需求，但是在一些特殊场景下，我们需要在event数据流向中间，加入一些自定义的逻辑，这时候intercept组件就发挥了作用。拦截器设置在source和channel之间，sour...
2017-09-29 16:54:59
980
原创 flume使用之flume+hive 实现日志离线收集、分析
在如今互联网行业中，数据的收集特别是日志数据的收集已经成为了系统的标配。将用户行为日志或者线上系统生产的数据通过flume收集起来，存放到数据仓库（hive）中，然后离线通过sql进行统计分析，这一套数据流的建设对系统有非常重要的意义。 1、思路：1）线上系统通过log4j将数据打印到本地磁盘上；2）在线上系统服务器上安装flume，作为agent使用exec source将线上系...
2017-09-29 16:46:43
10083
原创 flume使用之exec source收集各端数据汇总到另外一台服务器
一、场景一描述：线上api接口服务通过log4j往本地磁盘上打印日志，在接口服务器上安装flume，通过exec source收集日志，然后通过avro sink发送到汇总服务器上的flume；汇总服务器上的flume通过avro source接收日志，然后通过file_roll sink写到本地磁盘。假设：api接口服务器两台 10.153.140.250和10.153.140.25...
2017-09-29 14:19:09
6502
原创 flume使用之httpSource
flume自带很长多的source，如：exe、kafka...其中有一个非常简单的source——httpsource，使用httpSource，flume启动后会拉起一个web服务来监听指定的ip和port。常用的使用场景：对于有些应用环境中，不能部署Flume SDK及其依赖项，可以在代码中通过HTTP而不是Flume的PRC发送数据的情况，此时HTTP SOURCE可以用来将数据接收到Fl...
2017-09-29 10:51:39
10518
3
原创 Linux下OOM Killer机制详解(二)
Linux 内核有个机制叫OOM killer（Out-Of-Memory killer），该机制会监控那些占用内存过大，尤其是瞬间很快消耗大量内存的进程，为了防止内存耗尽而内核会把该进程杀掉。典型的情况是：某天一台机器突然ssh远程登录不了，但能ping通，说明不是网络的故障，原因是sshd进程被OOM killer杀掉了（多次遇到这样的假死状况）。重启机器后查看系统日志/var/log/mes
2017-09-25 22:26:11
878
转载 Linux下OOM Killer机制详解(一)
Linux下面有个特性叫OOM killer（Out Of Memory killer），这个东西会在系统内存耗尽的情况下跳出来，选择性的干掉一些进程以求释放一些内存。相信广大从事Linux服务端编程的农民工兄弟们或多或少遇到过（人在江湖漂，哪有不挨刀啊）。典型的情况是：某天机器突然登不上了，能ping通，但是ssh死活连不了。原因是sshd进程被OOM killer干掉了（泪流满面）。重启机器后
2017-09-25 22:14:39
591
转载 Redis的“死键”问题
大规模的数据库存储系统中，数据的生命周期管理是很有必要的；从业务角度发现过期数据，数据归档和数据碎片整理等。以MySQL为例，1个运行很久的TB级MySQL实例中，极有可能数百GB的数据，对业务来说是”过期数据”可直接归档后清理。如果不能发现和及时清理，这部分“过期数据”对生产数据库备份资源消耗，占用工作集数据内存(过期数据行可能分散InnoDB的page中)，影响数据还原的RTO等。从成本和运维
2017-09-25 21:18:07
3114
原创 线上系统查看java进程是如何被杀掉的
线上服务器部署了一个java业务系统，今天突然发现进程不在了，查看java系统错误日志、gc日志都没有发现任何问题。奇怪之下，只能查看linux的系统日志——message，在这里面找到了导致java进程被杀的真凶。进入/var/log目录，看到了有如下的message日志：-rw------- 1 root root 11174 Sep 25 22:05 messa...
2017-09-25 15:49:10
8398
1
原创 storm——本地eclipse上调试wordcount程序
通常，对于hadoop或者storm这种任务类型的程序，我们都希望能够在本地进行一次调试，然后再提交到集群上跑任务。storm和hadoop类似，有本地模式和集群模式。相比hadoop而言，storm的本地模式更加简单，不需要在本地（windows环境）安装任何storm的软件或者工具等（什么都不需要额外安装，只需要maven引入storm的jar即可）。本文就是如何在windows上调试
2017-09-19 22:33:03
2330
原创 storm集群部署
1、安装部署zookeeper集群：详情见：http://blog.csdn.net/liuxiao723846/article/details/78035189假设zookeeper集群安装到了centos1、centos2、centos3 这三台服务器上。2、安装storm：0.9之前的Storm版本需要单独安装ZeroMQ和JZMQ，0.9之后的版本不需要安装。我们安装的是0
2017-09-19 22:07:13
494
原创 zookeeper集群部署
0）服务器环境：三台虚拟机，并且配置ssh互信：centos1 192.168.137.122；centos2 192.168.137.101；centos3 192.168.137.1021）下载、解压ZooKeeper：wgethttp://mirrors.hust.edu.cn/apache/zookeeper/zookeeper-3.4.6/zook
2017-09-19 22:06:12
545
转载 Shell脚本处理JSON数据工具jq
当我们在LInux下需要处理json数据时,第一反应是用脚本编写一个工具,这样即耗时又不通用. 本文将介绍专门的命令行json处理工具jq.1、安装：1）Ubuntu用户可以直接使用下列命令安装:$ sudo apt-get install jq2）采用源码安装：https://github.com/stedolan/jq3）直接下载可执行文件：https://ste
2017-09-16 10:49:46
6330
2
转载 Redis分布式锁----乐观锁的实现，以秒杀系统为例
摘要：本文使用redis来实现乐观锁，并以秒杀系统为实例来讲解整个过程。本文源码请在这里下载：https://github.com/appleappleapple/DistributeLearning乐观锁 大多数是基于数据版本（version）的记录机制实现的。即为数据增加一个版本标识，在基于数据库表的版本解决方案中，一般是通过为数据库表增加一个”version”字
2017-09-13 18:56:21
678
原创 redis安装
1）下载、解压：[root@centOS1 src]#cd /usr/local/wgethttps://github.com/antirez/redis/archive/2.8.23.tar.gztar -xvzfredis-2.8.23.tar.gz 2）编译、安装：[root@centOS1local]# cd redis-2.8.23[root@centOS
2017-09-13 16:19:42
534
原创 redis的高级事务CAS(乐观锁)
Optimistic locking using check-and-set(乐观锁)乐观锁介绍：watch指令在redis事物中提供了CAS的行为。为了检测被watch的keys在是否有多个clients同时改变引起冲突，这些keys将会被监控。如果至少有一个被监控的key在执行exec命令前被修改，整个事物将会回滚，不执行任何动作，从而保证原子性操作，并且执行exec会得到null
2017-09-13 11:23:09
577
原创 java 线程的interrupt和sleep、wait
一、线程的interrupted：一个正在运行的线程除了正常的时间片中断之外，能否被其他线程控制？或者说其他线程能否让指定线程放弃CPU或者提前结束运行？ 除了线程同步机制之外，还有两种方法：(1) Thread.stop(), Thread.suspend(), Thread.resume() 和Runtime.runFinalizersOnExit() 这些终止线程运行的方法 。这些
2017-09-07 15:26:13
4949
2
macOS eclipse Launcher
2023-12-18
parquet-tools-1.6.0rc3.zip
2020-07-24
jQuery-Plugin-For-Easily-Readable-JSON-Data-Viewer.zip
2019-12-31
yesmeck-jquery-jsonview-v1.2.3-14-g01b1eb8.zip
2019-12-30
linux解析json工具——jq
2017-09-16
jquery 全屏显示插件
2015-03-20
apache-maven-3.2.3-bin
2014-10-21
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人