记录一次大对象导致的Java堆内存溢出问题

前几天早上出现一后台项目无法登陆的情况,排查发现新生代和老年代都占用100%,FullGC次数大概有100多次,最终出现OOM。 重启Tomcat后,至13点,FullGC的次数达到31次。...
阅读(260) 评论(0)

Presto日志中出现大量的Triggering GC to avoid Code Cache eviction bugs

问题描述:Presto日志中出现大量的2017-07-31T15:31:21.505+0800 INFO Code-Cache-GC-Trigger com.facebook.presto.server.CodeCacheGcTrigger Triggering GC to avoid Code Cache eviction bugs排查过程:1. 检查Presto源码出现该条日...
阅读(704) 评论(5)

HiveJDBC与其他JDBC一起使用时出现java.lang.IllegalArgumentException: Bad URL format

程序中需要使用JDBC的方式同时访问Hive和MySQL,发现在获取MySQL连接的时候(DriverManager.getConnection方法)出现Hive的类中的Bad URL format异常。代码如下: public Connection getMySqlConn() { Connection conn = null; try {...
阅读(778) 评论(5)

Flume 1.7 源码分析(五)从Channel获取数据写入Sink

6 从Channel获取数据写入Sink6.1 Sink部分Sink部分主要分为以下3个步骤: 1. 由SinkRunner不断调用SinkProcessor的process方法。 2. 根据配置的SinkProcessor的不同,会使用不同的策略来选择sink。SinkProcessor有3种,默认是DefaultSinkProcessor。 3. 调用选择的sink的process...
阅读(1085) 评论(0)

Flume 1.7 源码分析(四)从Source写数据到Channel

5 从Source写数据到Channel5.1 Source部分5.1.1 SourceRunnerSourceRunner就是专门用于运行Source的一个类。 在”物化配置”一节获取配置信息后,会根据Source去获取具体的SourceRunner,调用的是SourceRunner的forSource方法。public static SourceRunner forSource(Sour...
阅读(2028) 评论(4)

Flume 1.7 源码分析(三)程序入口

Flume 1.7 源码分析(一)源码编译 Flume 1.7 源码分析(二)整体架构 Flume 1.7 源码分析(三)程序入口 4 程序入口启动Flume的过程可以简单分为2个步骤: 1. 获取相关配置文件(一般来说就是flume-conf.properties)。 2. 启动各组件。不特别说明,本文中的组件是指实现了LifecycleAware接口的类的对象,一般就是...
阅读(1043) 评论(5)

Flume 1.7 源码分析(二)整体架构

Flume 1.7 源码分析(一)源码编译 Flume 1.7 源码分析(二)整体架构 3 整体架构Flume有三大组件:Source、Channel、Sink。 Source就是数据来源,例如Web Server产生日志后,可使用ExecSource执行tail -F命令后不断监听日志文件新生成的数据,然后传给Channel。 Channel就是一个缓存队列,由于读取数据和写入数据的速...
阅读(846) 评论(4)

Flume 1.7 源码分析(一)源码编译

1 说明Flume是Cloudera提供的一个高可用的,高可靠的,分布式的海量日志采集、聚合和传输的系统,目前已经是Apache的一个子项目。Flume是一个专用工具被设计为旨在往HDFS、HBase发送数据。它对HDFS有特殊的优化,并且集成了Hadoop的安全特性。本文将详细分析Flume核心模块的源码实现。2 下载、编译2.1 源码检出Flume源码的git地址是:https://git-w...
阅读(1506) 评论(6)

Leet Code OJ 3. Longest Substring Without Repeating Characters

题目Given a string, find the length of the longest substring without repeating characters.Examples:Given “abcabcbb”, the answer is “abc”, which the length is 3.Given “bbbbb”, the answer is “b”, with the...
阅读(815) 评论(0)

Leet Code OJ 4. Median of Two Sorted Arrays [Difficulty: Hard]

题目There are two sorted arrays nums1 and nums2 of size m and n respectively.Find the median of the two sorted arrays. The overall run time complexity should be O(log (m+n)).Example 1:nums1 = [1, 3] nums...
阅读(429) 评论(0)

Leet Code OJ 388. Longest Absolute File Path [Difficulty: Medium]

题目 Suppose we abstract our file system by a string in the following manner: The string “dir\n\tsubdir1\n\tsubdir2\n\t\tfile.ext” represents: dir subdir1 subdir2 file.ext The dir...
阅读(413) 评论(1)

Flume 1.6 遇Emoji表情发生截断丢失数据问题分析

问题描述最近有一段时间,跑ETL的时候,发现出来的数据明显比之前少,少了大约一半左右,就开始排查。 我们的数据是从Flume采集过来的,排查日志发现,flume在读取到某一条的时候,就不再往下读取了。问题分析进一步拿到原始文件后,找到那条数据。用vim打开发现其中有个地方有两个空格。起初以为是乱码(之前flume出过乱码中断的问题),贴到ide里面,得到具体编码,发现是四字节的utf-8编码。贴到...
阅读(922) 评论(6)

Leet Code OJ 482. License Key Formatting [Difficulty: Medium]

给定一个非空字符串S,代表一个软件授权秘钥,我们需要格式化这个秘钥。这个字符串由字母、数字(a-z and/or A-Z and/or 0-9)和中划线(-)组成。中划线把字符串S分为几个组(例如有M个中划线,那会被分为M+1个组)。现在,中划线放置的位置可能被放错了。 我们希望每个组的字符长度为整数K(除了第一个组,允许少于K,但是至少要有一个字符)。为了满足这个需求,我们需要重新放置中划线。另外,还需要把所有小写...
阅读(599) 评论(0)

Flume学习笔记(二)问题整理

本文环境如下: 操作系统:CentOS 7.2.1511 64位 Flume版本:1.6.0 1. 当Flume与Hadoop不在同一服务器上当Flume与Hadoop不在同一服务器上时,又配置了写HDFS,则Flume启动时会报找不到类的错误。 需要添加Hadoop相关的包到flume的classpath配置中(或者直接拷贝到flume的lib文件夹中)。 具体需要的包,我是在ma...
阅读(2067) 评论(1)

Flume学习笔记(一)安装与简单使用

本文环境如下: 操作系统:CentOS 7.2.1511 64位 Flume版本:1.6.0 1. 系统需求Flume需要Java 1.6及以上(推荐1.7),对Agent监控目录的读写权限。2. 下载软件包到Flume官网上http://flume.apache.org/download.html下载软件包,例如:wget "http://mirrors.cnnic.cn/apache...
阅读(8770) 评论(6)

java.util.ConcurrentModificationException异常分析

异常日志2016-07-20 15:02:41,278 (New I/O worker #197) [ERROR - org.apache.flume.source.AvroSource.appendBatch(AvroSource.java:388)] Avro source r1: Unable to process event batch. Exception follows. java.u...
阅读(1699) 评论(0)

Flume性能测试报告

1. 测试环境1.1 硬件 CPU:Intel(R) Core(TM) i7-6700 CPU @ 3.40GHz(8核) 内存:16G 1.2 软件 Flume:1.6.0 Hadoop:2.6.0-cdh5.5.0 Kfaka:2.11-0.9.0.1 JDK:1.8.0_91-b14 64位 1.3 测试文件文件大小:107M ,共490010条记录1.4 Flume配置(...
阅读(10331) 评论(2)

Leet Code OJ 91. Decode Ways [Difficulty: Medium]

题目: A message containing letters from A-Z is being encoded to numbers using the following mapping:'A' -> 1 'B' -> 2 ... 'Z' -> 26Given an encoded message containing digits, determine the total number...
阅读(3721) 评论(0)

Leet Code OJ 344. Reverse String [Difficulty: Easy]

题目: Write a function that takes a string as input and returns the string reversed. Example: Given s = “hello”, return “olleh”.翻译: 写一个函数,使用字符串作为输入,返回它反转后的结果。 例如,输入”hello”,返回”olleh”。分析: 转为字符数组后,将第一...
阅读(3311) 评论(0)

关于Storm Tick

转载自kqdongnanf-博客园;Email:kqdongnanf@yahoo.com。1. tick的功能Apache Storm中内置了一种定时机制——tick,它能够让任何bolt的所有task每隔一段时间(精确到秒级,用户可以自定义)收到一个来自__systemd的__tick stream的tick tuple,bolt收到这样的tuple后可以根据业务需求完成相应的处理。Tick功能从...
阅读(16011) 评论(3)
151条 共8页1 2 3 4 5 ... 下一页 尾页
    个人资料
    • 访问:428870次
    • 积分:5074
    • 等级:
    • 排名:第6055名
    • 原创:130篇
    • 转载:20篇
    • 译文:1篇
    • 评论:90条
    博客专栏
    最新评论