- 博客(25)
- 资源 (57)
- 收藏
- 关注
RSS订阅原创 字符串分割和对象初始化小实战
1、字符串分割问题：有这样一个需求：某个对象属性（id、name、age、sex、other）按照某个分隔符，打印成一行，然后再split拆分出来。例如：1#hello#12#man#sdfdsf但事实上我们会遇到某些字段为空的情况，例如：age为空、other为空。这时候就会出现一个“诡异”的情况：如果最后一个字段之前的某些字段为空，split后的size就会是5；但如果最后你个字段为空
2017-03-30 21:12:20
515
转载 hive DDL语法汇总
hive DDL语法汇总１、对表重命名hive> ALTER TABLE table_name RENAME TO new_table_name; 2、修改表备注hive> ALTER TABLE table_name SET TBLPROPERTIES ('comment' = new_comment); 3、添加表分区hi
2017-03-30 19:00:40
948
转载 Java Mysql连接池配置和案例分析--超时异常和处理
最近在开发服务的时候, 发现服务只要一段时间不用, 下次首次访问总是失败. 该问题影响虽不大, 但终究影响用户体验. 观察日志后发现, mysql连接因长时间空闲而被关闭, 使用时没有死链检测机制, 导致sql执行失败. 问题的表层根源, 看似简单, 但实际解决之路, 却显得有些曲折坎坷. 因此有必须分析下本质的原因, 以及Java Mysql连接池的处理策略和相关的配置项.异常
2017-03-26 17:02:01
959
原创 NavigableMap与NavigableSet
Java集合框架（JavaCollections Framework）加入了一个新的NavigableMap和NavigableSet接口——可导航的Map和集合。分别的扩展了SortedMap和SortedSet接口，本质上添加了搜索选项到接口。 对于NavigableMap，有3类方法。1）用于获取子Map：主要有headMap：获取前面的MaptailMap：获取
2017-03-25 15:56:20
1130
原创 linux之stat命令
每一个文件都有3中时间（称为时间戳timestamps），对这3种时间，很多时候容易混淆不清，因此 这里要说明下：Access time(atime):是指取用文件的时间，所谓取用，常见的操作有：使用编辑器查看文件内容，使用cat命令显示文件内容，使用cp命令把该文件（即来源文件）复制成其他文件，或者在这个文件上运用grep sed more less tail head 等命令，凡是
2017-03-25 14:46:55
1626
原创 Shell中调用、引用、包含另一个脚本文件的三种方法
假设文件first.sh内容如下：#!/bin/bashecho'your are in first file'1）使用source：#!/bin/bashecho'your are in second file'sourcefirst2）使用.：#!/bin/bashecho'your are in second file'.first注：.后面有一个
2017-03-23 16:05:51
1354
转载 求两个文件相加的脚本
root@client.example.com # cat a.txt100k f1.myd200k f2.myd300k f3.myd200k f4.myd100k f5.mydroot@client.example.com # cat b.txt100k f1.myd200k f2.myd300k f3.myd200k f4.myd100k f5.m
2017-03-23 15:36:17
959
原创 shell 命令——paste用法
p a s t e格式为：paste -d -s -file1 file2选项含义如下：-d 指定不同于空格或t a b键的域分隔符。例如用@分隔域，使用- d @。-s 将每个文件合并成行而不是按行粘贴。（行列转置会用到）- 使用标准输入。按照指定的列格式输出实例1：# cat aabcd# cat b1234567# paste a b
2017-03-23 12:15:15
10912
转载 基于Map-Reduce的相似度计算
基于Map-Reduce的相似度计算转载请注明：http://blog.csdn.NET/xinzhangyanxiang/article/details/9288589不久前（6.29），参加了ChinaHadoop的夏季沙龙，听了人人的大牛讲了基于Map-Reduce的相似度计算的优化，感觉对Map-Reduce编程模型的理解又进一步加深了，在这里把该算法总结成博文，以期能够更加透彻的
2017-03-22 10:52:47
1012
转载 mysql导入数据load data infile用法
MySQL导入数据load data infile用法基本语法：load data [low_priority] [local] infile 'file_name txt' [replace | ignore]into table tbl_name[fields[terminated by't'][OPTIONALLY] enclosed by ''][esc
2017-03-20 17:12:16
1094
转载 Flume-ng禁用自动加载配置文件功能
默认情况下，Flume中的PollingPropertiesFileConfigurationProvider会每隔30秒去重新加载Flume agent的配置文件，如果监听到配置文件变化了，Flume会试图重新加载变化的配置文件。判断配置文件是否变化主要是基于文件的最后修改时间来的，代码片段如下：//////////////////////////////////////////////
2017-03-20 16:56:51
1828
转载 flume之Http Source
一、介绍flume自带的Http Source可以通过Http Post接收事件。场景：对于有些应用程序环境，它可能不能部署Flume SDK及其依赖项，或客户端代码倾向于通过HTTP而不是Flume的PRC发送数据的情况，此时HTTP SOURCE可以用来将数据接收到Flume中。从客户端的角度看，HTTP SOURCE表现的像web服务器一样能接收flume事件
2017-03-18 23:17:24
9117
2
原创 Mysql 如何设置字段自动获取当前时间
问题一：在数据表中，要记录每条数据是什么时候创建的，不需要应用程序去特意记录，而由数据数据库获取当前时间自动记录创建时间；1、将字段类型设为 TIMESTAMP 2、将默认值设为 CURRENT_TIMESTAMP此时，插入数据后（和自增主键一样，无需制定inc_time字段），mysql会自动将inc_time字段设置成数据库服务器的当前时间。问题二：
2017-03-18 14:31:45
1690
转载 Mysql异常：MySQLNonTransientConnectionException: No operations allowed after statement closed
MySQLNonTransientConnectionException: No operations allowed after statement closed 之所以会出现这个异常，是因为MySQL在5以后针对超长时间DB连接做了一个处理，那就是如果一个DB连接在无任何操作情况下过了8个小时后，Mysql会自动把这个连接关闭。所以使用连接池的时候虽然连接对象还在但是链接数据
2017-03-17 09:44:44
7411
原创 guava学习之RangeMap
在Google Guava官方API上面可以得知：RangeMap是一种集合类型( collection type)，它将不相交、且不为空的Range（key）映射给一个值（Value）。和RangeSet不一样，RangeMap不可以将相邻的区间合并，即使这个区间映射的值是一样的。 和RangeSet一样，实现RangeMap也是一个接口，实现它的也只有两个类，分别为mmutableRa...
2017-03-15 15:14:58
1055
转载 guava学习：RangeSet
RangeSet类是用来存储一些不为空的也不相交的范围的数据结构。假如需要向RangeSet的对象中加入一个新的范围，那么任何相交的部分都会被合并起来，所有的空范围都会被忽略。 讲了这么多，我们该怎么样利用RangeSet？RangeSet类是一个接口，需要用它的子类来声明一个RangeSet型的对象，实现了RangeSet接口的类有ImmutableRangeSet和TreeRangeS...
2017-03-15 14:57:05
3630
转载 Guava学习笔记：Range
在Guava中新增了一个新的类型Range，从名字就可以了解到，这个是和区间有关的数据结构。从Google官方文档可以得到定义：Range定义了连续跨度的范围边界，这个连续跨度是一个可以比较的类型(Comparable type)。比如1到100之间的整型数据。 在数学里面的范围是有边界和无边界之分的；同样，在Guava中也有这个说法。如果这个范围是有边界的，那么这个范围又可以分为包括开集（...
2017-03-15 14:31:38
979
转载 hive函数大全
wiki：https://cwiki.apache.org/confluence/display/Hive/LanguageManual+UDFmap,array: https://cwiki.apache.org/Hive/languagemanual-lateralview.html doc下载：http://ishare.iask.sina.com.cn/f/25020082
2017-03-12 17:20:59
787
原创 hive时间戳格式化
1、from_unixtime()函数：语法：from_unixtime(t1,'yyyy-MM-dd HH:mm:ss')其中t1是10位的时间戳值，即1970-1-1至今的秒，而13位的所谓毫秒的是不可以的。对于13位时间戳，需要截取，然后转换成bigint类型，因为from_unixtime类第一个参数只接受bigint类型。例如：select from_unixtime(c
2017-03-09 12:03:33
15515
原创 hive的数据类型与null的用法
hive的使用中不可避免对null、‘’的判断识别。但是hive区别与传统的数据库。下面一一说明1、数据类型:int与string的存储。null默认的存储都是\N。 string的数据如果为""。存储才是""。另外往int类型的字段插入数据“”.结果还是\N[hadoop@nn1 ~]$ hadoop fs -cat /user/hive/warehouse/
2017-03-08 19:22:56
2845
转载 flume自定义组件的 jar 包管理
自定义flume 组建后，将项目打成jar 包，关于这个jar 包的管理和使用我在这里列举了三中方式。这三种方式都可以，随自己喜好使用。1. lib 目录将maven项目打成jar包，将jar 包放到flume的lib 目录下。此方法简单粗暴，缺点就是jar 包不易管理2. 官方给定目录官方建议在flume的 目录下创建 一个自己定义的目录，在自定义的目录下
2017-03-07 09:49:22
1806
1
原创 spring初始化、销毁容器时指定执行的方法
关于在spring 容器初始化 bean 和销毁前所做的操作定义方式有三种：通过@PostConstruct 和 @PreDestroy 方法 实现初始化和销毁bean之前进行的操作通过 在xml中定义init-method 和 destory-method方法通过bean实现InitializingBean和 DisposableBean接口 1、@PostCon
2017-03-05 23:04:01
8970
原创 flume报错：Sinks are likely not keeping up with sources, or the buffer size is too tight
使用flume收集日志，在agent的日志中发现如下错误信息：Caused by: org.apache.flume.ChannelException: Space for commit to queue couldn't be acquired Sinks are likely not keeping up with sources, or the buffer size is too ti
2017-03-04 15:39:25
3994
1
原创 flume简介
Flume是一个分布式、可靠、和高可用的海量日志聚合的系统（使用java编写，需要运行在jdk6或以上环境），支持在系统中定制各类数据发送方，用于收集数据；同时，Flume提供对数据进行简单处理，并写到各种数据接受方（可定制）的能力。Flume分为两个主要打Flume OG:Flume original generation 即Flume 0.9.x版本Flume NG:Flume n
2017-03-04 12:47:52
821
转载 Hbase 数据导出到本地文件中
scan "test_feed_incr",{TIMERANGE=>[1488384000000,1488425338000]}scan 'test_feed_incr',{TIMERANGE=>[1488384000000,1488425338000],COLUMNS=>'data:tag'}echo "scan 'test_feed_incr',{TIMERANGE=>[1488384
2017-03-02 11:46:42
5898
macOS eclipse Launcher
2023-12-18
parquet-tools-1.6.0rc3.zip
2020-07-24
jQuery-Plugin-For-Easily-Readable-JSON-Data-Viewer.zip
2019-12-31
yesmeck-jquery-jsonview-v1.2.3-14-g01b1eb8.zip
2019-12-30
linux解析json工具——jq
2017-09-16
jquery 全屏显示插件
2015-03-20
apache-maven-3.2.3-bin
2014-10-21
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人