hadoop项目1--需求相关

这篇博客介绍了Hadoop项目中的数据处理概念,包括ETL过程、Apache StringUtils的使用,以及UTF-8的 '^A' 分隔符。同时,文章详细讲解了线程安全的ConcurrentHashMap,强调其在多线程环境中的高效性能。此外,还讨论了SDK在项目中的作用,特别是Java SDK在支付通知场景的应用。最后,提到了数据采集、存储和分析的流程,涉及Flume、Sqoop和Nginx等工具。
摘要由CSDN通过智能技术生成

知识点:

1ETL,是英文 Extract-Transform-Load 的缩写,用来描述将数据从来源端经过抽取(extract)、交互转换(transform)、加载(load)至目的端的过程。

2StringUtils

public static boolean isEmpty(String str)
判断某字符串是否为空,为空的标准是str==null或str.length()==0
下面是StringUtils判断是否为空的示例:
StringUtils.isEmpty(null) = true
StringUtils.isEmpty("") = true

StringUtils.isEmpty(" ") = false //注意在StringUtils中空格作非空处理
StringUtils.isEmpty(" ") = false
StringUtils.isEmpty("bob") = false
StringUtils.isEmpty(" bob ") = false

2. public static boolean isNotEmpty(String str)
判断某字符串是否非空,等于!isEmpty(Stringstr)
下面是示例:
StringUtils.isNotEmpty(null) = false
StringUtils.isNotEmpty("") = false

StringUtils.isNotEmpty(" ") = true
StringUtils.isNotEmpty(" ") = true
StringUtils.isNotEmpty("bob") = true
StringUtils.isNotEmpty(" bob ") = true

包org.apache.commons.lang.StringUtils;

 

3关于^A这个分隔符

utf-8的'\u0001'在hive中是hive的默认分隔符^A

在linux使用组合按键“ctrl+V+A”获得^A

	public static void main(String[] args) {
		String s="221.13.21.1
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值