Java
Java随笔
威尼斯的星期天
Console.log('♚')
展开
-
Json对象数组转Java对象数组
使用阿里fastjson解析TestDemoimport com.alibaba.fastjson.JSON;import com.alibaba.fastjson.JSONArray;import com.alibaba.fastjson.JSONObject;import java.util.ArrayList;public class WordCountTest { private ArrayList<JsonContent> getPlatformList(St原创 2022-05-09 12:30:21 · 2185 阅读 · 0 评论 -
Ubuntu18.04编译log4j2-2.15.0
2021/12/13号编译2.15.0版本 Log4j2,降低集群风险。原创 2021-12-13 20:23:59 · 2056 阅读 · 0 评论 -
SpringBoot程序中使用log4j,打印日志生成文件失效!
前言第一次玩SpringBoot,想将日志信息打印,log4j的依赖也成功添加了。然而在进行打印的时候居然没有达到预期!十分无奈,好不容易找到问题了,现在做个mark,记录下这个注意事项,以后防止再踩一次!log4j配置#打印到控制台log4j.appender.zhengkw.MyConsole=org.apache.log4j.ConsoleAppenderlog4j.appender.zhengkw.MyConsole.target=System.errlog4j.appender.zhe原创 2020-05-28 15:37:07 · 1831 阅读 · 0 评论 -
手写MR之自定义输入解决小文件问题(sequenceFile)
前言无论HDFS还是MapReduce,在处理小文件时效率都非常低,但又难免面临处理大量小文件的场景,此时,就需要有相应解决方案。可以自定义InputFormat实现小文件的合并。需求将多个小文件合并成一个SequenceFile文件(SequenceFile文件是Hadoop用来存储二进制形式的key-value对的文件格式),SequenceFile里面存储着多个文件,存储的形式为文件路...原创 2020-04-09 15:11:15 · 365 阅读 · 0 评论 -
Linux默认字符集与Java程序默认字符集问题
查看方式cat /etc/sysconfig/i18nJava程序默认字符集默认字符集是zh_CN.GB3212处理JAVA程序在linux中运行乱码问题两种解决思路1.修改linux里字符集sudo vim /etc/profileexport LC_ALL="zh_CN.GB2312"export LANG="zh_CN.GB2312"修改Java ...原创 2020-03-27 23:13:41 · 1014 阅读 · 0 评论 -
flume自定义组件(source,Interceptor,sink)
Source原理每次Agent启动后,会调用PollableSourceRunner.start(),开启一个PollableSourceRunner线程!这个线程会初始化PollableSource(可以轮询地去读取数据源中的数据)对象! PollableSource由所在的PollingRunner线程控制,调用PollableSource的process()方法,来探测是否有新的...原创 2020-03-14 01:06:26 · 369 阅读 · 0 评论 -
手写MR之GroupComparator(Java)
Beanpackage com.zhengkw.groupingcomparator;import org.apache.hadoop.io.WritableComparable;import java.io.DataInput;import java.io.DataOutput;import java.io.IOException;/** * @ClassName:Order...原创 2020-03-11 20:39:05 · 89 阅读 · 0 评论 -
Hive自定义UDF函数
自定义UDF函数创建一个Maven工程Hive导入依赖<dependencies> <!-- https://mvnrepository.com/artifact/org.apache.hive/hive-exec --> <dependency> <groupId>org.apache.hive</groupId>...原创 2020-03-11 01:36:56 · 329 阅读 · 0 评论 -
手写MapReduce之combiner
数据源准备4个txt文件,内容不限制,我用的是英文单词,用空格进行分割!Mapperpackage com.zhengkw.combiner;import org.apache.hadoop.io.IntWritable;import org.apache.hadoop.io.LongWritable;import org.apache.hadoop.io.Text;import ...原创 2020-03-08 20:42:06 · 200 阅读 · 0 评论 -
手写MapReduce之实现WritableComparable<T>进行TopN排序(Java)
前言直通车之前写了一个全排序,使用的是RawComparator来实现!这次则使用WritableComparable实现!数据源 tel up down total13470253144 180 180 36013509468723 7335 110349 11768413560439638 918 4938 585613568436656 3597 25635 29...原创 2020-03-08 20:09:23 · 471 阅读 · 0 评论 -
手写MapReduce之Partitioner分区(Java)
前言通过继承Partitioner<MapKEYOUT,MapVALUEOUT >实现对数据的输出的结果文件数量划分!测试数据1 13736230513 192.196.100.1 www.zhengkw.com 2481 24681 2002 13846544121 192.196.100.2 264 0 2003 13956435636 192.196.100.3...原创 2020-03-08 19:53:45 · 360 阅读 · 0 评论 -
手写MapReduce系列之RawComparator<T>接口实现进行数据全排序
前言这个系列是对MR手写程序的整理,为了加深对MR的理解!数据源 手机号 上行 下行 总计13470253144 180 180 36013509468723 7335 110349 11768413560439638 918 4938 585613568436656 3597 25635 2923213590439668 1116 954 207013...原创 2020-03-08 17:25:31 · 248 阅读 · 0 评论 -
利用API来对HDFS操作(Java)
package com.zhengkw.hdfs;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.*;import org.junit.After;import org.junit.Before;import org.junit.Test;import java.io.File;imp...原创 2020-03-08 16:55:46 · 179 阅读 · 0 评论 -
手写一个简单的MR程序,并在集群中运行!!(wordcount)
前言实现一个手写的WC程序,并打包在集群上运行。创建一个Maven工程,导入pom工程目录导入pom<?xml version="1.0" encoding="UTF-8"?><project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XM...原创 2020-03-05 16:53:19 · 769 阅读 · 0 评论 -
利用HadoopAPI实现对文件的压缩
package com.zhengkw.compression;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.FSDataInputStream;import org.apache.hadoop.fs.FSDataOutputStream;import org.apache.hadoop.f...原创 2020-03-05 11:59:04 · 288 阅读 · 0 评论 -
可变参数用法及用于方法重载中参数时的注意事项
概念:jdk5.0出现的新特性。将同一个类中,多个方法名相同、参数类型相同、返回类型相同,仅仅是参数个数不同的方法抽取成一个方法,这种方法称为可变参数的方法好处:提高代码的重用性和维护性语法:修饰符 返回类型 方法名(参数类型… 参数名){ … …}//遍历可变参数的方法和遍历数组类似public void user(int[]....userids){//遍历 ...原创 2020-02-05 21:18:08 · 575 阅读 · 0 评论