2019年12月_灵佑666

原创 Intellij IDEA 快捷键整理

【常规】Ctrl+Shift + Enter，语句完成 “！”，否定完成，输入表达式时按 “！”键 Ctrl+E，最近的文件 Ctrl+Shift+E，最近更改的文件 Shift+Click，可以关闭文件 Ctrl+[OR ]，可以跑到大括号的开头与结尾 Ctrl+F12，可以显示当前文件的结构 Ctrl+F7，可以查询当前元素在当前文件中的引用，然后按 F3 可以选择 Ct...

2019-12-24 21:36:31 106

原创常用的正则表达式

在线正则匹配测试工具：https://tool.oschina.net/regex#1.匹配中文字符：[\u4e00-\u9fa5]2.匹配双字节字符（包括汉字）：[^\x00-\xff]3.匹配空白行：\n\s*\r4.匹配e-mail地址：[\w!#$%&'*+/=?^_`{|}~-]+(?:\.[\w!#$%&'*+/=?^_`{|}~-]+)*@(?:[\...

2019-12-23 14:32:11 245

原创检查HDFS的健康状态

一、通过web UI查看二、通过命令产看低版本的命令为：sudo -u hdfs hadoop fsck /高版本的命令为：sudo -u hdfs hdfs fsck /hdfs fsck输出的解释：Usage: DFSck [-list-corruptfileblocks | [-move | -delete | -openforwrite] [-files [-blocks ...

2019-12-23 10:43:08 1911

原创配置阿里云Maven仓库

自从开源中国的maven仓库挂了之后就一直在用国外的仓库，慢得想要砸电脑的心都有了。如果你和我一样受够了国外maven仓库的龟速下载？快试试阿里云提供的maven仓库，从此不在浪费生命……仓库地址：http://maven.aliyun.com/nexus/#view-repositories;public~browsestorage仓库配置在maven的settings.xml文件里...

2019-12-19 09:51:50 94

原创 Spark自定义对象排序及自定义序列化

一、目标对象添加隐式转换函数的方式实现自定义排序object MySort{ //为student类添加隐式转换函数 implicit val stuOrdering = new Ordering[student]{ override def compare(x: student, y: student) = { //自定义排序格式为：默认按年龄升序排序，当年龄相...

2019-12-18 16:20:40 894

原创 Kafka消费数据的几种方式

https://blog.csdn.net/a2011480169/article/details/82795157https://blog.csdn.net/wangshuminjava/article/details/80263512一、按照topic和分区消费的划分：按照topic消费与按照topic分区消费1、指定多主题消费consumer.subscribe(Arr...

2019-12-18 11:04:35 3494

原创 Java Volatite关键字

一、基本概念先补充一下概念：Java 内存模型中的可见性、原子性和有序性。可见性：　　可见性是一种复杂的属性，因为可见性中的错误总是会违背我们的直觉。通常，我们无法确保执行读操作的线程能适时地看到其他线程写入的值，有时甚至是根本不可能的事情。为了确保多个线程之间对内存写入操作的可见性，必须使用同步机制。　　可见性，是指线程之间的可见性，一个线程修改的状态对另一个线程是可见的。也就是...

2019-12-18 10:48:17 177

原创 MySQL下载

http://ftp.ntu.edu.tw/MySQL/Downloads/https://dev.mysql.com/downloads/mysql/

2019-12-14 22:44:58 106

原创 Hive读时模式

hive读时模式：1.传统的关系型数据库在进行数据加载时，必须验证数据格式是否符合表字段定义，如果不符合，数据将无法插入至数据库表中。这种模式称为“写时模式”。2.hive中，数据加载过程采用“读时模式”，加载数据时不进行校验，读取数据时如果不合法的是NULL...

2019-12-11 15:22:56 626

原创 Java读取文件的四种方式

https://blog.csdn.net/qq_36983118/article/details/79873019 按字节读取文件内容按字符读取文件内容按行读取文件内容随机读取文件内容 public class ReadFromFile { /** * 以字节为单位读取文件，常用于读二进制文件，如图片、声音、影像等文件。 ...

2019-12-06 09:21:37 106

Flume NG是一个分布式，高可用，可靠的系统，它能将不同的海量数据收集，移动并存储到一个数据存储系统中。轻量，配置简单，适用于各种日志收集，并支持 Failover和负载均衡。并且它拥有非常丰富的组件。Flume NG采用的是三层架构：Agent层，Collector层和Store层，每一层均可水平拓展。其中Agent包含Source，Channel和 Sink，三者组建了一个Agent。三者...

2019-12-02 23:21:03 1159

原创 Flume如何保证消息的可靠性

Flume的可靠性保证：故障转移、负载均衡，多层代理官网的配置： https://flume.apache.org/FlumeUserGuide.htmlFlume的一些组件（如Spooling Directory Source、File Channel）能够保证agent挂掉后不丢失数据。1、负载均衡1）Load balancing Sink Processorsource里...

2019-12-02 23:06:59 677

转载 Java通过Executors提供四种线程池

Java通过Executors提供四种线程池，分别为：newCachedThreadPool创建一个可缓存线程池，如果线程池长度超过处理需要，可灵活回收空闲线程，若无可回收，则新建线程。newFixedThreadPool 创建一个定长线程池，可控制线程最大并发数，超出的线程会在队列中等待。newScheduledThreadPool 创建一个定长线程池，支持定时及周期性任务执行。newS...

2019-12-01 19:00:31 128

onway_goahead的博客