fct2001140269的博客

如今你的气质里,藏着你走过的路,读过的书和爱过的人。” ——《卡萨布兰卡》...

spark scala maven简单创建工程与提交任务到yarn

第一步 :使用idea和maven开发和打包scala和spark程序 参考:https://blog.csdn.net/xingyx1990/article/details/80752041 (注意:我自身采用mvn命令打包的方式打包:mvn clean compile package) 第二步...

2018-12-29 17:26:33

阅读数 878

评论数 1

spark-submit中的参数调优

spark-submit中的参数 参数名 格式 参数说明 --master MASTER_URL 如spark://host:port, mesos://host:port, yarn, yarn-cluster,yarn-client, local --deploy-mod...

2018-12-29 17:06:43

阅读数 57

评论数 0

Flink在standalone模式下的打包运行常见问题总结

Flink在standalone模式下的常见问题总结 flink应用在读取或者写入hdfs的时候容易出现以下问题: 错误1: java.io.IOException: DataStreamer Exception: at org.apache.hadoop.hdfs.DFSOutputStre...

2018-12-29 12:44:15

阅读数 360

评论数 0

flink读取hdfs上多路径的文件

flink上多路径的文件支持似乎不太友好,目前没有找到更好的办法。在spark下可以使用的 /root/data/20170101/ /root/data/20170102/ /root/data/20170103/ … /root/data/20170201/ /root/data/201702...

2018-12-29 10:07:37

阅读数 1363

评论数 3

flink on yarn模式

在flink on yarn模式中,flink yarn-session的两种提交方式 两种提交方式 1.yarn-session为flink app开辟公用资源 在yarn中初始化一个flink集群,开辟指定的资源,以后提交任务都向这里提交。这个flink集群会常驻在yarn集群中,除非手工停止...

2018-12-29 09:43:48

阅读数 162

评论数 0

Flink应用提交到flink上的maven的pom.xml文件

Flink应用提交到flink上的maven的pom.xml文件 主要功能介绍:提交到Flink集群中是运行结果,读取hdfs上的输入,然后处理之后输出数据到hdfs上; <project xmlns="http://maven.apache.org/POM...

2018-12-27 19:59:07

阅读数 669

评论数 0

JVM知识点总结

Java的类加载过程? Java虚拟机的基本机构?Jvm的内存模型? 什么是类加载器? 简单谈一下类加载的双亲委托机制? 普通Java类的类加载过程和Tomcat的类加载过程是否一样?区别在哪? JAVA的垃圾回收? 1.简单谈一下Java堆的垃圾回收机制? 2.垃圾回收算法?垃圾回...

2018-12-26 00:00:59

阅读数 34

评论数 0

Flink提交运行中常见问题总结

Flink提交运行中常见问题总结 一、问题1 1.问题描述: 提交jar到Flink集群时候出现: java.util.ServiceConfigurationError: org.apache.hadoop.fs.FileSystem: Provider org.apache.hadoop.f...

2018-12-19 16:29:10

阅读数 952

评论数 2

求找出N个格子中前m个的最多人走过的格子??

题目: 对于一个区域中N个地理格子,给定很多人走过的轨迹,求找出N个格子中前m个最多人走过的格子?? 实现: package grid.geo; import java.util.ArrayList; import java.util.Comparator; import java...

2018-12-19 15:26:57

阅读数 63

评论数 0

Kafka集群搭建 、 搭建kafka-eagle-web

最新领导要求整理kafka的搭建整理文档,特此整理如下: 一、Kafka集群搭建 1. 安装环境: centos,jdk8,安装好的zookeeper环境,三台相同的机器作为节点 2下载、解压kafka,版本是kafka_2.11-1.1.0; 生产环境为:/hadoop/ 测试环境下为:/hom...

2018-12-19 10:46:34

阅读数 72

评论数 0

JAVA锁有哪些种类,以及区别(转)

转载: https://www.cnblogs.com/lxmyhappy/p/7380073.html JAVA锁有哪些种类,以及区别(转) 在读很多并发文章中,会提及各种各样锁如公平锁,乐观锁等等,这篇文章介绍各种锁的分类。介绍的内容如下: 公平锁/非公平锁 可重入锁 独享锁/共享锁 互斥锁/...

2018-12-15 23:32:41

阅读数 43

评论数 0

kafka如何彻底删除topic及数据

转载:https://blog.csdn.net/belalds/article/details/80575751 前言: 删除kafka topic及其数据,严格来说并不是很难的操作。但是,往往给kafka 使用者带来诸多问题。项目组之前接触过多个开发者,发现都会偶然出现无法彻底删除kafka...

2018-12-13 14:38:10

阅读数 170

评论数 0

面试一般流程

面试流程:个人介绍->技术面试 -> 项目介绍 ->职业规划 【一、个人介绍】: (1)个人履历: 你的学校、专业、(突出自己的优势、已经做的项目突出你的个人能力)5分钟; (2)突出重点: 要抓住突出你的...

2018-12-10 22:50:28

阅读数 46

评论数 0

flink开发实战之flink原理解析

flink开发实战之flink原理解析 转载自:https://blog.csdn.net/aA518189/article/details/82908993

2018-12-10 10:21:02

阅读数 258

评论数 1

多线程知识(看如下链接足矣)

1.Lock和synchronized的区别和使用 https://www.cnblogs.com/baizhanshi/p/6419268.html 总结来说,Lock和synchronized有以下几点不同: 1)Lock是一个接口,而synchronized是Java中的关键字,syn...

2018-12-09 23:53:08

阅读数 32

评论数 0

Java-线程池专题 (美团面试题)

转载自:https://www.cnblogs.com/aspirant/p/6920418.html 去美团面试,问到了什么是线程池,如何使用,为什么要用,以下做个总结 1、什么是线程池:  java.util.concurrent.Executors提...

2018-12-09 22:40:23

阅读数 41

评论数 0

在Flink集群搭建和使用中遇到的坑

一、项目概况 使用Flink测试中间状态设置checkpoint和从checkpoint中恢复。 二、搭建中出现的问题 Flink的集群搭建中需要配置中间状态缓存的路径(项目中使用到的是在hdfs中存储中间状态) 在集群中需要配置的项目是(如果需要中间状态的保存,这个必须的): ##配置使用的we...

2018-12-06 20:02:33

阅读数 411

评论数 0

Kafka client 消息接收的三种模式

Kafka client 消息接收的三种模式 https://blog.csdn.net/laojiaqi/article/details/79034798

2018-12-06 11:12:05

阅读数 221

评论数 0

关于java中的锁的理解(通俗易懂)

一段synchronized的代码被一个线程执行之前,他要先拿到执行这段代码的权限,在Java里边就是拿到某个同步对象的锁(一个对象只有一把锁); 如果这个时候同步对象的锁被其他线程拿走了,他(这个线程)就只能等了(线程阻塞在锁池等待队列中)。 取到锁后,他就开始执行同步代码(被synchroni...

2018-12-03 23:23:23

阅读数 109

评论数 0

java中常见的锁

本文内容来自百度百科 https://zhidao.baidu.com/question/1610001582034812547.html 一、公平锁/非公平锁 公平锁是指多个线程按照申请锁的顺序来获取锁。 非公平锁是指多个线程获取锁的顺序并不是按照申请锁的顺序,有可能后申请的线程比先申请...

2018-12-03 22:53:42

阅读数 36

评论数 0

提示
确定要删除当前文章?
取消 删除
关闭
关闭