- 博客(21)
- 资源 (4)
- 收藏
- 关注
RSS订阅原创 spark scala maven简单创建工程与提交任务到yarn
第一步 :使用idea和maven开发和打包scala和spark程序参考：https://blog.csdn.net/xingyx1990/article/details/80752041（注意：我自身采用mvn命令打包的方式打包：mvn clean compile package）第二步：其中的maven工程中需要配置java+scala的jar包的打包方式如下，是我的spark的ma...
2018-12-29 17:26:33
1453
转载 spark-submit中的参数调优
spark-submit中的参数参数名 格式 参数说明--master MASTER_URL 如spark://host:port, mesos://host:port, yarn, yarn-cluster,yarn-client, local--deploy-mode DEPLOY_MODE Client或者master，默认是client--class ...
2018-12-29 17:06:43
198
原创 Flink在standalone模式下的打包运行常见问题总结
Flink在standalone模式下的常见问题总结flink应用在读取或者写入hdfs的时候容易出现以下问题：错误1：java.io.IOException: DataStreamer Exception: at org.apache.hadoop.hdfs.DFSOutputStream$DataStreamer.run(DFSOutputStream.java:562)Cause...
2018-12-29 12:44:15
3025
原创 flink读取hdfs上多路径的文件
flink上多路径的文件支持似乎不太友好，目前没有找到更好的办法。在spark下可以使用的/root/data/20170101//root/data/20170102//root/data/20170103/…/root/data/20170201//root/data/20170202/…比如读取二月份的所有数据可以使用如下spark可以使用hdfs://hostname:9...
2018-12-29 10:07:37
6683
6
原创 flink on yarn模式
在flink on yarn模式中，flink yarn-session的两种提交方式两种提交方式1.yarn-session为flink app开辟公用资源在yarn中初始化一个flink集群，开辟指定的资源，以后提交任务都向这里提交。这个flink集群会常驻在yarn集群中，除非手工停止。2.每个job提供一个yarn-session每次提交都会创建一个新的flink集群，任务之间互...
2018-12-29 09:43:48
665
原创 Flink应用提交到flink上的maven的pom.xml文件
Flink应用提交到flink上的maven的pom.xml文件主要功能介绍：提交到Flink集群中是运行结果，读取hdfs上的输入，然后处理之后输出数据到hdfs上；<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" ...
2018-12-27 19:59:07
3834
原创 JVM知识点总结
Java的类加载过程？Java虚拟机的基本机构？Jvm的内存模型?什么是类加载器？简单谈一下类加载的双亲委托机制？普通Java类的类加载过程和Tomcat的类加载过程是否一样？区别在哪？JAVA的垃圾回收？1.简单谈一下Java堆的垃圾回收机制？2.垃圾回收算法？垃圾回收器？做出比较参考：https://blog.csdn.net/ln152315/article/details...
2018-12-26 00:00:59
135
原创 Flink提交运行中常见问题总结
Flink提交运行中常见问题总结一、问题11.问题描述：提交jar到Flink集群时候出现：java.util.ServiceConfigurationError: org.apache.hadoop.fs.FileSystem: Provider org.apache.hadoop.fs.viewfs.ViewFileSystem could not be instantiated可...
2018-12-19 16:29:10
7368
5
原创 求找出N个格子中前m个的最多人走过的格子？？
题目：对于一个区域中N个地理格子，给定很多人走过的轨迹，求找出N个格子中前m个最多人走过的格子？？实现：package grid.geo;import java.util.ArrayList;import java.util.Comparator;import java.util.HashMap;import java.util.HashSet;import java.util....
2018-12-19 15:26:57
222
原创 Kafka集群搭建 、 搭建kafka-eagle-web
最新领导要求整理kafka的搭建整理文档，特此整理如下：一、Kafka集群搭建1. 安装环境：centos，jdk8，安装好的zookeeper环境，三台相同的机器作为节点2下载、解压kafka，版本是kafka_2.11-1.1.0；生产环境为：/hadoop/测试环境下为：/home/3.修改配置进入kafka的安装目录下，修改配置文件server.properties即可。...
2018-12-19 10:46:34
1778
2
转载 JAVA锁有哪些种类，以及区别（转）
转载： https://www.cnblogs.com/lxmyhappy/p/7380073.htmlJAVA锁有哪些种类，以及区别（转）在读很多并发文章中，会提及各种各样锁如公平锁，乐观锁等等，这篇文章介绍各种锁的分类。介绍的内容如下：公平锁/非公平锁可重入锁独享锁/共享锁互斥锁/读写锁乐观锁/悲观锁分段锁偏向锁/轻量级锁/重量级锁自旋锁上面是很多锁的名词，这些分类并不是...
2018-12-15 23:32:41
118
转载 kafka如何彻底删除topic及数据
转载：https://blog.csdn.net/belalds/article/details/80575751前言：删除kafka topic及其数据，严格来说并不是很难的操作。但是，往往给kafka 使用者带来诸多问题。项目组之前接触过多个开发者，发现都会偶然出现无法彻底删除kafka的情况。本文总结多个删除kafka topic的应用场景，总结一套删除kafka topic的标准操作...
2018-12-13 14:38:10
776
原创 面试一般流程
面试流程：个人介绍-&gt;技术面试 -&gt; 项目介绍 -&gt;职业规划【一、个人介绍】：（1）个人履历：你的学校、专业、（突出自己的优势、已经做的项目突出你的个人能力）5分钟；（2）突出重点：要抓住突出你的重点，你的优势！！！（要给面试官将自己的优势！！）（3）简短描述：不要讲无关重要的东西！（4）语言表述：不要太快，注重条例！（5）面带微笑：要求别人做到，首先自己...
2018-12-10 22:50:28
1283
转载 flink开发实战之flink原理解析
flink开发实战之flink原理解析转载自：https://blog.csdn.net/aA518189/article/details/82908993
2018-12-10 10:21:02
1410
1
原创 多线程知识（看如下链接足矣）
1.Lock和synchronized的区别和使用https://www.cnblogs.com/baizhanshi/p/6419268.html总结来说，Lock和synchronized有以下几点不同：1）Lock是一个接口，而synchronized是Java中的关键字，synchronized是内置的语言实现；2）synchronized在发生异常时，会自动释放线程占有的锁，因此...
2018-12-09 23:53:08
154
转载 Java-线程池专题 (美团面试题)
转载自：https://www.cnblogs.com/aspirant/p/6920418.html去美团面试，问到了什么是线程池，如何使用，为什么要用,以下做个总结1、什么是线程池：&nbsp; java.util.concurrent.Executors提供了一个 java.util.concurrent.Executor接口的实现用于创建线程池多线程技术主要解决处理器单元内多个线程...
2018-12-09 22:40:23
169
原创 在Flink集群搭建和使用中遇到的坑
一、项目概况使用Flink测试中间状态设置checkpoint和从checkpoint中恢复。二、搭建中出现的问题Flink的集群搭建中需要配置中间状态缓存的路径（项目中使用到的是在hdfs中存储中间状态）在集群中需要配置的项目是(如果需要中间状态的保存，这个必须的)：##配置使用的web接口，用来访问集群。默认应该也可以jobmanager.web.address: 192.168....
2018-12-06 20:02:33
2423
转载 Kafka client 消息接收的三种模式
Kafka client 消息接收的三种模式https://blog.csdn.net/laojiaqi/article/details/79034798
2018-12-06 11:12:05
992
转载 关于java中的锁的理解（通俗易懂）
一段synchronized的代码被一个线程执行之前，他要先拿到执行这段代码的权限，在Java里边就是拿到某个同步对象的锁（一个对象只有一把锁）； 如果这个时候同步对象的锁被其他线程拿走了，他（这个线程）就只能等了（线程阻塞在锁池等待队列中）。 取到锁后，他就开始执行同步代码(被synchronized修饰的代码）；线程执行完同步代码后马上就把锁还给同步对象，其他在锁池中等待的某个线程就可以拿到锁...
2018-12-03 23:23:23
984
转载 java中常见的锁
本文内容来自百度百科https://zhidao.baidu.com/question/1610001582034812547.html一、公平锁/非公平锁公平锁是指多个线程按照申请锁的顺序来获取锁。非公平锁是指多个线程获取锁的顺序并不是按照申请锁的顺序，有可能后申请的线程比先申请的线程优先获取锁。有可能，会造成优先级反转或者饥饿现象。对于Java ReentrantLock而言，通过构...
2018-12-03 22:53:42
119
原创 运行中的Storm集群修，改配置参数后重启失败的问题
一、问题描述：对于已经搭建好的Storm集群，启动后上面已经运行很多topology，此时想要修改storm的集群配置参数（storm.yarm）后重新启动集群，虽然storm中nimbus和web-ui进程能够正常启动，但是实际后台ui的日志总是报错，而且尝试在localhost:8080打开storm ui的时候也一直刷新不出来。二、问题分析与解决办法：storm 的web-ui一直刷新...
2018-12-03 21:53:48
671
kafka+flume+kafka中问题.pdf
2019-07-12
aws-general.pdf
2019-07-12
Spark基本原理与设计思想
2018-10-20
下一代消息中间件--pulsar
2018-10-20
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人