- 博客(74)
- 资源 (6)
- 收藏
- 关注
![](https://csdnimg.cn/release/blogv2/dist/pc/img/listFixedTop.png)
原创 maven安装jar包命令
com.ibm.db2 db2jcc_license_cisuz 10.1 mvn install:install-file -DgroupId=com.ibm.db2 -DartifactId=db2jcc_license_cisuz -Dversion=10.1 -Dpackaging=jar -Dfi...
2019-12-24 17:39:56
235
原创 spark-submit提交job任务解决三方依赖方案
spark-submit提交job任务解决三方依赖方案spark-submit提交job任务解决三方依赖方案spark-submit提交job任务解决三方依赖方案在spark 安装目录spark/jars 下面添加需要加装的jar包,此方法需要在每个节点都放入jar包或者在spark/conf/spark-defaults.conf 文件下面添加如下两行spark.executor.extraClassPath=/root/bigData/apache-maven-3.6.3/lib/*spar
2021-03-25 14:55:19
469
原创 SparkSQL零基础入门(11):sparkSQL的概述与SparkSession/RDD/DataFream/DataSet的概述
Spark零基础入门第十一课:sparkSQL没有看前面的同学可以回顾一下:10.Spark零基础入门第十课:spark数据倾斜后怎么办??9.Spark性能优化-开发调优8.SparkCore 调优之内存模型8.SparkCore 调优之内存模型7.SparkCore 核心知识复习与核心机制详解6.Spark共享变量之累加器和广播变量的使用!!!5.RDD常用算子用法训练(附习题答案)(aggregateByKey与combineByKey)!!!4.Spark Rdd常用算子和RD
2020-08-23 19:05:54
599
原创 Spark零基础入门第十课:spark数据倾斜后怎么办??
Spark零基础入门第九课:spark数据倾斜没有看前面的同学可以回顾一下:9.Spark性能优化-开发调优8.SparkCore 调优之内存模型8.SparkCore 调优之内存模型7.SparkCore 核心知识复习与核心机制详解6.Spark共享变量之累加器和广播变量的使用!!!5.RDD常用算子用法训练(附习题答案)(aggregateByKey与combineByKey)!!!4.Spark Rdd常用算子和RDD必备知识3.spark core 核心知识2.spark 之
2020-06-19 16:00:01
859
原创 从0开始学习spark(9)Spark性能优化-开发调优
Spark零基础入门第九课没有看前面的同学可以回顾一下:8.SparkCore 调优之内存模型7.SparkCore 核心知识复习与核心机制详解6.Spark共享变量之累加器和广播变量的使用!!!5.RDD常用算子用法训练(附习题答案)(aggregateByKey与combineByKey)!!!4.Spark Rdd常用算子和RDD必备知识3.spark core 核心知识2.spark 之 wordcount入门1.spark 入门讲解...
2020-06-16 10:37:21
340
原创 Kafka最全单机安装完整步骤加测试!!
Kafka安装步骤:1.安装JDK1.81 .1 安装:2.安装zookeeper (配置单机模式)2.1 下载地址:[http://mirrors.hust.edu.cn/apache/zookeeper/](http://mirrors.hust.edu.cn/apache/zookeeper/)3. 安装kafka:3.1 下载3.2修改配置文件:3.3测试生产消费:启动ZK启动Kafka创建topic查看topic list生产消息消费消息从0开始消费所有消息1.安装JDK1.8首先kafka.
2020-06-08 17:06:24
2783
2
原创 leetcode每日一题,动态规划算法+二分查找!!
leetcode 国内网站:https://leetcode-cn.com/problemset/all/给定一个无序的整数数组,找到其中最长上升子序列的长度。示例:输入: [10,9,2,5,3,7,101,18]输出: 4解释: 最长的上升子序列是 [2,3,7,101],它的长度是 4。说明:可能会有多种最长上升子序列的组合,你只需要输出对应的长度即可。你算法的时间复杂度应该为 O(n2) 。进阶: 你能将算法的时间复杂度降低到 O(n log n) 吗?//动态规划
2020-06-02 11:30:31
436
原创 从0开始学习spark(8)SparkCore 调优之内存模型
Spark零基础入门第八课没有看前面的同学可以回顾一下:7.SparkCore 核心知识复习与核心机制详解6.Spark共享变量之累加器和广播变量的使用!!!5.RDD常用算子用法训练(附习题答案)(aggregateByKey与combineByKey)!!!4.Spark Rdd常用算子和RDD必备知识3.spark core 核心知识2.spark 之 wordcount入门1.spark 入门讲解...
2020-06-02 09:44:50
1004
原创 第一次刷leetcode记录一下:题目为存在重复元素。
leetcode 国内网站:https://leetcode-cn.com/problemset/all/感觉第一个还是很简单的,O(∩_∩)O哈哈~,可能我还没有被现实打击吧,分享给大家,希望大家可以一起进步!! public boolean containsDuplicate(int[] nums) { int a = 0; Arrays.sort(nums); for(int i=0;i<nums.length-1;i++){
2020-05-28 16:22:59
264
原创 从0开始学习spark(7)SparkCore 核心知识复习与核心机制详解
Spark零基础入门第七课Spark 的核心概念 :Spark 运行架构特点Spark运行架构图:spark stage 阶段划分算法图:spark-on-yarn 模式图:sparkContext的构建的过程Spark MasterHA机制Worker节点的原理没有看前面的同学可以回顾一下:**6.Spark共享变量之累加器和广播变量的使用!!!5.RDD常用算子用法训练(附习题答案)(aggregateByKey与combineByKey)!!!4.Spark Rdd常用算子和RDD必备知识
2020-05-28 09:46:55
459
原创 从0开始学习spark(6)Spark共享变量之累加器和广播变量的使用!!!
Spark零基础入门第六课1. spark共享变量(Shared Variables)1.1 简介:1.2 为什么要定义广播变量 :1.3 、如何定义和还原一个广播变量 :2. Accumulators(累加器)2.1 为什么要定义累加器 :2.2 如果定义和还原一个累加器3. 自定义累加器:每日福利来一个。没有看前面的同学可以回顾一下:5.RDD常用算子用法训练(附习题答案)(aggregateByKey与combineByKey)!!!4.Spark Rdd常用算子和RDD必备知识3.sp
2020-05-20 19:30:22
377
原创 大学毕业一年自述vlog
自述大家一说到程序员肯定都会想到高工资,可是我的生活为什么和别人口中的那么不一致呢?有时候都会觉得自己是一个假的程序猿了。感觉上面这图很好的表现了我现在的生活。那么首先来说说我这大学到毕业都经历了什么吧:首先自我介绍一下,本博主已经是一个24的小伙子了,刚刚出社会,面临着巨大的压力,每天都是过着2点一线的生活,在大学学的是物联网专业搞硬件嵌入式的,后来在大3的时候才决定放弃硬件转行软件行业,这其中的艰辛啊,真的还是比较难受的,因为感觉软件要学习的东西实在是太多了,完全没有自己的方向,后来是因为什么.
2020-05-14 19:18:00
518
1
原创 从0开始学习spark(5)RDD常用算子用法训练(附习题答案)(aggregateByKey与combineByKey)!!!
Spark零基础入门第五课常见的transformation算子练习:常用的action算子练习:在这些基本的了解之后,给大家来两个高级调优的聚合算子的用过:combineByKeyaggregateByKey**最后我们做一些练习巩固一下常用算子:**拉钩网职位数据练习题每日福利来一个,话不多说,我们直接开始今天的spark RDD的实战练习代码,我们学习编程,还是要多实战,在实战中我们才能领悟到平时很难理解的知识点,下面我们开始我们今天的训练吧!没有看前面的同学可以回顾一下:4.Spark Rd
2020-05-10 10:48:30
938
2
原创 从0开始学习spark(4)Spark Rdd常用算子和RDD必备知识!!!
Spark零基础入门第三课1. RDD1.1 什么是RDD1.2 RDD 的属性2. 创建 RDD3. RDD常见的算子介绍3.1 Transformation 类算子:3.2 action 类算子:3.3 WordCount 中的 RDD4. RDD的依赖关系4.1 窄依赖和宽依赖对比4.2、窄依赖和宽依赖总结4.3、Lineage5. DAG 生成6. RDD 缓存6.1 RDD 的缓存方式每日福利来一个,话不多说,我们直接开始今天的spark的学习,之前我们学习了Spark的基础原理,和概念,然后
2020-05-09 13:16:03
751
原创 程序员必备75道逻辑思维题(附答案)终章
感觉这一天天的,上班是真的混,没有一个比你厉害的带你,都靠自己学习,你觉得这样的公司可以一直待下去吗???!!!还是多学习算法,思维,到时候去面试薪资翻倍不是梦啊!【61】你有两个罐子,50个红色弹球,50个蓝色弹球,随机选出一个罐子,随机选取出一个弹球放入罐子,怎么给红色弹球最大的选中机会?在你的计划中,得到红球的准确几率是多少?答案:一个罐子放一个红球,另一个罐子放49个红球和50个...
2020-05-05 09:11:49
5609
原创 程序员必备75道逻辑思维题(附答案)之六
感觉这一天天的,上班是真的混,没有一个比你厉害的带你,都靠自己学习,你觉得这样的公司可以一直待下去吗???!!!还是多学习算法,思维,到时候去面试薪资翻倍不是梦啊!【41】有23枚硬币在桌上,10枚正面朝上。假设别人蒙住你的眼睛,而你的手又摸不出硬币的反正面。让你用最好的方法把这些硬币分成两堆,每堆正面朝上的硬币个数相同。【42】三个村庄A、B、C和三个城镇A、B、C坐落在如图所示的环形...
2020-04-28 10:48:22
1816
原创 从0开始学习spark(3)Spark Core 核心知识
Spark零基础入门第三课1. Spark作业调度方式1.1 cluster 和 client 的区别2. spark 核心功能介绍:2.1 SparkContext2.2 存储体系2.3 计算引擎2.4 部署模式3. Spark 扩展功能3.1 Spark SQL3.2 Spark Streaming3.3 Spark GraphX3.4 Spark MLlib4. spark基本结构spark...
2020-04-23 22:56:41
592
原创 大毕业什么都没学到 就是收藏了超级实用的130个网站!!!
导航网站定位系统1. 搞学习2. 找书籍3.冷知识 / 黑科技4. 写代码5. 小工具6. 导航页(工具集)7. 看视频8.学设计9.搞文档10. 找图片1. 搞学习CSDN: https://www.csdn.net/TED(最优质的演讲):https://www.ted.com/谷粉学术: https://gfsoso.99lb.net/scholar.html大学资源网:http...
2020-04-23 22:48:30
5844
1
原创 程序员必备75道逻辑思维题(附答案)之五
逻辑训练身为一个大数据工程师,平时的算法训练还是不能少的,今天给大家看几道我曾经看到的逻辑思维题觉得很好,想分享一下。【26】话说有十二个鸡蛋,有一个是坏的(重量与其余鸡蛋不同),现要求用天平称三次,称出哪个鸡蛋是坏的!【27】100个人回答五道试题,有81人答对第一题,91人答对第二题,85人答对第三题,79人答对第四题,74人答对第五题,答对三道题或三道题以上的人算及格, 那么,在这1...
2020-04-23 21:50:10
1857
原创 从0开始学习spark的学习笔记(2)手把手教你Spark第一个程序WorldCount
Spark零基础入门第二课在 IDEA 中编写第一个Spark程序 WordCount修改 Spark 的日志级别所谓学习是要在快乐中进行的,每天放松一下。在 IDEA 中编写第一个Spark程序 WordCount昨天我们学习了spark的本地搭建和一些基本的概念之后,我们今天开始我们的第一个程序的搭建。(在生产环境中,通常会在 IDEA 中编 制程序,然后打成 jar 包,然后提交到...
2020-04-22 21:58:44
512
1
原创 从0开始学习spark的学习笔记(1)
所谓学习是要在快乐中进行的,这是我用了多年的桌面壁纸现在传给大家。Spark零基础入门第一课1.大数据生态简介:2.Spark 简介:3. spark 本地安装和集群安装:3.1 spark下载选择4. spark的关键概念:MasterWorkerApplicationRDD:弹性式分布式数据集(resilient distributed dataset)jobSparkContextDriv...
2020-04-21 22:25:02
1403
2
原创 程序员必备75道逻辑思维题(附答案)之四
逻辑训练身为一个大数据工程师,平时的算法训练还是不能少的,今天给大家看几道我曾经看到的逻辑思维题觉得很好,想分享一下。【16】有一种体育竞赛共含M个项目,有运动员A,B,C参加,在每一项目中,第一,第二,第三名分别的X,Y,Z分,其中X,Y,Z为正整数且X>Y>Z。最后A得22分,B与C均得9分,B在百米赛中取得第一。求M的值,并问在跳高中谁得第二名。【17】前提:1 有五栋五...
2020-04-16 21:39:03
914
原创 大数据必须了解的hdfs的两大核心和hdfs的元数据合并流程!
点赞关注不迷路,见证自己的成长。hdfs 身为 Hadoop 平台的分布式文件系统,我们今天来看看他的两大核心,和元数据合并流程。文件上传:写数据过程 逻辑切块:在形式、逻辑上的切分,并没有真正的进行切分 只是一个范围的划分 假设文件300M 偏移量的划分 仅仅相当于打了标记 blk01:0-127M blk02:128-255M blk03:2...
2020-04-16 21:07:47
400
原创 看遍全网我总结了redis的面试知识点!
点赞再看,越点越帅 redis全网面试总结开始了1.面试官:redis有哪些数据类型和数据结构:2.面试官:可以聊一下redis的分布式锁吗?3.面试官:keys指令能说一下吗?4.面试官:知道Redis的队列吗?可以说明几个吗?6.面试官:可以说说Redis的持久化机制吗?7.面试官:可以聊一下如果机器断电了会对redis造成什么影响吗?8.面试官:可以说一下你了解的redis的集群吗?9.面...
2020-04-14 16:12:39
327
原创 java设计模式之 单例模式【Singleton Pattern】 详解
首先我们举个例子说明一下什么是单例模式:这个模式是很有意思,而且比较简单,但是我还是要说因为它使用的是如此的广泛,如此的有人缘,单例就是单一、独苗的意思,那什么是独一份呢?你的思维是独一份,除此之外还有什么不能山寨的呢?我们举个比较难复制的对象:皇帝中国的历史上很少出现两个皇帝并存的时期,是有,但不多,那我们就认为皇帝是个单例模式,在这个场景中,有皇帝,有大臣,大臣是天天要上朝参见皇帝的...
2020-03-17 16:02:37
181
原创 程序员必备75道逻辑思维题(附答案)之三
逻辑训练身为一个大数据工程师,平时的算法训练还是不能少的,今天给大家看几道我曾经看到的逻辑思维题觉得很好,想分享一下。【11】有一人有240公斤 水,他想运往干旱地区赚钱。他每次最多携带60公斤,并且每前进一公里须耗水1公斤(均匀耗水)。假设水的价格在出发地为0,以后,与运输路程成正比, (即在10公里处为10元/公斤,在20公里处为20元/公斤…),又假设他必须安全返回,请问,他最多可赚多少...
2020-03-17 15:37:32
1697
原创 java设计模式之 代理模式【Proxy Pattern】 详解
首先我们举个例子说明一下什么是策略模式:什么是代理模式呢?我很忙,忙的没空理你,那你要找我呢就先找我的代理人吧,那代理人总要知道被代理人能做哪些事情不能做哪些事情吧,那就是两个人具备同一个接口,代理人虽然不能干活,但是被代理的人能干活呀。比如西门庆找潘金莲,那潘金莲不好意思答复呀,咋办,找那个王婆做代理,表现在程序上时这样的:先定义一种类型的女人:package com.cbf4lif...
2020-02-24 20:27:06
197
原创 java设计模式之策略模式【Strategy Pattern】详解
首先我们举个例子说明一下什么是策略模式:例如:刘备要到江东娶老婆了,走之前诸葛亮给赵云(伴郎)三个锦囊妙计,说是按天机拆开解决棘手问题,嘿,还别说,真是解决了大问题,搞到后是周瑜陪了夫人又折兵呀,那咱们先看看这个场景是什么样子的。先说这个场景中的要素:三个妙计,一个锦囊,一个赵云,妙计是小亮同志给的,妙计是放置在锦囊里,俗称就是锦囊妙计嘛,那赵云就是一个干活的人,从锦囊中取出妙计,执行,...
2020-02-18 17:01:28
279
原创 程序员必备75道逻辑思维题(附答案)之二
逻辑训练身为一个大数据工程师,平时的算法训练还是不能少的,今天给大家看几道我曾经看到的逻辑思维题觉得很好,想分享一下。【6】一个球、一把长度大约是球的直径2/3长度的直尺.你怎样测出球的半径?方法很多,看看谁的比较巧妙【7】五个大小相同的一元人民币硬币。要求两两相接触,应该怎么摆?【8】猜牌问题S先生、P先生、Q先生他们知道桌子的抽屉里有16张扑克牌:红桃A、Q、4 黑桃J、8、4、2、...
2020-02-18 16:37:47
2997
3
原创 scala基础知识复习!武汉加油!
scala基础知识复习最近都不能去武汉了,只能在家宅着。我们还是来复习一下平时的最基础的scala的知识吧。1.1 那我们开始最基础的hello,world吧package com.mazh.scala.helloworld object HelloWorld { // 作用类似于 java 中的 main 方法 def main(args: Array[String]): ...
2020-02-01 13:54:41
416
原创 Java代码的组内排序(利用java内存的list内的排序分组)
/** * 查询关联指定dataObjectCode的业务对象,code相同的业务对象只出现一次,取创建时间最新那条记录 */ @Override public List<BusinessObjectVo> listVoByDataObjectCode(String dataObjectCode) { List<Business...
2020-01-02 16:24:52
560
2
原创 程序员必备75道逻辑思维题(附答案)之一
逻辑训练身为一个大数据工程师,平时的算法训练还是不能少的,今天给大家看几道我曾经看到的逻辑思维题觉得很好,想分享一下。【1】假设有一个池塘,里面有无穷多的水。现有2个空水壶,容积分别为5升和6升。问题是如何只用这2个水壶从池塘里取得3升的水。【2】周雯的妈妈是豫林水泥厂的化验员。 一天,周雯来到化验室做作业。做完后想出去玩。 "等等,妈妈还要考你一个题目,“她接着说,“你看这6只做化验用的玻...
2019-12-26 10:08:01
11439
3
原创 Jpa规范之hibernate的一对一关联查询操作学习
我们搭建一个maven项目,然后我们加载数据,数据我已经准备好了。-- truncate alldelete from jpa_test.oo_t_idcard where 1=1;delete from jpa_test.oo_t_person where 1=1;-- oo_t_personINSERT INTO jpa_test.oo_t_person (id, created_...
2019-12-25 11:27:04
884
原创 java从包package中获取所有的Class对象
package com.maxnerva.cloud.studio.util;import java.io.File;import java.io.FileFilter;import java.io.IOException;import java.net.JarURLConnection;import java.net.URL;import java.net.URLDecoder;...
2019-12-13 16:56:03
117
原创 驼峰命名法和下划线命名法互转
/*** * 下划线命名转为驼峰命名 * * @param para * 下划线命名的字符串 */ public static String UnderlineToHump(String para){ StringBuilder result=new StringBuilder(); Stri...
2019-12-10 12:27:37
1265
原创 面试题系列之-Javaweb基础
JAVA基础部分前言:身为一个刚刚毕业没多久的职场新人,我想给快毕业的大学生们总结一下面试过程中遇到的各种问题,和平时看到的很多经典题型,想和大家分享一下,毕竟这些都可以作为自己的一中资料,心得可以时常回顾。那么话不多说开始面试:Java基础部分2.1 Ajax你以前用过么?简单介绍一下AJAX = 异步 JavaScript 和 XML。AJAX 是一种用于创建快速动态网页的技术。...
2019-12-05 17:23:51
166
原创 面试题系列之-java基础面试
JAVA基础部分前言:身为一个刚刚毕业没多久的职场新人,我想给快毕业的大学生们总结一下面试过程中遇到的各种问题,和平时看到的很多经典题型,想和大家分享一下,毕竟这些都可以作为自己的一中资料,心得可以时常回顾。那么话不多说开始面试:首先第一个问:Java基础部分1.1 Java中的方法覆盖(Overwrite)和方法重载(Overloading)是什么意思?重载Overload表示同一个...
2019-12-04 17:25:23
172
原创 Spark集群HA环境搭建教程
首先搭建Spark集群,我们用时Spark的原生的安装包,之前的环境还是我前面搭建起来的Hadoop的环境,话不多说,我们开始搭建环境。Spark 集群安装 :spark官网首页:http://spark.apache.org/downloads.html或者其他镜像站:https://mirrors.tuna.tsinghua.edu.cn/apache/spark/ https://...
2019-11-30 14:52:49
655
原创 Spark 和与MR的区别
1.1、MapReduce 的发展1.1.1、MRv1 的缺陷早在 Hadoop1.x 版本,当时采用的是 MRv1 版本的 MapReduce 编程模型。MRv1 版本的实现 都封装在 org.apache.hadoop.mapred 包中,MRv1 的 Map 和 Reduce 是通过接口实现的。MRv1 包括三个部分: 运行时环境(JobTracker 和 TaskTracker) 编程...
2019-11-28 13:38:31
1667
mysql-5.6.26-1.linux_glibc2.5.x86_64.rpm-bundle.zip
2019-09-06
spark-2.2.2-bin-hadoop2.7.tgz
2019-07-04
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人