corelone2-CSDN博客

原创 idea直接在集群上运行jar包

基础配置和之前的一样，这里放上前面的博客：https://blog.csdn.net/weixin_43887873/article/details/125032225不同的地方就是直接在idea的代码里面设置为集群环境运行，并设置jar包路径。jar包路径设置为idea项目里的，并且勾选了include in project build，这样运行代码的时候，就能自动打包，并提交到集群上【所以集群肯定是得提前开着的】参考文献：https://www.jianshu.com/p/b4e4658c.

2022-05-29 20:00:30 673 1

原创【Idea 打包spark程序，集群模式下运行】

由于这是我自己随手记录的，所以显得比较乱，但是步骤基本都有，排版就以后再说。重试一次，自定义jar包程序运行。1.建立scala项目2.添加spark下的jar包依赖【usr/local/spark/jars】,当然也有scala的sdk，一般我这边已经有了写程序：我终于，可以从头到尾，自己写下来所有的API。并且运行成功。接下来开始打包，先注释掉，setMaster（“local”)main class，这边自动给我识别，然后删除，除项目jar包以外的所有依赖，【集群环境里.

2022-05-29 16:16:38 2054

原创【idea-spark环境-无maven】

将需要的jar包，全部放到一个文件夹，放到虚拟机中的一个目录中，我这边放的是/usr/local/spark/中，添加到lib中.最后在Modules中的依赖中选择，然后apply就行。

2022-03-08 14:54:32 2196

原创【字节实习题目】

字节暑期实习-大数据岗位笔试题

2022-02-27 22:23:08 402

原创【力扣刷题笔记】整数-只出现一次的数字

题目剑指 Offer II 004. 只出现一次的数字给你一个整数数组 nums ，除某个元素仅出现一次外，其余每个元素都恰出现三次。请你找出并返回那个只出现了一次的元素分析本题主要是考虑到一个数，是在int范围内，那么这个数就不会超过32位，可以用一个32位的数组去表示一个数的每一位（换成2进制看）。推广：并且考虑到一个数，出现m次，那么第i位的数之和，一定可以被m整除。即出现m次的数字的第i数位之和 % m 一定为 0 ....

2022-01-04 00:29:59 309

原创【力扣刷题笔记】动态规划-一和零-二维01背包

题目给你一个二进制字符串数组 strs 和两个整数 m 和 n 。请你找出并返回 strs 的最大子集的长度，该子集中最多有 m 个 0 和 n 个 1 。如果 x 的所有元素也是 y 的元素，集合 x 是集合 y 的子集。来源：力扣（LeetCode）链接：https://leetcode-cn.com/problems/ones-and-zeroes著作权归领扣网络所有。商业转载请联系官方授权，非商业转载请注明出处。分析仍然是一个组合问题，从背包中选物品，01背包，使得0的个数为

2022-01-02 20:37:47 208

原创【力扣刷题笔记】动态规划-目标和

题目 494. 目标和给你一个整数数组 nums 和一个整数 target 。向数组中的每个整数前添加 ‘+’ 或 ‘-’ ，然后串联起所有整数，可以构造一个表达式：例如，nums = [2, 1] ，可以在 2 之前添加 ‘+’ ，在 1 之前添加 ‘-’ ，然后串联起来得到表达式 “+2-1” 。返回可以通过上述方法构造的、运算结果等于 target 的不同表达式的数目。来源：力扣（LeetCode）链接：https://leetcode-cn.com/problems/target

2022-01-02 19:49:54 249 2

原创【力扣刷题笔记】贪心算法-406. 根据身高重建队列

题目假设有打乱顺序的一群人站成一个队列，数组 people 表示队列中一些人的属性（不一定按顺序）。每个 people[i] = [hi, ki] 表示第 i 个人的身高为 hi ，前面正好有 ki 个身高大于或等于 hi 的人。请你重新构造并返回输入数组 people 所表示的队列。返回的队列应该格式化为数组 queue ，其中 queue[j] = [hj, kj] 是队列中第 j 个人的属性（queue[0] 是排在队列前面的人）。来源：力扣（LeetCode）链接：https://lee

2021-12-25 21:32:43 576

原创【力扣刷题笔记】贪心算法之分发糖果

135. 分发糖果题目：n 个孩子站成一排。给你一个整数数组 ratings 表示每个孩子的评分。你需要按照以下要求，给这些孩子分发糖果：每个孩子至少分配到 1 个糖果。相邻两个孩子评分更高的孩子会获得更多的糖果。请你给每个孩子分发糖果，计算并返回需要准备的最少糖果数目。来源：力扣（LeetCode）链接：https://leetcode-cn.com/problems/candy著作权归领扣网络所有。商业转载请联系官方授权，非商业转载请注明出处。示例 1：输入：ratings =

2021-12-25 16:40:43 544

原创欧拉图-Hierholzer 算法

Hierholzer 算法求解欧拉通路、回路或欧拉路径应用：一笔画问题：一个点开始，一笔画完一个图。欧拉图：从任意一个点开始，一笔画完一个图；半欧拉图：从某一个点开始，一笔画完一个图；欧拉通路：通过所有边恰好一次，且路过所有顶点的通路；欧拉回路：通过所有边恰好一次，且路过所有顶点的回路；欧拉图：具有欧拉回路的无向图/有向图；半欧拉图：具有欧拉通路的无向图/有向图性质特点：无向图：欧拉图中所有顶点的度数都是偶数；有向图：欧拉图中所有节点的入度和出度都相等；有向图中的欧拉通路：欧拉

2021-12-24 14:24:31 2143

原创【动态规划】动态规划优化之滚动数组

动态规划之滚动数组优化空间

2021-12-22 15:02:03 580

原创【力扣刷题笔记】滑动窗口模板

滑动窗口模板1.使用场景：连续子串/子数组，求和，求序列长度2.代码模板：int left = 0;int right = 0; //双指针，左右边界，表示区间[left, right]int len = nums.length; //数组长度，字符串长度int sum = 0; //统计子区间是否有效，可能是求和或者计数int res = 0; //保存最大满足题目要求的子数组/子串长度while(right < len) { sum = sum + nums[right];

2021-11-17 10:15:20 394 1

转载 E: Error, pkgProblemResolver::Resolve generated breaks, this may be caused by held packages

问题出现 Ubuntu16.04系统使用命令行安装某软件包时 sudo apt-get install <packagename>1 错误返回 E: Error, pkgProblemResolver::Resolve generated breaks, thi...

2021-06-09 16:39:33 14741 4

转载 ubuntu下添加路径到PATH

srilm编译完后，命令行程序都在/home/zhuangweiji/srilm/srilm-1.7.2/bin/i686-m64中，为了在其他目录下可以运行这些程序，需将其添加到环境变量中。 1、什么是环境变量(PATH) 在Linux中，在执行命令时，系统会按照PATH的设置，去每个PATH定义的路径下搜索执行文件，先搜索到的文件先执行。我们知道查阅文件属性的指令ls 完整文件名为：/b...

2021-06-08 10:52:47 2777

转载 CMake的安装

CMake的安装一、下载在linux环境下打开网页浏览器，输入网址：https://cmake.org/download/，找到最新版本的位置。一般开放源代码软件都会有两个版本发布：Source Distribution 和 Binary Distribution，前者是源代码版，你需要自己编译成可执行软件。后者是已经编译好的可执行版，直接可以拿来用的。二、查询主机32位或64位在linux环境...

2021-06-07 21:51:42 901

转载 ubuntu中编译C++代码的两种方法

作为初学者，按照博客上的内容，编译运行第一个C++程序时，出现了很多低级的错误，希望能全部写出来，年纪大了，记性不好，免得以后忘记。使用系统Ubuntu18.04. cmake 和 gcc 都已经安装完成，这里不介绍安装方法，仅仅描述按照网上教程出现的问题。从收集的资源看有两种方法：1 :cmake 2:g++ 1.cmake 网上有官方教程，英文版：请看https://cmake.org/...

2021-06-07 21:20:14 1991 1

转载 Ubuntu安装指定版本的gcc、g++

查看ubuntu系统上g++的版本： ls /usr/bin/g++*1 安装新版gcc和g++ sudo apt-get install gcc-4.9 g++-4.91 切换不同版本当ubuntu系统上安装了不同版本的gcc和g++，可以使用update-alter...

2021-06-07 20:42:27 6719

转载 hash join

其他参考：https://www.cnblogs.com/xqzt/p/4469673.htmlhttps://www.cnblogs.com/shangyu/p/6055181.htmlhttps://blog.csdn.net/expleeve/article/details/48734957 在Oracle中，确定连接操作类型是执行计划生成的重要方面。各种连接操作类型代表着不同的连接操作算法，不同的连接

2021-04-29 22:16:55 689

转载数据库 shard 分片

2.1.1什么是数据切分 "Shard" 这个词英文的意思是"碎片"，而作为数据库相关的技术用语，似乎最早见于大型多人在线角色扮演游戏中。"Sharding" 姑且称之为"分片"。Sharding 不是一门新技术，而是一个相对简朴的软件理念。众所周知，MySQL 5 之后才有了数据表分区功能，那么在此之前，很多 MySQL 的潜在用户都对 MySQL 的扩展性有所顾虑，而是否具备分区功能就成了衡量一个数据库可...

2021-04-29 17:21:36 777

转载关系代数优化

数据库 – 关系代数优化（语法树优化）关系代数优化是指通过对关系代数表达式的等价变换操作来提高数据库的查询效率。关系代数有5大基本操作：包括并( Union，U )，差 (Difference ， - )，笛卡尔积( X )，投影( project，∏)，选择（ select...

2021-04-16 22:48:26 5019 1

转载 java子类调用父类的构造方法

class FatherClass{ public FatherClass(){ System.out.println("父类无参构造函数"); } public FatherClass(int i){ System.out.println("父类一个参数构造函数...

2021-04-16 16:45:25 6441

转载 java子类调用父类构造方法

在Java中，子类的构造过程中，必须调用其父类的构造函数，是因为有继承关系存在时，子类要把父类的内容继承下来，通过什么手段做到的？　　答案如下：　　　　当你new一个子类对象的时候，必须首先要new一个父类的对像出来，这个父类对象位于子类对象的内部，所以说，子类对象比父类对象大，子类对象里面包含了一个父类...

2021-04-16 16:42:03 8838 2

转载 idea工具使用

idea的快捷键 idea从入门到精通总目录本文介绍快捷键大全编辑查找/替换编译/运行调试导航重构版本控制/本地历史LiveTemplate代码生成 idea从入门到精通总目录 idea从入门到精通本文介绍本文的快捷键来自菜鸟教程：http://www.r...

2021-04-16 15:23:25 299

转载 spark 源码阅读环境

windows + Intellij IDEA打造Spark源码阅读环境 1.Spark源码阅读环境的准备 Spark源码是有Scala语言写成的，目前，IDEA对Scala的支持要比eclipse要好，大多数人会选在在IDEA上完成Spark平台应用的开发。因此，Spark源码阅读的IDE理所当然的选择了IDEA。本文介绍的是Windows下的各项配置方法（默认...

2021-03-22 22:19:58 210

转载 esper的安装与导入包的使用

1. esper的安装：在 http://esper.codehaus.org/esper/download/download.html 这里下载esper压缩包。解压缩之后获得文件夹 esper-4.x.x，在该文件夹根目录有 esper-4.x.x.jar，这就是我们需要用到的esper库，将其加入到项目中。值得注意的是，使用esper不仅仅需要这个jar文件，还需要...

2021-03-21 20:44:29 448 1

转载 Esper介绍

转载请注明出处：http://blog.csdn.net/luonanqin 由于项目需要，我开始了学习Esper的任务。刚开始觉得他是个很高级的东西，学了一段时间后发现他确实是很高级的东西。不过貌似在国内的应用很少，网上都查不到什么资料的，所以我觉得在博客里写一下自己的学习的收获，一是总结所学知识点...

2021-03-21 20:39:50 1382 1

转载 java.io.FileNotFoundException:(拒接访问）

一、问题在使用FileInputStream或FileOutputStream时会遇到如下问题1和问题2。问题1： java.io.FileNotFoundException: .\xxx\xxx.txt (系统找不到指定的路径。) at java.io.FileOu...

2021-03-21 15:33:46 30768 1

转载 cacheTable与uncacheTable

Spark相对于Hadoop MapReduce有一个很显著的特性就是“迭代计算”（作为一个MapReduce的忠实粉丝，能这样说，大家都懂了吧），这在我们的业务场景里真的是非常有用。假设我们有一个文本文件“datas”，每一行有三列数据，以“\t”分隔，模拟生成文件的代码如下：执行该代码之后，文本文件会存储于本地路径：/tmp/datas，它包含1000行测试数据，将其...

2020-12-22 15:01:41 210

转载 DataFrame registerTempTable(注册临时表)

将数据存成数据集的方式是实现数据各种操作非常有效的一种方式。也能够迅速实现数据的导入与导出。Spark DataFrame提供了registerTempTable这样的接口，可以将数据对象存成临时表，便于后续的各种查询操作等。如select, join等。以前都是直接从数据中读入数据，生成一个dataframe对象，都没有遇到 table not found的问题。然而今天用手工创建的时候，总是会报这个错误。 res1.registerTempTable("hello") 表示是将r

2020-12-22 11:37:29 979

转载正则表达式re.compile()的使用

re 模块提供了不少有用的函数，用以匹配字符串，比如：compile 函数match 函数search 函数findall 函数finditer 函数split 函数sub 函数subn 函数re 模块的一般使用步骤如下：使用 compile 函数将正则表达式的字符串形式编译为一个 Pattern 对象通过 Pattern 对象提供的一系列方法对文本进行匹配查找，获得匹配结果（一个 Match 对象）最后使用 Match 对象提供的属性和方法获得信息，根据需要进行其他的操作compile 函数

2020-12-22 10:58:29 1134

转载 maven 全局设置和用户设置

maven的全局setting及用户setting maven仓库地址、私服等配置信息需要在setting.xml文件中配置，分为全局配置和用户配置。而pom.xml文件是所在项目的局部配置。在maven安装目录下的有 conf/setting.xml文件，此setting.xml...

2020-12-09 22:48:54 1783

转载 ubuntu 中目录介绍

一、/：目录属于根目录，是所有目录的绝对路径的起始点，Ubuntu 中的所有文件和目录都在跟目录下二、/etc：此目录非常重要，绝大多数系统和相关服务的配置文件都保存在这里，这个目录的内容一般只能由管理员进行修改。像密码文件、设置网卡信息、环境变量的设置等都在此目录中。此目录的 rcn.d 目录中存放不同启动级别所启动的服务，network 目录放置网卡的配置信息等。三、/home：此目录是所有普...

2020-12-09 22:43:36 1813

转载 Ubuntu 下eclipse安装

一、安装JDK 1、先检测操作系统有没有已经安装好JDK环境，按“Ctrl+Alt+T”呼出终端，输入命令： java –version 如果出现JDK版本信息，则说明已经安装好，否则将会显示如下结果： 2、下载JDK 软件下载地址： ...

2020-12-09 21:30:12 6432

转载安装VMware Tool

VMware Tools的主要作用是虚拟硬件的驱动，鼠标的无缝移出移入，剪贴板共享，共享主机上的文件夹等功能。方法一 1.打开文件夹-Ubuntu 17.10 amd64(根据自己版本来看)。 2.在VMware Workstation主界面点击菜单“虚拟机”。会弹出提示框，点击是。 3.保持网络状态，等待后台下载，下载后会出现一个压缩包。在下载过程中可能会出现DVD图标会...

2020-12-09 11:15:55 727

转载 Maven在eclipse中的配置

这是在eclipse中配置Maven环境时候，更改镜像源为阿里云的时候遇到的错误，我是执行mvn help:system时候出的错，当时参考的是：https://blog.csdn.net/lubin100/article/details/80931491然后，镜像源换成这个博客的：再执行就不报错了，但是那个自己建的repository 里面仍然没有之前那个博客说的文件出现。

2020-12-03 19:50:59 128

转载 Column-Stores vs. Row-Stores: How Different Are They Really?

原文：https://blog.csdn.net/hxcaifly/article/details/89489645 文章的全称应该是《Column-Stores vs. Row-Stores: How Different Are They Really?》读后感, 但是知

2020-12-01 22:57:16 370

原创 merge-join

参考：1.https://www.cnblogs.com/xqzt/p/4469673.html2.http://blog.itpub.net/20854791/viewspace-669744/

2020-12-01 18:15:15 138

转载 C-Store

原文：https://blog.csdn.net/landhero/article/details/77939020参考：https://blog.csdn.net/qiaojialin/article/details/89507354 C-Store是一个为了快速查询而设计的关系型数据库，它的论文发表于2005年的VLDB。为了达到更快的查询性能，C-Store按列存储数据，同一个表中的不同列可能被存在不同的

2020-12-01 17:02:10 676

转载 slave1: ssh: connect to host slave1 port 22: No route to host

原文：https://blog.csdn.net/qingyu66/article/details/69668591 问题描述：启动hadoop时【master slave1 slave2】 master启动正常，slave1未启动并显示其错误 slave1: ssh: connect to host slave1 port 22: No route to host

2020-11-29 22:31:14 3336