2021年05月_hammring

原创 Leetcode 88. 合并两个有序数组

1.题目描述给你两个有序整数数组nums1 和 nums2，请你将 nums2 合并到nums1中，使 nums1 成为一个有序数组。初始化nums1 和 nums2 的元素数量分别为m 和 n 。你可以假设nums1 的空间大小等于m + n，这样它就有足够的空间保存来自 nums2 的元素。示例 1：输入：nums1 = [1,2,3,0,0,0], m = 3, nums2 = [2,5,6], n = 3输出：[1,2,2,3,5,6]示例 2：输入：nums1...

2021-05-27 15:09:25 100

原创面试题：大数据开发面试题

1.hive中常见的文件格式有哪几种，为什么使用这几种文件格式2.scala中的闭包是什么3.shell中$的作用4.hashmap中扩容机制，为什么hashmap是线程不安全的？5.spark中怎么计算task的数量6.hbase中rowkey的设计原则，7.rowkey是设计为int型还是string型8.habase的设计方法是什么样的，使用列簇的存储方式有什么好处？9.在一个有序数组中查找目标值，有几种方法...

2021-05-21 09:41:41 159

原创 linux命令$详解

$n的作用：$$:Shell本身的pid$!:shell最后运行的process的PID$?:最后运行命令的结束代码（返回值）$-:使用set命令设定的flag一览$*:所有参数列表。如"$*"用「"」括起来的情况、以"$1 $2 … $n"的形式输出所有参数。$@:所有参数列表。如"$@"用「"」括起来的情况、以"$1 $2 … $n"的形式输出所有参数。$#:添加到Shell的参数个数$0:Shell本身的文件名$1~$n:添加Shell的各参数值。$1是第一个参..

2021-05-20 19:03:56 975

原创 Flume基础：source,sink,channel

Flume是向Hadoop批量导入基于事件的海量数据。一个典型的例子就是从一组web服务器中收集日志文件，然后把这些文件中的日志事件转移到一个新的HDFS汇总文件中作进一步处理，其终点通常被称为HDFS.Flume代理是由持续运行的source(数据源)、sink(数据目标)以及channel(用于连接sink和source)构成的java进程。Flume的source产生事件，并将其传送给channnel,channel存储这些事件直至转发给sink。可以把source-channel-sink.

2021-05-14 17:48:19 692

原创 Spark中的Transformation和action算子

RDD中的所有转换都是延迟加载的，也就是说，他们并不会直接计算结果。相反的，他们只是记住这些应用到基础数据集（例如一个文件）上的转换动作。只有当发生一个要求返回结果给Driver的动作时，这些转换才会真正运行。这种设计让Spark更加有效率的运行。常见的Transmation:map（func）返回一个新的RDD,该RDD由每一个输入元素经过func函数转换后组成filter(func) 返回一个新的RDD,该RDD由经过func函数计算后返回值为true的输入元素组成flatMap(fu

2021-05-09 00:36:30 189

原创数仓之事实表和维度表

维度表：维度表示你对数据进行分析时所用的一个量，比如你要分析产品销售情况，你可以选择按区域来划分，或者选择按类别进行分析。这样的按。。。。分析就构成了一个维度。事实表：数据聚合后依据某个维度生成的结果表，事实表是用来储存主题的主干内容的，以日常工作内容举例，工作量可能具有如下属性：工作日期，人员，工作时长，加班时长，工作性质，是否外勤，工作内容，审核人，其中工作时长，加班时长为主干，是工作量主题的基本内容。而工作日期，人员，工作性质，是否外勤是可以被分类的，如日期可以分为年-月-日，所以把能够.

2021-05-09 00:15:36 743

原创面试：HashMap的原理

从leetcode137.只出现一次的数字 || 来看HashMap的原理进行讲解。1.题目描述给你一个整数数组nums ，除某个元素仅出现一次外，其余每个元素都恰出现三次。请你找出并返回那个只出现了一次的元素。示例 1：输入：nums = [2,2,3,2]输出：3示例 2：输入：nums = [0,1,0,1,0,1,99]输出：992.解题思路1.)使用HashMap用<key,value>的形式存储键值对，一个键值对为一个entry.把整个数组.

2021-05-03 11:26:26 134

原创 Leetcode 377. 组合总和 Ⅳ

1.题目描述给你一个由不同整数组成的数组 nums ，和一个目标整数 target 。请你从 nums 中找出并返回总和为 target 的元素组合的个数。题目数据保证答案符合 32 位整数范围。示例 1：输入：nums = [1,2,3], target = 4输出：7解释：所有可能的组合为：(1, 1, 1, 1)(1, 1, 2)(1, 2, 1)(1, 3)(2, 1, 1)(2, 2)(3, 1)请注意，顺序不同的序列被视作不同的组合。示例 2：输入

2021-05-01 00:24:45 105 1

hammring的博客