2020年10月_jialun0116

原创 Leetcode刷题笔记 381. O(1) 时间插入、删除和获取随机元素 - 允许重复

@[TOC](381. O(1) 时间插入、删除和获取随机元素 - 允许重复)时间：2020年10月31日知识点：数组、哈希表题目链接：https://leetcode-cn.com/problems/insert-delete-getrandom-o1-duplicates-allowed/题目设计一个支持在平均时间复杂度 O(1) 下，执行以下操作的数据结构。注意: 允许出现重复元素。insert(val)：向集合中插入元素 val。remove(val)：当 val 存在时，从集合

2020-10-31 22:57:53 146

原创 Leetcode刷题笔记 463. 岛屿的周长

463. 岛屿的周长时间：2020年10月30日知识点：模拟、dfs题目链接：https://leetcode-cn.com/problems/sum-root-to-leaf-numbers/题目给定一个包含 0 和 1 的二维网格地图，其中 1 表示陆地 0 表示水域。网格中的格子水平和垂直方向相连（对角线方向不相连）。整个网格被水完全包围，但其中恰好有一个岛屿（或者说，一个或多个表示陆地的格子相连组成的岛屿）。岛屿中没有“湖”（“湖” 指水域在岛屿内部且不和岛屿周围的水相连）。格子是边长

2020-10-30 20:21:45 83

原创小红书2020校招数据分析笔试题卷四解析

小红书2020校招数据分析笔试题卷四解析单选题多选题填空题简答题题目来自小红书2020校招数据分析笔试题卷四单选题如果在小红书商城中某一商户给一产品定价，如果按照全网最低价500元定价，那么客人就一定会选择在此购买；价格每增加1元，客人的流失的可能性就会增加1%。那么该商户给客人报出最优价格为550元题解：这里500元为成本，总利润 = 单件利润 * 成交数量设定价为x 总利润 = (x -500) * (1 - (x - 500)/100 ) = -1/100x2 +11x

2020-10-30 15:03:34 3404

原创 Leetcode刷题笔记 129. 求根到叶子节点数字之和

129. 求根到叶子节点数字之和时间：2020年10月29日知识点：递归、二叉树题目链接：https://leetcode-cn.com/problems/sum-root-to-leaf-numbers/题目给定一个二叉树，它的每个结点都存放一个 0-9 的数字，每条从根到叶子节点的路径都代表一个数字。例如，从根到叶子节点路径 1->2->3 代表数字 123。计算从根到叶子节点生成的所有数字之和。说明: 叶子节点是指没有子节点的节点。示例 1: 输入:[1,2,3]

2020-10-29 16:18:47 90

原创数据分析之假设检验

数据分析之假设检验1. 检验总体的均值是否可靠——Z检验1.1 背景1.2 流程1.2.1 解决方法之假设检验1.2.2 解决方法之反证法1.2.3 悖论1.2.4 P-value与显著性水平1.3 假设检验步骤总结1.4 验证——Z检验1.4.1 代码1.5 单边拒绝域1.5.1 代码2. 单样本t检验2.1 背景2.2 步骤2.3 代码2.4 自由度3. 成对数据的t检验3.1 背景3.2 步骤3.3 代码4. 比率检验4.1 背景4.2 步骤4.3 代码5. A/B测试1. 检验总体的

2020-10-29 15:15:03 1966

原创 numpy中std()和pandas中std()的区别

numpy中std和pandas中std的区别偏差 (deviation): 样本中各数据比平均值大多少或小多少方差 (deviation): 将偏差进行平方再取平均标准差(standard deviation):标准差也即偏差的均方根值。也就是所有数减去平均值,它的平方和除以数的个数（或个数减一),再把所得值开根号,就是1/2次方,得到的数就是这组数的标准差。计算得出的默认标准偏差类型在 numpy 的 .std() 和 pandas 的 .std() 函数之间是不同的

2020-10-29 14:31:14 807

原创 Leetcode刷题笔记 1207. 独一无二的出现次数

1207. 独一无二的出现次数知识点：数组、时间：2020年10月28日题目链接：https://leetcode-cn.com/problems/unique-number-of-occurrences/题目给你一个整数数组 arr，请你帮忙统计数组中每个数的出现次数。如果每个数的出现次数都是独一无二的，就返回 true；否则返回 false。示例 1：输入：arr = [1,2,2,1,1,3]输出：true解释：在该数组中，1 出现了 3 次，2 出现了 2 次，3 只出现了

2020-10-28 16:22:42 88

原创数据分析面试总结

数据分析面试总结1. 介绍下hadoop的底层2. 数据库三大范式3. 数据库四大原则4. 简述快排及复杂度5. 简述链表和数组区别6. 解决哈希冲突的方法7. 简述sql中left join、right join 和cross join1. 介绍下hadoop的底层hdfs 分布式存储扩展性&容错性&海量数量存储数据会拆成小块 128MB 一个block数据会冗余默认3个副本name node负责客户端请求的响应负责元数据（文件的名称、副本系数、Block存

2020-10-27 12:23:36 469

原创 Leetcode刷题笔记 144. 二叉树的前序遍历

144. 二叉树的前序遍历时间：2020年10月27日知识点：dfs、stack题目链接：https://leetcode-cn.com/problems/binary-tree-preorder-traversal/题目给定一个二叉树，返回它的前序遍历。示例1输入： [1,null,2,3] 1 \ 2 / 3输出：[1,2,3]进阶: 递归算法很简单，你可以通过迭代算法完成吗？思路递归函数以根节点 - 左节点 - 右节点顺序

2020-10-27 10:05:50 107

原创 Spark Streaming(组件、updateStateByKey、Windows)总结

Spark Streaming1. SparkStreaming 是什么2. 实时计算框架对比3. Spark Streaming组件4. Spark Streaming 编码实战(无状态)4.1 Spark Streaming编码步骤：4.2 利用Spark Streaming实现WordCount5. Spark Streaming的状态操作5.1 updateStateByKey5.2 案例：updateStateByKey5.3 Windows5.4 案例 windows1. SparkStrea

2020-10-26 18:35:22 674

原创 Leetcode刷题笔记 1365. 有多少小于当前数字的数字

1365. 有多少小于当前数字的数字知识点：数组、排序时间：2020年10月26日题目链接：https://leetcode-cn.com/problems/how-many-numbers-are-smaller-than-the-current-number/题目给你一个数组 nums，对于其中每个元素 nums[i]，请你统计数组中比它小的所有数字的数目。换而言之，对于每个 nums[i] 你必须计算出有效的 j 的数量，其中 j 满足 j != i 且 nums[j] < nums

2020-10-26 15:37:09 83

转载统计特征、概率分布、降维、过采样/欠采样、贝叶斯统计方法

统计特征、概率分布、降维、过采样/欠采样、贝叶斯统计方法1. 特征统计2. 概率分布3. 降维4. 过采样和欠采样5. 贝叶斯统计本文讲述了数据分析师应当了解的五个统计基本概念：统计特征、概率分布、降维、过采样/欠采样、贝叶斯统计方法。从高的角度来看，统计学是一种利用数学理论来进行数据分析的技术。柱状图这种基本的可视化形式，会给你更加全面的信息。但是，通过统计学我们可以以更富有信息驱动力和针对性的方式对数据进行操作。所涉及的数学理论帮助我们形成数据的具体结论，而不仅仅是猜测。1. 特征统计特征统计可

2020-10-26 12:55:05 1025

原创 Leetcode刷题笔记 845. 数组中的最长山脉

845. 数组中的最长山脉知识点：动态规划时间：2020年10月25日题目链接：https://leetcode-cn.com/problems/longest-mountain-in-array/题目我们把数组 A 中符合下列属性的任意连续子数组 B 称为 “山脉”：B.length >= 3存在 0 < i < B.length - 1 使得 B[0] < B[1] < … B[i-1] < B[i] > B[i+1] > … > B[

2020-10-25 21:53:19 145

原创 Leetcode刷题笔记 1024. 视频拼接

1024. 视频拼接知识点：动态规划、贪心时间：2020年10月24日题目链接：https://leetcode-cn.com/problems/video-stitching/题目你将会获得一系列视频片段，这些片段来自于一项持续时长为 T 秒的体育赛事。这些片段可能有所重叠，也可能长度不一。视频片段 clips[i] 都用区间进行表示：开始于 clips[i][0] 并于 clips[i][1] 结束。我们甚至可以对这些片段自由地再剪辑，例如片段 [0, 7] 可以剪切成 [0, 1] + [

2020-10-24 13:47:17 284

原创 Leetcode刷题笔记 234. 回文链表

234. 回文链表知识点：贪心、指针时间：2020年10月22日题目链接：https://leetcode-cn.com/problems/palindrome-linked-list/题目请判断一个链表是否为回文链表。示例 1:输入: 1->2输出: false示例 2:输入: 1->2->2->1输出: true进阶：你能否用 O(n) 时间复杂度和 O(1) 空间复杂度解决此题？解法与Leetcode刷题笔记 143. 重排链表类似找到原链表的

2020-10-23 14:38:36 156

原创 Leetcode刷题笔记 763. 划分字母区间

763. 划分字母区间知识点：贪心、指针时间：2020年10月22日题目链接：https://leetcode-cn.com/problems/partition-labels/题目字符串 S 由小写字母组成。我们要把这个字符串划分为尽可能多的片段，同一个字母只会出现在其中的一个片段。返回一个表示每个字符串片段的长度的列表。示例 1：输入S = “ababcbacadefegdehijhklij”输出：[9,7,8]解释：划分结果为 “ababcbaca”, “defegde”, “

2020-10-22 17:45:13 153

原创详解Spark SQL 底层实现原理(parser、analyzer、optimizer、physical plan)

Spark SQL 底层实现原理1. Spark SQL架构设计2. sparkSQL执行过程3. SQL举例4. Catalyst执行过程4.1 sql解析阶段Parser4.2 绑定逻辑计划Analyzer4.3 逻辑优化阶段Optimizer4.3.1 谓词下推4.3.2 列裁剪4.3.3 常量替换4.3.4 常量累加4.4 生成可执行的物理计划阶段Physical Plan4.5 代码生成阶段4.5.1 生成代码与sql解析引擎的区别5. Spark SQL 执行过程总结1. Spark SQL架

2020-10-22 15:08:52 3562

原创 Leetcode刷题笔记 925. 长按键入

925. 长按键入知识点：快慢指针、模拟时间：2020年10月21日题目链接：https://leetcode-cn.com/problems/long-pressed-name/题目你的朋友正在使用键盘输入他的名字 name。偶尔，在键入字符 c 时，按键可能会被长按，而字符可能被输入 1 次或多次。你将会检查键盘输入的字符 typed。如果它对应的可能是你的朋友的名字（其中一些字符可能被长按），那么就返回 True。示例 1：输入：name = “alex”, typed = “aale

2020-10-21 16:39:41 106

原创 Spark Sql 和DataFrame总结

Spark Sql 和DataFrame总结Spark Sql总结1. Spark SQL概述2. DataFrame2.1 DataFrame概述2.2 DataFrame vs RDD 区别2.3 Pandas DataFrame vs Spark DataFrame3. DataFrame 操作3.1 创建DataFrame3.1.1 从RDD创建DataFrame3.1.2 从CSV文件创建DataFrame3.1.3连接数据库3.1.4 读取json数据3.2 DataFrame操作3.3 综合

2020-10-21 15:40:57 1545 2

原创 Pandas之透视表pivot_table

Pandas之透视表pivot_table1. 什么是pivot_table2. 如何操作pivot_table2.1 加载数据2.2 index参数2.3 values参数2.4 columns参数2.5 aggfunc参数2.6 查询3. 总结1. 什么是pivot_table透视表是一种可以对数据动态排布并且分类汇总的表格格式 pivot_table(data, values=None, index=None, columns=None,aggfunc='mean', fill_value=

2020-10-21 00:04:56 1841 1

原创 Leetcode刷题笔记 143. 重排链表

143. 重排链表知识点：快慢指针、反转链表、合并链表、递归时间：2020年10月20日题目链接：https://leetcode-cn.com/problems/reorder-list/题目给定一个单链表 L：L0→L1→…→Ln-1→Ln ，将其重新排列后变为： L0→Ln→L1→Ln-1→L2→Ln-2→…你不能只是单纯的改变节点内部的值，而是需要实际的进行节点交换。示例1输入：给定链表 1->2->3->4输出：重新排列为 1->4->2-&g

2020-10-20 18:04:28 216

原创用spark中DataFrame对数据进行去重、缺失值处理、异常值处理

用spark中DataFrame对数据进行清洗1. 准备工作2. 数据去重3. 缺失值处理4. 异常值处理1. 准备工作配置环境import osfrom pyspark import SparkContext,SparkConffrom pyspark.sql import SparkSessionimport pyspark.sql.functions as fnJAVA_HOME = '/root/bigdata/jdk'PYSPARK_PYTHON = "/miniconda2/e

2020-10-20 14:53:07 9745 3

原创 Leetcode刷题笔记 844. 比较含退格的字符串

844. 比较含退格的字符串知识点：字符串时间：2020年10月19日题目链接：https://leetcode-cn.com/problems/backspace-string-compare/题目给定 S 和 T 两个字符串，当它们分别被输入到空白的文本编辑器后，判断二者是否相等，并返回结果。 # 代表退格字符。**注意：**如果对空文本输入退格字符，文本继续为空。示例 1：输入：S = “ab#c”, T = “ad#c”输出：true解释：S 和 T 都会变成 “ac”。示例

2020-10-19 18:34:15 105

原创 spark、spark-core、RDD 总结

1. Spark 概念1.1 什么是spark基于内存的分布式计算框架只负责算不负责存spark 在离线计算功能上类似于mapreduce的作用1.2 为什么用sparkMapReduce的缺点运行速度慢（没有充分利用内存）接口比较简单，仅支持Map Reduce功能比较单一只能做离线计算不适合迭代计算（如机器学习、图计算等等），交互式处理（数据挖掘）不适合流式处理（点击日志分析）需要一种灵活的框架可同时进行批处理、流式计算、交互式计算内存计算引擎，提供

2020-10-19 15:59:19 302

原创 Yarn、Spark架构及其对比

Yarn、Spark架构比对与执行流程YARN的架构Yarn执行流程spark 架构(Standalone模式)YARN的架构ResourceManager: RM 资源管理器整个集群同一时间提供服务的RM只有一个，负责集群资源的统一管理和调度处理客户端的请求： submit, kill监控我们的NM，一旦某个NM挂了，那么该NM上运行的任务需要告诉我们的AM来如何进行处理NodeManager: NM 节点管理器整个集群中有多个，负责自己本身节点资源管理和使用定时向RM汇报本节点

2020-10-19 15:34:25 828

原创 Hive综合案例(根据用户行为以及文章标签筛选出用户最感兴趣的标签)

Hive综合案例背景需求相关数据重要函数流程分析和代码1.上传数据并创建表2. 分组查询每个用户的浏览记录3. 查看每篇文章的关键词4. 找到用户查看文章的关键词并统计频率5. 将用户查看的关键字和频率合并成 key:value形式并按用户聚合6.将上面聚合结果转为map放入表中7.从表中通过key查询map中的值背景内容推荐数据处理需求根据用户行为以及文章标签筛选出**用户最感兴趣(阅读最多)**的标签相关数据用户数据 user_action.txtuser_id, article

2020-10-19 14:11:02 832

原创 Leetcode刷题笔记 19. 删除链表的倒数第N个节点

19. 删除链表的倒数第N个节点知识点：快慢指针、链表时间：2020年10月18日题目链接：https://leetcode-cn.com/problems/remove-nth-node-from-end-of-list/题目给定一个链表，删除链表的倒数第 n 个节点，并且返回链表的头结点。示例1输入：给定一个链表: 1->2->3->4->5, 和 n = 2.输出：当删除了倒数第二个节点后，链表变为 1->2->3->5.说明：给定的 n

2020-10-18 19:41:55 120

原创 Leetcode刷题笔记 N 皇后II

52. N 皇后II时间：2020年10月17日知识点：回溯题目链接：https://leetcode-cn.com/problems/n-queens-ii/题目n 皇后问题研究的是如何将 n 个皇后放置在 n×n 的棋盘上，并且使皇后彼此之间不能相互攻击。上图为 8 皇后问题的一种解法。给定一个整数 n，返回所有不同的 n 皇后问题的解决方案。每一种解法包含一个明确的 n 皇后问题的棋子放置方案，该方案中 ‘Q’ 和 ‘.’ 分别代表了皇后和空位。示例：输入：4输出：2解释

2020-10-17 13:05:30 86

原创 Leetcode刷题笔记 977. 有序数组的平方

977. 有序数组的平方知识点：数组、双指针、排序时间：2020年10月16日题目链接：https://leetcode-cn.com/problems/squares-of-a-sorted-array/题目给定一个按非递减顺序排序的整数数组 A，返回每个数字的平方组成的新数组，要求也按非递减顺序排序。示例1输入：[-4,-1,0,3,10]输出：[0,1,9,16,100]示例 2：输入：[-7,-3,2,3,11]输出：[4,9,9,49,121]提示：1 <= A.

2020-10-16 18:38:30 157

原创 spark-core 实战通过spark实现ip地址查询

spark-core 实战通过spark实现ip地址查询需求日志信息介绍思路代码关键点需求在互联网中，我们经常会见到城市热点图这样的报表数据，例如在百度统计中，会统计今年的热门旅游城市、热门报考学校等，会将这样的信息显示在热点图中。因此，我们需要通过日志信息（运行商或者网站自己生成）和城市ip段信息来判断用户的ip段，统计热点经纬度。日志信息介绍涉及到两个文件ip.txt 和 20090121000132.394251.http.formatip.txt 字段介绍ip段起始位置和 i

2020-10-16 18:10:44 638

原创 python中map、zip、dict的用法

python中map、zip、dict的用法map() 会根据提供的函数对指定序列做映射。第一个参数 function 以参数序列中的每一个元素调用 function 函数，返回包含每次 function 函数返回值的新列表。map(lambda x: x ** 2, [1, 2, 3, 4, 5]) # 使用 lambda 匿名函数 [1, 4, 9, 16, 25]zip() 函数用于将可迭代的对象作为参数，将对象中对应的元素打包成一个个元组，然后返回由这些元组组成的列表。a

2020-10-16 14:23:52 833

原创 Leetcode刷题笔记 344. 反转字符串

344. 反转字符串知识点：字符串时间：2020年10月8日题目链接：https://leetcode-cn.com/problems/reverse-string/题目编写一个函数，其作用是将输入的字符串反转过来。输入字符串以字符数组 char[] 的形式给出。不要给另外的数组分配额外的空间，你必须原地修改输入数组、使用 O(1) 的额外空间解决这一问题。你可以假设数组中的所有字符都是 ASCII 码表中的可打印字符。示例1输入：[“h”,“e”,“l”,“l”,“o”]输出：[“

2020-10-15 16:13:34 95

原创 Leetcode刷题笔记 116. 填充每个节点的下一个右侧节点指针

116. 填充每个节点的下一个右侧节点指针知识点：二叉树、队列时间：2020年10月15日题目链接：https://leetcode-cn.com/problems/populating-next-right-pointers-in-each-node/题目给定一个完美二叉树，其所有叶子节点都在同一层，每个父节点都有两个子节点。二叉树定义如下：struct Node { int val; Node *left; Node *right; Node *next;}填充它的每

2020-10-15 16:04:28 127

原创非正交多址 NOMA 和串形干扰删除 SIC

NOMA 和SIC非正交多址 NOMA串形干扰删除 SIC举例一举例二非正交多址 NOMA非正交多址接入，即Non Orthogonal Multiple Access采用非正交的功率来区分用户，用户之间的数据可以在同一个时隙，同一个频点上传输NOMA的子信道传输依然采用正交频分复用（OFDM）技术，子信道之间是正交的，互不干扰一个子信道上不再只分配给一个用户，而是多个用户共享，同一子信道上不同用户之间是非正交传输（即非正交多址）在发送端，对同一子信道上的不同用户采用功率复用技术进行发送，不

2020-10-14 19:21:54 7200 2

原创 Leetcode刷题笔记 1002. 查找常用字符

1002. 查找常用字符知识点：数组、模拟时间：2020年10月14日题目链接：https://leetcode-cn.com/problems/find-common-characters/题目给定仅有小写字母组成的字符串数组 A，返回列表中的每个字符串中都显示的全部字符（包括重复字符）组成的列表。例如，如果一个字符在每个字符串中出现 3 次，但不是 4 次，则需要在最终答案中包含该字符 3 次。你可以按任意顺序返回答案。示例1输入：[“bella”,“label”,“roller”]

2020-10-14 18:07:24 117

原创 HBase(分布式、面向列、非结构化数据存储，基础框架，设计和操作)总结

sqoop+HBase 总结1. sqoop 介绍2. HBase介绍3. 面向列数据库3.1 HBase 与传统关系数据库的区别3.2 Hive 和 Hbase区别3.3 Hbase 和传统关系型数据库区别4. Hbase 数据模型5. HBase基础架构1. sqoop 介绍作用数据交换工具可以实现数据在mysql oracle<==> hdfs之间互相传递原理通过写sqoop 命令把sqoop命令翻译成mapreduce 通过mapreduce连接各种数据源

2020-10-14 10:33:46 2921

原创 Leetcode刷题笔记 24. 两两交换链表中的节点

24. 两两交换链表中的节点知识点：链表、递归、迭代时间：2020年10月13日题目链接：https://leetcode-cn.com/problems/swap-nodes-in-pairs/题目给定一个链表，两两交换其中相邻的节点，并返回交换后的链表。你不能只是单纯的改变节点内部的值，而是需要实际的进行节点交换。示例1输入：head = [1,2,3,4]输出：[2,1,4,3]示例2输入：head = []输出：[]示例3输入：head = [1]输出：[

2020-10-13 16:31:36 149

原创推荐系统实战总结一

推荐系统总结一1. 什么是推荐系统2. 推荐系统实验方法2.1 离线实验2.2 用户调查2.3 在线实验3.评测指标3.1 用户满意度3.2 预测准确度3.3 覆盖率3.4 多样性3.5 新颖性3.6 惊喜度3.7 信任度3.8 实时性3.9 健壮性3.10 商业目标3.11 总结3.12、评测维度1. 什么是推荐系统在这个时代，无论是信息消费者还是信息生产者都遇到了很大的挑战:作为信息消费者，如何从大量信息中找到自己感兴趣的信息是一件非常困难的事情;作为信息生产者，如何让自己生产的信息脱颖而出，

2020-10-13 15:42:06 951

原创 HDFS与Hive实战 + 滴滴出行数据分析

HDFS与Hive实战 + 滴滴出行数据分析1.HDFS1.1 分布式文件系统1.2 HDFS的Shell命令行1.3 启动Hadoop集群1.4 大数据环境清单2.数据仓库2.1 数据仓库与数据库区别3.Hive3.1 终端连接Hive3.2 Hive操作命令3.3 Hive函数4. Zeppelin5.滴滴出行数据分析5.1 架构图5.2 日志数据集介绍5.3 构建数据仓库5.4 ods创建用户打车订单表5.5 创建分区5.6 上传到对应分区5.7 数据预处理5.8 订单分析5.8.1 app层建表5

2020-10-13 13:28:32 4666 2

原创 Leetcode刷题笔记 530. 二叉搜索树的最小绝对差

二叉搜索树的最小绝对差知识点：二叉树、中序遍历时间：2020年10月12日题目链接：https://leetcode-cn.com/problems/minimum-absolute-difference-in-bst//题目给你一棵所有节点为非负值的二叉搜索树，请你计算树中任意两节点的差的绝对值的最小值。示例1输入： 1 \ 3 / 2输出：1解释：最小绝对差为 1，其中 2 和 1 的差的绝对值为 1（或者 2 和 3）。思路这是一棵二

2020-10-12 21:02:26 96

阿里大数据之路——关键总结版.pdf

推荐系统的总结——持续更新.md

空空如也