Neko、-CSDN博客

原创 ElasticSearch知识点汇总

什么是全文搜索引擎？百度百科中的定义：全文搜索引擎是目前广泛应用的主流搜索引擎。它的工作原理是计算机索引程序通过扫描文章中的每一个词，对每一个词建立一个索引，指明该词在文章中出现的次数和位置，当用户查询时，检索程序就根据事先建立的索引进行查找，并将查找的结果反馈给用户的检索方式。这个过程类似于通过字典中的检索字表查字的过程。为什么要使用Elasticsearch而不是数据库库?因为在我们商城中的数据，将来会非常多，所以采用以往的模糊查询，模糊查询前置配置，会放弃索引，导致商品查询是全表扫面，在百

2021-04-18 13:44:07 297 1

原创 3.Spark SQL——入门

3.Spark SQL——入门Spark SQL简介Spark SQL允许Spark执行用SQL, HiveQL或者Scala表示的关系查询。这个模块的核心是一个新类型的RDD-SchemaRDD。SchemaRDDs由行对象组成，行对象拥有一个模式（scheme）来描述行中每一列的数据类型。SchemaRDD与关系型数据库中的表很相似。可以通过存在的RDD、一个Parquet文件、一个JSON数据库或者对存储在Apache Hive中的数据执行HiveSQL查询中创建。Spark仓库的github地

2021-03-09 16:41:23 235

原创 2.Spark RDD

Spark RDD弹性分布式数据集弹性分布式数据集(RDD)是Spark的基本数据结构。它是一个不可变的分布式对象集合。 RDD中的每个数据集划分为逻辑分区，可以在集群的不同节点上计算。 RDD可以包含任何类型的Python，Java或Scala对象，包括用户定义的类。形式上，RDD是只读的，分区的记录集合。 RDD可以通过对稳定存储器或其他RDD上的数据的确定性操作来创建。 RDD是可以并行操作的元件的容错集合。有两种方法来创建RDD :并行化驱动程序中的现有集合引用外部存储系统中的数据集，

2021-03-09 16:40:08 175

原创 1.Spark简介

Apache Spark简介Apache Spark是一种快速的集群计算技术，专为快速计算而设计。它基于Hadoop MapReduce，它扩展了MapReduce模型，以有效地将其用于更多类型的计算，包括交互式查询和流处理。 Spark的主要特性是它的内存中集群计算，提高了应用程序的处理速度。Spark旨在涵盖各种工作负载，如批处理应用程序，迭代算法，交互式查询和流式处理。除了在相应系统中支持所有这些工作负载之外，它还减少了维护单独工具的管理负担。Apache Spark的特性Apache Spa

2021-03-09 16:37:39 211

原创工作中用到的Linux命令（笔记）

这里只记录了本人工作中遇到的不太熟悉的命令0.0，后续会持续更新下载文件wget url解压文件unzip data.zip -d data[data是指定的文件夹名称]快速查找grep -n[显示行数] value[要匹配的值] data.xmlcat显示指定行【一】从第3000行开始，显示1000行。即显示3000~3999行cat filename | tail -n +3000 | head -n 1000 【二】显示1000行到3000行cat filenam

2021-02-20 18:04:04 78

原创 local dynamodb的本地操作（笔记）

创建表aws dynamodb create-table --table-name Music --attribute-definitions AttributeName=Artist,AttributeType=S AttributeName=SongTitle,AttributeType=S --key-schema AttributeName=Artist,KeyType=HASH AttributeName=SongTitle,KeyType=RANGE --provisioned-through

2021-01-29 16:25:46 404

原创 MySQL中的那些锁

概述相对其他数据库而言，MySQL的锁机制比较简单，其最显著的特点是不同的存储引擎支持不同的锁机制。MySQL大致可归纳为以下3种锁：表级锁：开销小，加锁快；不会出现死锁；锁定粒度大，发生锁冲突的概率最高，并发度最低。行级锁：开销大，加锁慢；会出现死锁；锁定粒度最小，发生锁冲突的概率最低，并发度也最高。页面锁：开销和加锁时间界于表锁和行锁之间；会出现死锁；锁定粒度界于表锁和行锁之间，并发度一般行锁行锁的劣势：开销大；加锁慢；会出现死锁行锁的优势：锁的粒度小，发生锁冲突的概率低；处理并发的

2021-01-26 14:16:40 144

原创 LeetCode 平衡二叉树110

问题描述：给定一个二叉树，判断它是否是高度平衡的二叉树。本题中，一棵高度平衡二叉树定义为：一个二叉树每个节点的左右两个子树的高度差的绝对值不超过 1 。示例 1：输入：root = [3,9,20,null,null,15,7]输出：true示例 2：输入：root = [1,2,2,3,3,null,null,4,4]输出：false示例 3：输入：root = []输出：true提示：树中的节点数在范围 [0, 5000] 内-104 <= Node.val &lt

2021-01-21 19:45:53 74

原创 LeetCode 相同的树100

问题描述：给定两个二叉树，编写一个函数来检验它们是否相同。如果两个树在结构上相同，并且节点具有相同的值，则认为它们是相同的。示例 1:输入: 1 1 / \

2021-01-21 18:52:59 78

原创 LeetCode 二叉树的最大深度104

问题描述：给定一个二叉树，找出其最大深度。二叉树的深度为根节点到最远叶子节点的最长路径上的节点数。说明: 叶子节点是指没有子节点的节点。示例：给定二叉树 [3,9,20,null,null,15,7]，3/ 9 20/ 15 7返回它的最大深度 3 。解答如下：class Solution { public int maxDepth(TreeNode root) { int leftDepth = 0; int rightDepth

2021-01-21 17:27:30 75

原创算法题笔记:一个骰子，怎么等概率地从9个人中选出两个人

该问题是均匀随机数发生器问题，均匀随机数发生器1-6生产出1-9由于骰（tóu）子各个面出现的概率相同，每个数字产生的概率均为1/6，详细步骤如下：推算过程学习参考https://blog.csdn.net/a763470525/article/details/82015006https://blog.csdn.net/shayne000/article/details/96838131...

2021-01-19 22:55:54 2934 1

原创 sql笔记1：sql执行优先级和casewhen用法、sql执行顺序

MySQL 语句中执行优先级——and比or高例：select * from table where 条件1 AND 条件2 OR 条件3等价于select * from table where ( 条件1 AND 条件2 ) OR 条件3select * from table where 条件1 AND 条件2 OR 条件3 AND 条件4等价于select * from table where ( 条件1 AND 条件2 ) OR ( 条件3 AND 条件4 )sql执行顺序

2021-01-14 18:42:26 3413

原创 reuqest采用get方式下载文件注意事项

备忘一下当使用requests的get下载大文件/数据时，建议使用使用stream模式。当把get函数的stream参数设置成False时，它会立即开始下载文件并放到内存中，如果文件过大，有可能导致内存不足。当把get函数的stream参数设置成True时，它不会立即开始下载，当你使用iter_content或iter_lines遍历内容或访问内容属性时才开始下载。需要注意一点：文件没有下载之前，它也需要保持连接。iter_content：一块一块的遍历要下载的内容iter_lines：一行一行的

2021-01-14 17:28:16 488

原创策略+工厂模式替代if else

备忘一下1.原代码使用的if elsepublic interface IPay { void pay(); } @Servicepublic class AliaPay implements IPay { @Override public void pay() { System.out.println("===发起支付宝支付==="); } } @Servicepublic class WeixinPay i

2021-01-05 18:49:16 234 1

原创 DynamoDB高级接口

介绍WS SDK for Java提供了 DynamoDBMapper 类，可以将代码中的类和DynamoDB的表进行映射。在使用DynamoDBMapper之前，应该先将DynamoDB表中的项目与相应的对象实例定义关系。利用DynamoDB来操作表。**注意：**DynamoDBMapper可以访问表，执行创建、读取和删除（这里指的是项目，并不是可以对表进行这些操作），要想对表进行操作只能使用DynamoDB的低级接口。支持的数据类型Amazon DynamoDB 支持以下基元 Java 数据类

2020-12-07 13:44:00 294

原创使用Java对dynamodb进行增删改查等操作（dynamodb的低级接口）

import com.amazonaws.client.builder.AwsClientBuilder;import com.amazonaws.services.dynamodbv2.AmazonDynamoDB;import com.amazonaws.services.dynamodbv2.AmazonDynamoDBClientBuilder;import com.amazonaws.services.dynamodbv2.document.*;import com.amazonaws.s

2020-12-04 10:14:34 941

原创 centos7中安装docker

1、sudo yum install -y yum-utils device-mapper-persistent-data lvm2 安装所需的软件包。yum-utils 提供了 yum-config-manager ，并且 device mapper 存储驱动程序需要 device-mapper-persistent-data 和 lvm2。2、sudo yum-config-manager --add-repo http://mirrors.aliyun.com/docker-ce/linux/

2020-11-30 16:24:41 381

原创出现异常：Error parsing parameter ‘--item‘: Expected: ‘=‘, received: ‘‘‘ for input:

当我往dynamodb中的表放入数据时，在windows命令行中编写的命令报错：Error parsing parameter ‘–item’: Expected: ‘=’, received: ‘’’ for input:‘{Artist:{S:NO One You Know},SongTitle:{S:Call Me Today},AlbumTitle:{S:Somewhat Famous}}’put数据的语句是：aws dynamodb put-item --table-name Music

2020-11-20 15:45:44 949

原创异常：An error occurred (UnrecognizedClientException) when calling the UpdateTimeToLive operation

当我创建dynamodb表时出现这个异常：An error occurred (UnrecognizedClientException) when calling the UpdateTimeToLive operation: The security token included in the request is invalid创建表的语句是aws dynamodb create-table \ --table-name activity \ --attribute-definiti

2020-11-20 15:27:02 2049

原创 DynamoDB基础

什么是DynamoDBAmazon DynamoDB 是一项完全托管的 NoSQL 数据库服务，提供快速而可预测的性能，能够实现无缝扩展。 Amazon DynamoDB 可以存储和检索任何大小的数据，并处理任何级别的请求流量DynamoDB特性无缝拓展DynamoDB可以实现水平拓展，当表存储大小或访问量超过一定阈值时，DynamoDB会自动且无缝地把一个表扩展到多个（几百个）服务器上以满足使用请求。性能高速可期AWS DynamoDB服务运行在固态盘上面，可以在任何扩展级别下维持一

2020-11-19 19:45:23 1107

转载连接查询，条件在on和where后面的区别

1、 on条件是在生成临时表时使用的条件，它不管on中的条件是否为真，都会返回左边表中的记录。2、where条件是在临时表生成好后，再对临时表进行过滤的条件。这时已经没有left join的含义（必须返回左边表的记录）了，条件不为真的就全部过滤掉。...

2020-11-02 13:27:04 351

转载阻塞和非阻塞、同步和异步的概念

“阻塞”与"非阻塞"与"同步"与“异步"不能简单的从字面理解，提供一个从分布式系统角度的回答。1.同步与异步同步和异步关注的是消息通信机制 (synchronous communication/ asynchronous communication)所谓同步，就是在发出一个调用时，在没有得到结果之前，该调用就不返回。但是一旦调用返回，就得到返回值了。换句话说，就是由调用者主动等待这个调用的结果。而异步则是相反，调用*在发出之后，这个调用就直接返回了，所以没有返回结果。换句话说，当一个异步过程调用发

2020-10-31 10:15:44 1031 3

Merlin的博客