- 博客(41)
- 资源 (47)
- 收藏
- 关注
RSS订阅原创 java常见队列及应用详解
1. java常见队列：(1) ArrayBlockingQueue： 一个基于数组结构的有界阻塞队列, FIFO(先进先出)。(2) LinkedBlockingQueue： 一个基于链表结构的阻塞队列, 此队列按FIFO (先进先出) 排序元素, 吞吐量通常要高于ArrayBlockingQueue, 静态工厂方法 Executors.newFixedThreadPool() 使用了这个队列。(3) SynchronousQu...
2020-06-24 10:32:06
584
转载 几种常见的数据分区方法
参考文章：几种常见的数据分区方法数据分区方法数据的分区方法（Partitioning methods）大概有以下几种：垂直分区（Vertical partitioning） 水平分区（Horizontal partitioning） 混合分区（Hybrid partitioning）垂直分区（Vertical partitioning）垂直分区需要创建一些较少列的表，每张表存储源表的部分列，以此达到数据的分区。比如我们有一张名为iteblog表，如下：CREATE TA..
2020-06-22 16:17:44
4549
3
转载 CentOS 7 yum 安装 Nginx
参考文章：CentOS 7 yum 安装 Nginx安装步骤添加Nginx到YUM源sudo rpm -Uvh http://nginx.org/packages/centos/7/noarch/RPMS/nginx-release-centos-7-0.el7.ngx.noarch.rpm安装Nginxsudo yum install -y nginx启动Nginxsudo systemctl start nginx.service如果一切进展顺利的话，现在你可以通过
2020-06-22 14:28:14
518
1
转载 Shell字符串截取
参考文章：Shell字符串截取（非常详细）假设有变量 var=http://www.aaa.com/123.htm.1. # 号截取，删除左边字符，保留右边字符。 1 echo ${var#*//} 其中 var 是变量名，# 号是运算符，*// 表示从左边开始删除第一个 // 号及左边的所有字符即删除 http://结果是 ：www.aaa.com/123.htm2. ## 号截取，删除左边字符，保留右边字符。 1 .
2020-06-22 11:23:37
3480
原创 Linux批量添加或修改文件后缀名称
1. 当前及其子目录下的文件添加后缀.oldfind . -type f | awk -F "." '{print $2}' | xargs -i -t mv ./{} ./{}.old2. 将当前及其子目录下".old"的文件的后缀修改为".old2"find ./ -name "*.old" -type f | awk -F "." '{print $2}' | xargs -i -t mv ./{}.old ./{}.old2...
2020-06-22 10:42:10
4101
原创 TPC-DS介绍
参考文章：TPC-DS介绍TPC-DS介绍TPC-DS是一个面向决策支持系统(decision support system)的包含多维度常规应用模型的决策支持基准，包括查询(queries)与数据维护。此基准对被测系统(System Under Test’s, SUT)在决策支持系统层面上的表现进行的评估具有代表性。此基准体现决策支持系统以下特性：测试大规模数据 对实际商业问题进行解答 执行需求多样或复杂的查询（如临时查询，报告，迭代OLAP，数据挖掘） 以高CPU和IO负载为
2020-06-19 16:38:26
6106
转载 MySQL的事务实现原理
参考文章：MySQL的事务实现原理1 开篇事务的目的是要实现可靠性以及并发处理。可靠性：数据库要保证当insert或update操作时抛异常或者数据库crash的时候需要保障数据的操作前后的一致，想要做到这个，我需要知道我修改之前和修改之后的状态，所以就有了undo log和redo log。并发处理：也就是说当多个并发请求过来，并且其中有一个请求是对数据修改操作的时候会有影响，为了避免读到脏数据，所以需要对事务之间的读写进行隔离，至于隔离到啥程度得看业务系统的场景了，实现这个就得用MyS
2020-06-18 17:06:56
1918
转载 mysql的索引底层原理详解
参考文章：mysql的索引底层原理什么是索引概念：索引是提高mysql查询效率的数据结构。总的一句话概括就是索引是一种数据结构。数据库查询是数据库的最主要功能之一。设计者们都希望查询数据的速度能尽可能的快，因此数据库系统的设计者会从查询算法的角度进行优化。最基本的查询算法当然是顺序查找（linear search），这种复杂度为O(n)的算法在数据量很大时显然是糟糕的，好在计算机科学的发展提供了很多更优秀的查找算法，例如：有顺序查找、折半查找、快速查找等。但是每种查找算法都只能应用于特定
2020-06-18 16:39:43
522
转载 MySQL 四种事务隔离级别详解介绍(二)
参考文章：MySQL 四种事务隔离级别详解介绍事务特性ACID中，隔离性最为复杂，它指的是事务与事务之间不会互相影响，一个事务的中间状态不会被其他事务感知。事务的隔离性由低到高分为：Read uncommitted 、Read committed 、Repeatable read 、Serializable。不同的隔离性在并发事务下会引起不同的读现象：脏读、不可重复读和幻读。一、读现象及其区别1、脏读（读取了未提交的数据） 脏读又称无效数据的读出，是指在数据库访问中，事务T1将某一值修改，
2020-06-18 16:18:42
229
转载 MySQL和PostgreSQL在多表连接算法上的差异
参考文章：MySQL和PostgreSQL在多表连接算法上的差异我们知道mysql没有hash join，也没有merge join，所以在连接的时候只有一种算法nest loop join，nl join使用驱动表的结果集作为外表到内表中查找每一条记录，如果有索引，就会走索引扫描，没有索引就会全表扫。nl join并不能适用所有场景，例如两个表都是很大的表的等值连接，这种场景是hash join所擅长的，而且是生产环境中最常见的场景。mysql在这个时候就显得力不从心，所以在使用mysql时我们可
2020-06-18 16:15:07
354
转载 为什么MySQL的索引要使用B+树，而不是其它树？
参考文章：面试官：为什么MySQL的索引要使用B+树，而不是其它树？比如B树？InnoDB的一棵B+树可以存放多少行数据？答案：约2千万为什么是这么多？因为这是可以算出来的，要搞清楚这个问题，先从InnoDB索引数据结构、数据组织方式说起。计算机在存储数据的时候，有最小存储单元，这就好比现金的流通最小单位是一毛。在计算机中，磁盘存储数据最小单元是扇区，一个扇区的大小是512字节，而文件系统（例如XFS/EXT4）的最小单元是块，一个块的大小是4k，而对于InnoDB存储引擎也有自己的
2020-06-18 15:35:13
203
转载 B树、B-树、B+树、B*树的定义和区分
参考文章：B树、B-树、B+树的定义和区分B树另一个名字就是二叉树索引。每个节点的儿子节点都是两个，左边是比该节点小的，右边是比该节点大的，这两个索引的儿子节点同样是这种情况 所有的节点都是一个关键字正常情况来说如下：搜索的时候是从根节点开始搜索的。比如搜索的是35，则直接命中。如果搜索“28“，那就是比35小，左边节点，“17”，“28”比“17”大，则右边节点，直到命中。但是这种结构在进行节点删除等操作之后有可能出现以下情况：这时候虽然也是索引，但是搜索已经是线性的
2020-06-18 15:23:42
557
转载 MySQL 四种事务隔离级别详解介绍
参考文章：面试问烂的 MySQL 四种隔离级别，看完吊打面试官！什么是事务事务是应用程序中一系列严密的操作，所有操作必须成功完成，否则在每个操作中所作的所有更改都会被撤消。也就是事务具有原子性，一个事务中的一系列的操作要么全部成功，要么一个都不做。事务的结束有两种，当事务中的所以步骤全部成功执行时，事务提交。如果其中一个步骤失败，将发生回滚操作，撤消撤消之前到事务开始时的所以操作。另外，这篇分布式事务不理解？一次给你讲清楚！推荐大家阅读。事务的 ACID事务具有四个特征：原子性（ Ato
2020-06-18 15:00:39
11447
转载 MySQL 是如何解决幻读的
参考文章：MySQL 到底是怎么解决幻读一、什么是幻读在一次事务里面，多次查询之后，结果集的个数不一致的情况叫做幻读。而多出来或者少的哪一行被叫做幻行。二、为什么要解决幻读在高并发数据库系统中，需要保证事务与事务之间的隔离性，还有事务本身的一致性。三、MySQL 是如何解决幻读的如果你看到了这篇文章，那么我会默认你了解了脏读 、不可重复读与可重复读。1. 多版本并发控制（MVCC）（快照读/一致性读）多数数据库都实现了多版本并发控制，并且都是靠保存数据快照来实现的。以 Inn
2020-06-18 14:43:17
418
原创 SQLite、MySQL与PostgreSQL三个关系数据库的比较
参考文章：SQLite、MySQL与PostgreSQL三个关系数据库的比较关系数据库管理系统（RDBMS）是世界上使用最广泛的数据库管理系统之一。基于Edgar F. Codd发明的关系模型，这些数据库以表格的形式存储数据，并允许通过建立表格之间的关系来链接数据。这导致了一种有效的数据存储机制，其中数据可以从数据库中的其他地方引用。在本文中，我们比较 了市场上 最流行的三种开源RDBMS。该比较深入研究了体系结构，业务连续性，用例和支持方面的差异，这些差异可帮助您在为应用程序执行数据库系统时做出明
2020-06-18 14:12:35
2062
转载 PostgreSQL中事务的隔离级别
参考文章：PostgreSQL中事务的隔离级别数据库事务的隔离级别有以下四种：（1）读未提交（READ UNCOMMITTED）（2）读已提交（READCOMMITTED）（3）重复读（REPEATABLE READ）（4）串行化（SERIALIZABLE）对于并发事务，我们不希望发生的行为如下：（1）脏读：一个事务读取了另一个未提交的事务写入的数据。（2）不可重复读：一个事务重新读取前面读取过的数据时，发现该数据已改变。（3）幻读：一个事务开始后，需要根据数据库.
2020-06-18 09:55:03
3448
转载 PostgreSql简介
参考文章：PostgreSql简介1.什么是PostgreSql：PostgreSQL是一个功能强大的开源对象关系型数据库系统，他使用和扩展了SQL语言，并结合了许多安全存储和扩展最复杂数据工作负载的功能。PostgreSQL的起源可以追溯到1986年，作为加州大学伯克利分校POSTGRES项目的一部分，并且在核心平台上进行了30多年的积极开发。PostgresSQL凭借其经过验证的架构，可靠性，数据完整性，强大的功能集，可扩展性以及软件背后的开源社区的奉献精神赢得了良好的声誉，以始终如一地提供
2020-06-17 17:00:07
730
转载 Spark2.x RPC解析
参考文章：Spark2.x RPC解析1、概述在Spark中很多地方都涉及网络通信，比如Spark各个组件间的消息互通、用户文件与Jar包的上传、节点间的Shuffle过程、Block数据的复制与备份等。Spark 2.0 之后，master 和worker 之间完全不使用akka 通信，改用netty实现。因为使用Akka要求message发送端和接收端有相同的版本，为了避免Akka造成的版本问题，给用户的应用更大灵活性，决定使用更通用的RPC实现。spark 基于netty新的rpc框架借鉴
2020-06-17 12:02:00
299
转载 用户画像常用算法
决策树1、决策树，是一种分类算法和回归算法（这里只介绍分类算法）2、决策树算法的构建分为3个部分：特征的选择，决策树的生成，决策树的剪枝；（主要参考李航的《统计学习方法》第五章） a、特征的选择—-选择使信息增益最大的特征；即选择一个分类特征必须是分类确定性更高，此特征才是更好的； b、决策树的生成—ID3，C4.5算法，此时用迭代的方式构建决策树；注意此时的决策树，因为每次选的都是局部最优解，所以是过拟合的； c、决策树的剪枝—决策树剪枝是为了防止过拟合，根据全局c...
2020-06-17 10:55:12
3958
转载 用户画像之Spark ML实现
参考文章：用户画像之Spark ML实现1. Spark ML简单介绍 Spark ML是面向DataFrame编程的。Spark的核心开发是基于RDD（弹性分布式数据集），但是RDD，但是RDD的处理并不是非常灵活，如果要做一些结构化的处理，将RDD转换成DataFrame，DataFrame实际上就是行对象的RDD+schema，类似于原本的文本数据，加上schema，做一下结构的转换就变成数据库里面的表，表是有元数据的，有字段有类型。所以DataFrame处理起来更加灵活。要...
2020-06-17 10:10:22
1231
转载 spark标签计算及用户画像应用
参考文章：Spark（二）—— 标签计算、用户画像应用一、标签计算数据86913510 {"reviewPics":[],"extInfoList":null,"expenseList":null,"reviewIndexes":[1,2],"scoreList":[{"score":5,"title":"环境","desc":""},{"score":5,"title":"服务","desc":""},{"score":5,"title":"口味","desc":""}]}8691351
2020-06-16 16:57:35
1212
转载 推荐系统简介
参考文章：推荐系统之用户画像1. 推荐系统简介推荐系统是数据挖掘的一个重要部分,能够实现海量数据信息的快速、全面、准确过滤。推荐系统是信息过滤系统的一个子集。用Spark平台设计了一个基于物品的协同过滤(Item-CF)算法的商品推荐系统,并将其应用在Movie Lens数据集上运行测试。通常大型推荐系统一般都分为召回和排序两个阶段。因为全量物品（Item）通常数量非常大，无法为一个用户（User）逐一计算每一个物品（Item）的评分，这时候就需要一个召回阶段，其实就是预先筛选一部分物品
2020-06-15 18:00:21
566
原创 用户画像简介
参考文章：推荐系统——用户画像1. 用户画像1.1 用户画像定义用户画像：也叫用户信息标签化、客户标签；根据用户社会属性、生活习惯和消费行为等信息而抽象出的一个标签化的用户模型。从电商的角度看，根据你在电商网站上所填的信息和你的行为，可以用一些标签把你描绘出来，描述你的标签就是用户画像。构建用户画像的核心工作即是给用户贴“标签”，而标签是通过对用户信息分析而来的高度精炼的特征标识。用户画像不是推荐系统的目的，而是在构建推荐系统的过程中产生的一个关键环节的副产品，包括但不仅限于用户的注册资料、
2020-06-15 15:49:21
3306
转载 es索引优化(行存储、列存储、索引)
参考文章：es索引优化(行存储、列存储、索引)es的底层存储使用lucene，主要包含行存储（storefiled），列存储（docvalues）和倒排索引(invertindex)。大多数使用场景中，没有必要同时存储这三个部分，可以通过下面的参数来做适当调整1 mapping type index 设置"_source": { "enabled": false}StoreFiled： 行存储，其中占比最大的是_source字段，它控制doc原始数据的存储。在...
2020-06-11 18:28:13
1329
转载 行式存储和列式存储优缺点和paruqet文件结构
参考文章：行式存储和列式存储优缺点和paruqet文件结构一、列式存储和行式存储的比较列式存储和行式存储是针对数据在存储介质中的排序形式而言的，假设存在一张table，那么：行式存储：依次连续存储第1、2、3...行的数据到存储介质中； 列式存储：依次连续存储第1、2、3...列的数据到存储介质中。图1-1所示为行式存储和列式存储的示意图，一张table包含5个字段（列）即rowid、date/time、customer name以及quantity，共7行，图中的红色箭头表示存储顺序
2020-06-11 17:59:45
6638
转载 ElasticSearch（ES）和solr的关系和区别
参考文章：Elasticsearch与Solr搜索引擎选型调研文档ElasticSearch（ES）和solr的关系和区别Elasticsearch简介Elasticsearch是一个实时的分布式搜索和分析引擎。它可以帮助你用前所未有的速度去处理大规模数据。它可以用于全文搜索, 结构化搜索以及分析, 当然你也可以将这三者进行组合。Elasticsearch是一个建立在全文搜索引擎 Apache Lucene™ 基础上的搜索引擎, 可以说Lucene是当今最先进, 最高效的全功能开源搜索引擎
2020-06-11 17:50:44
1506
转载 Scala 隐式（implicit）详解
参考文章：Scala 隐式（implicit）详解文章正文通过隐式转换，程序员可以在编写Scala程序时故意漏掉一些信息，让编译器去尝试在编译期间自动推导出这些信息来，这种特性可以极大的减少代码量，忽略那些冗长，过于细节的代码。1、Spark 中的隐式思考隐式转换是Scala的一大特性, 如果对其不是很了解, 在阅读Spark代码时候就会很迷糊,有人这样问过我？RDD这个类没有reduceByKey,groupByKey等函数啊,并且RDD的子类也没有这些函数,但是好像PairRDDF
2020-06-10 17:20:18
615
转载 开源认证组件Kerberos和CAS简介
一、Kerberos1. Kerberos原理和工作机制概述：Kerberos的工作围绕着票据展开，票据类似于人的驾驶证，驾驶证标识了人的信息，以及其可以驾驶的车辆等级。1.1 客户机初始验证1.2获取对服务的访问2.kerberos中的几个概念KDC：密钥分发中心，负责管理发放票据，记录授权。 域：kerberos管理领域的标识。 principal：当每添加一个用户或服务的时候都需要向kdc添加一条principal，principl的形式为 主名称／实例名@领
2020-06-09 11:30:28
2297
转载 Scala之flatMap操作
参考文章：Scala之flatMap操作个人理解调用flatMap方法的是一个可迭代集合（注意：字符串是一个可迭代集合，字符串中的元素为字符） 什么类型调用的flatMap方法，则返回的也是什么类型 flatMap = map + flatten 即先对集合中的每个元素进行map，再对map后的每个元素（map后的每个元素必须还是集合）中的每个元素进行flatten 进行map的对象可以是只含一层的集合，但进行flatten操作的对象必需是至少含两层的集合实例讲解实例一：va
2020-06-08 09:47:28
868
转载 Spark为何使用Netty通信框架替代Akka(TODO)
参考文章：Spark为何使用Netty通信框架替代Akka问题导读：1. spark 如何在1.6.0之后使用Netty替代了Akka？2. Spark Network Common怎么实现？3. BlockTransfer 与 Shuffle 之间的联系？4. Akka 实现原理是什么？解决方案：一直以来，基于Akka实现的RPC通信框架是Spark引以为豪的主要特性，也是与Hadoop等分布式计算框架对比过程中一大亮点，但是时代和技术都在演化，从Spark1.3.1版本开始，为了
2020-06-08 09:12:31
822
转载 scala笔记
参考文章:scala笔记scala笔记scala中object文件编译后对应java中的静态成员，非静态成员放在class文件中1、变量scala数据类型char的值var c1:Char = 'a' + 1 //类型不匹配var c2:Char = 97 + 1 //类型不匹配var c3:Char = 98 //对var c4:Char = 999 //超范围//分析：//1.当把一个计算的结果复制给一个变量，编译器会进行类型转换和判断//2.当把一个字面.
2020-06-05 14:22:42
282
转载 kafka学习笔记
参考文章：kafka学习笔记kafka1、kafka简介 kafka是一个分布式的基于发布/订阅模式的消息队列（Message Queue）,在kafka中主要涉及到四个基本名词:TopicKafka将消息种子分门别类， 每一类的消息称之为一个主题(Topic).Producer发布消息的对象称之为主题生产者.Consumer订阅消息并处理消息的对象称之为主题消费者Broker已发布的消息保存在一组服务器中，称之为Kafka集群。集群中的每一个服务器称为一个代理(Br...
2020-06-05 14:01:36
232
转载 SparkSql中Dataset(DataFrame)操作
参考文章：Spark SQL中的Encoder以下错误，想必在做Spark的DateSet操作时一定是见过吧？Error:(58, 17) Unable to find encoder for type stored in a Dataset. Primitive types (Int, String, etc) and Product types (case classes) are supported by importing spark.implicits._ Support for
2020-06-05 10:56:10
623
原创 spark的RDD中的action(执行)和transformation(转换)两种操作中常见函数介绍
参考文章：spark的RDD中的action(执行)和transformation(转换)两种操作中常见函数介绍spark常见的RDD1. 函数概览2. Spark 的12个Actions 操作函数总结及举例Actions算子是Spark算子的一类，这一类算子会触发SparkContext提交job作业。下面介绍常用的Spark支持的actions。1. reduce(func)使用函数func(两个输入参数，返回一个值)对数据集中的元素做聚集操作。函数func必须是可交.
2020-06-03 15:37:58
1450
转载 SparkRDD简介
参考文章：spark的RDD中的action(执行)和transformation(转换)两种操作中常见函数介绍spark常见的RDDspark的RDD中的action(执行)和transformation(转换)两种操作中常使用的函数0. RDD产生背景为了解决开发人员能在大规模的集群中以一种容错的方式进行内存计算，提出了 RDD 的概念，而当前的很多框架对迭代式算法场景与交互性数据挖掘场景的处理性能非常差, 这个是RDDs 的提出的动机。1.RDD定义RDD 是 Spark 的.
2020-06-03 10:48:37
271
转载 SpringBoot读取Resource下文件的几种方式
参考文章：SpringBoot读取Resource下文件的几种方式第一种：useClassPathResource classPathResource = new ClassPathResource("excleTemplate/test.xlsx");InputStream inputStream =classPathResource.getInputStream();第二种：InputStream inputStream = Thread.currentThread().getC
2020-06-02 11:46:57
816
转载 Java InputStream 转换成 String
参考文章：Java InputStream 转换成 String如下, 一共存在11种实现方式及其对应的性能测试结果:1. 使用IOUtils.toString (Apache Utils)String result = IOUtils.toString(inputStream, StandardCharsets.UTF_8);2. 使用CharStreams (guava)String result = CharStreams.toString(new InputStreamRe
2020-06-02 11:39:52
579
转载 SpringBoot读取配置文件的6种方式
参考文章：SpringBoot读取配置文件的6种方式配置文件: woman.properties woman.name=女人 woman.age=20 friend.sex=女 friend.age=111 friend.properties friend.sex=男 friend.age=222 /* ====================== 方式一: @Value注解 ==========================*/ @Component.
2020-06-02 11:19:52
851
gcc rpm安装包
2021-02-20
crontabs_pack
2021-02-20
initscripts.zip
2021-02-20
centos7.4 postgresql11-11.8 rpm 安装包
2020-11-14
service命令 安装包
2020-11-14
ImpalaJDBC42-2.6.17.1020.jar
2020-05-18
logstash-7.6.0.tar.gz
2020-02-23
logstash-7.6.0.rpm
2020-02-23
docker离线rpm包-use.rar
2019-10-30
elasticHD_darwin_amd64
2019-02-28
elasticHD_linux_amd64
2019-02-28
elasticHD_windows_amd64
2019-02-28
cdh-7.1.7, cm7.4.4离线安装包
2023-11-24
jdk-8u291-x64.rar
2021-05-10
net-tools-2.0-0.51.20160912git.el8.x86_64.rpm
2021-02-20
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人