- 博客(1361)
- 资源 (116)
- 收藏
- 关注
RSS订阅
原创 大数据学习指南从入门到精通
利用框架的力量，看懂游戏规则，才是入行的前提大多数人不懂，不会，不做，才是你的机会，你得行动，不能畏首畏尾选择才是拉差距关键，风向，比你流的汗水重要一万倍，逆风划船要累死人的为什么选择学习大数据开发，不选择Java开发？借棋弈做比喻，智商高的不要选择五子琪，要选择围棋，它能长久地吸引你。不都是在棋盘上一颗黑子一颗白子地下吗?因为围棋更复杂，能够掌握如此复杂的技艺、产生稳定输出的棋手、让我们更佩服。选择学习大数据开发也如此，能让你的职业生涯走得更远，少走弯路。
2022-05-21 15:57:40
19900
183
原创 数据仓库中常见的名词解释
比如最近七天的订单量，一个促销活动的购买转化率等。一个指标具体到计算实施，主要有以下几部分组成：指标加工逻辑，比如count ,sum, avg维度，比如按部门、地域进行指标统计，对应sql中的group by业务限定/修饰词，比如以不同的支付渠道来算对应的指标，微信支付的订单退款率，支付宝支付的订单退款率。对应sql中的where。
2024-07-03 09:00:20
390
原创 Elasticsearch基础（二）：阿里云Elasticsearch快速入门
在上文的返回结果中，前两条商品信息中都出现了每天收益到账消息推送，后面商品信息中只出现了部分关键词消息、推送、收益等，所以越靠前的搜索结果的匹配度越高，分数也越高。这里资源领取只针对新用户，如果是老用户按需购买，初学者就按流量购买，等操作完就把资源及时停止或者删除实例，以防止后面不必要的扣费。在新增IP白名单分组的对话框中，去掉默认的IP地址后（默认禁止所有IP地址访问），将待访问设备的公网IP地址添加至白名单中。搜索成功后，返回结果如下。返回结果中的took表示查询耗时，单位为毫秒，取值不固定。
2024-07-03 00:02:44
385
原创 PostgreSQL基础（十五）：PostgreSQL的主从操作
PostgreSQL自身只支持简单的主从，没有主从自动切换，仿照类似Nginx的效果一样，采用keepalived的形式，在主节点宕机后，通过脚本的执行完成主从切换。操作方式类似与之前的备份和恢复。
2024-06-25 16:30:51
1024
1
原创 Elasticsearch基础（一）：阿里云Elasticsearch简介
不仅提供云上开箱即用的Elasticsearch、Logstash、Kibana、Beats在内的Elastic Stack生态组件，还与Elastic官方合作提供免费X-Pack（白金版高级特性）商业插件，集成了安全、SQL、机器学习、告警、监控等高级特性，被广泛应用于实时日志分析处理、信息检索、以及数据的多维查询和统计分析等场景。高级监控报警服务是基于Elasticsearch开发的，具备采集、监控、报警、诊断、数据处理等多种能力的SAAS服务，为云上用户提供开箱即用的一站式监控报警解决方案。
2024-06-22 00:28:57
835
1
原创 PostgreSQL基础（十四）：PostgreSQL的数据迁移
PostgreSQL做数据迁移的插件非常多，可以从MySQL迁移到PostgreSQL也可以基于其他数据源迁移到PostgreSQL。pgloader可以安装在任何位置，比如安装在MySQL所在服务，或者PostgreSQL所在服务，再或者一个独立的服务都可以。📢停下休息的时候不要忘了别人还在奔跑，希望大家抓紧时间学习，全力奔赴更美好的生活✨。这种迁移的插件很多，这里只说一个，pgloader（非常方便）📢本文由 Lansonli 原创，首发于 CSDN博客🙉。我就在PostgreSQL所在服务安装。
2024-06-14 23:45:37
433
1
原创 PostgreSQL基础（十三）：PostgreSQL备份和恢复实战操作
场景：每天凌晨02:00，开始做全备（PBK），到了第二天，如果有人14:00分将数据做了误删，希望将数据恢复到14:00分误删之前的状态？需要执行一个函数，取消这种恢复数据后的状态，才允许正常的执行写操作。第三步：在postgresql.auto.conf文件中，指定归档文件的存储位置，以及恢复数据的方式。除此之外，也可以通过图形化界面备份，在库的位置点击备份就成，导出一个文本文件。将之前备份的两个文件准备好，一个base.tar，一个pg_wal.tar。
2024-06-12 14:37:07
614
原创 PostgreSQL基础（十二）：PostgreSQL备份和恢复介绍
防止数据丢失的第一道防线就是备份。数据丢失有的是硬件损坏，还有人为的误删之类的，也有BUG的原因导致误删数据。正常备份和恢复，如果公司有DBA，一般咱们不用参与，但是学的Java，啥都得会点。
2024-06-11 15:46:42
436
原创 PostgreSQL基础（十一）：PostgreSQL的锁介绍
就是基于LOCK开启表锁，指定表的名字name，其次在MODE中指定锁的模式，NOWAIT可以指定是否在没有拿到锁时，一致等待。当111号连接基于事务开启后，锁住当前表之后，如果使用默认的ACCESS EXCLUSIVE，其他连接操作表时，会直接阻塞住。PostgerSQL有个特点，一般情况，在select的查询没有命中索引时，他不一定会锁表，依然会实现行锁。MySQL中有一个概念，for update时，如果select的查询没有命中索引，可能会锁表。其他的连接要锁住当前行，会阻塞住。
2024-06-10 07:06:21
331
原创 PostgreSQL基础（十）：PostgreSQL的并发问题
比如你要查询一行数据，但是这行数据正在被修改，事务还没提交，如果此时对这行数据加锁，会导致其他的读操作阻塞，需要等待。如果采用PostgreSQL，他的内部会针对这一行数据保存多个版本，如果数据正在被写入，包就保存之前的数据版本。可重复读，可以解决脏读和不可重复读（MySQL默认是这个隔离级别，PGSQL也提供了，但是设置为可重复读，效果还是串行化）同一事务中，多次查询同一数据，因为其他事务对数据进行了增删吗，导致出现了一些问题。同一事务中，多次查询同一数据，结果不一致，因为其他事务修改造成的。
2024-06-08 11:17:33
948
原创 PostgreSQL基础（九）：PostgreSQL的事务介绍
比如一个电商项目，下订单，扣库存，创建订单，删除购物车，增加用户积分，通知商家，这个其实就是一个大事务。可以将扣库存和下订单这种核心功能完成后，增加一个保存点，如果说后续操作有失败的，可以从创建订单成功后的阶段，再做重试。如果后面操作失败了，需要回滚，不需要全盘回滚，回滚到之前的保存点，继续重试。：一次事务操作，要么是其他事务操作前的状态，要么是其他事务操作后的状态，不存在中间状态。但是只要操作合理，可以在保存点的举出上，做重试，只要重试不成功，依然可以全盘回滚。有人会发现，破坏了整体事务的原子性。
2024-06-07 23:02:56
678
原创 PostgreSQL基础（八）：表的基本操作（二）
相比之前的普通视图，物化视图就不需要每次都查询复杂SQL，每次查询的都是真实的物理存储地址中的一份数据（表）。如果要更新物化视图，可以采用触发器的形式，当原表中的数据被写后，可以通过触发器执行同步物化视图的操作。PostgreSQL中，对物化视图的同步，提供了两种方式，一种是全量更新，另一种是增量更新。视图对于用户来说，就是一张真实的表，可以直接基于视图查询一张或者多张表的信息。在有索引的情况下，再基于name做等值查询，看时间，同时看执行计划。在PGSQL中，简单（单表）的视图是允许写操作的。
2024-06-03 14:55:14
85
原创 PostgreSQL基础（七）：表的基本操作（一）
其实指定表空间的存储位置后，PGSQL会在$PG_DATA目录下存储一份，同时在咱们构建tablespace时，指定的路径下也存储一份。当对标进行insert，update，delete，truncate操作时，会触发表的Trigger（看触发器的创建时指定的事件）在存储数据时，数据肯定要落到磁盘上，基于构建的tablespace，指定数据存放在磁盘上的物理地址。进一步会发现，其实在PGSQL的默认目录下，存储的是一个link，连接文件，类似一个快捷方式。触发器Trigger，是由事件出发的一种存储过程。
2024-06-02 13:57:00
53
原创 PostgreSQL基础（六）：PostgreSQL基本操作（二）
撇去JSON类型，本质上JSON格式就是一个字符串，比如MySQL5.7不支持JSON的情况的下，使用text也可以，但是字符串类型无法校验JSON的格式，其次单独的字符串没有办法只获取JSON中某个key对应的value。复合类型就好像Java中的一个对象，Java中有一个User，User和表做了一个映射，User中有个人信息对象。JSON在MySQL8.x中也做了支持，但是MySQL支持的不好，因为JSON类型做查询时，基本无法给JSON字段做索引。JSON类型的数据中多余的空格会被存储下来。
2024-06-01 18:33:00
185
原创 PostgreSQL基础（五）：PostgreSQL基本操作和数据类型介绍
告诉缓存，插入的数据比较多，可以指定告诉缓存，一次性计算出20个后续的值，nextval时，就不可以不去计算，直接去高速缓存拿值，效率会有一内内的提升。双引号用来标识一个关键字，比如表名，字段名。数值操作也提供了一些函数，比如pi()，round(数值，位数)，floor()，ceil()PGSQL提供了序列的数据类型，可以在声明表结构时，直接指定序列的类型即可。如果是单独构建序列，再构建表，使用传统方式实现，序列和表就是相对独立的。布尔类型简单的一批，可以存储三个值，true，false，null。
2024-05-31 23:09:30
58
原创 PostgreSQL基础（四）：图形化界面安装与数据类型介绍
PGSQL支持的类型特别丰富，大多数的类型和MySQL都有对应的关系。也可以直接使用PostgreSQL官方提供的图形化界面。图形化界面可以连接PGSQL的很多，Navicat（收费）。直接save保存，就可以连接到老郑的信息。其实就是傻瓜式安装，非常简单。直接点击就可以下载即可。
2024-05-29 11:26:25
64
原创 HBase分布式数据库入门到精通
HBase是一个高可靠性、高性能、面向列、可伸缩、实时读写的分布式 NOSQL 数据库。当你需要随机、实时读/写访问大数据时，请使用 Apache HBase。
2024-05-28 22:54:24
1390
2
原创 PostgreSQL基础（三）：PostgreSQL的基础操作
只在psql命令行（客户端）下，执行了一次\l，查看了所有的库信息。可以直接基于psql查看一些信息，也可以基于psql进入到命令行后，再做具体操作。可以直接基于psql去玩可以输入psql --help，查看psql的命令可以直接进入到命令行的原因，是psql默认情况下，就是以postgres用户去连接本地的pgsql，所以可以直接进入。下面的图是默认的连接方式后面都基于psql的命令行（客户端）去进行操作命令绝对不要去背，需要使用的时候，直接找帮助文档，在psql命令行中，直接注入。
2024-05-26 09:22:33
96
原创 PostgreSQL基础（二）：PostgreSQL的安装与配置
postgreSQL的核心文件，都属于postgres用户，操作的时候，尽可能的别用root用户，容易玩出坑，尽可能先切换到postgres用户去玩。要搞两个配置信息，一个关于postgreSQL的远程连接配置以及postgreSQL的日志配置。为了实现远程连接，除了用户级别的这种配置，还要针对服务级别修改一个配置。postgreSQL默认情况下，只保存7天的日志，循环覆盖。
2024-05-25 16:07:16
250
原创 PostgreSQL基础（一）：PostgreSQL入门介绍
PostgreSQL是一个功能强大的开源的关系型数据库。底层基于C实现。PostgreSQL的开源协议和Linux内核版本的开源协议是一样的。。BDS协议，这个协议基本和MIT开源协议一样，说人话，就是你可以对PostgreSQL进行一些封装，然后商业化是收费。PostgreSQL的名字咋来的。之前叫Ingres，后面为了解决一些ingres中的一些问题，作为后面的ingres，就起名叫postgre。PostgreSQL版本迭代的速度比较快，现在最新的正式的发布版本，已经到了15.RELEASE。
2024-05-25 12:15:24
56
原创 大数据面试题（十）：Hive的高频面试考点（二）
Hive是基于Hadoop的⼀个数据仓库⼯具，可以将结构化的数据⽂件映射为⼀张数据库表，并提供完整的sql查询功能，可以将sql语句转换为MapReduce任务进行运行。其优点是学习成本低，可以通过类SQL语句快速实现简单的MapReduce统计，不必开发专门的MapReduce应用，十分适合数据仓库的统计分析。null在hive底层默认是⽤"\N"来存储的，所以在sqoop到mysql之前需要将为null的数据加工成其他字符，否则sqoop提示错误。对数据的细化，取模分开存储数据，提高查询效率。
2024-05-07 07:00:00
111
原创 大数据面试题（九）：Hive的高频面试考点（值得收藏）
表。存的是和hdfs的映射关系，hive是逻辑上的数据仓库，实际操作的都是hdfs上的⽂ 件，HQL就是⽤sql语法来写的mr程序。hive是数据仓库，不能和数据库⼀样进⾏实时的CURD操作。是⼀次写⼊多次读取的操作，可以看成是ETL工具。将小表存⼊内存中，将⼩表复制多份，让每个map task内存中保留⼀份(⽐如存放到hash table中)，这样只需要扫描⼤表。对于⼤表中的每⼀条记录key/value，在hash table中查找是否有相同的key，如果有，则连接后输出即可。
2024-05-05 19:19:27
106
2
原创 大数据Doris（七十）：全球电商狂欢节万亿级实时大屏解决方案
2020年6月1日0时至6月18日24时，京东618全球年中购物节累计下单金额达到2692亿元，创下新的纪录。上市首日，京东股价报收于234港元，较发行价上涨3.54%，市值超过7200亿港元。2018年6月1日0点到6月18日24点，京东全球年中购物节累计下单金额达1592亿元。每年6月是京东的店庆月，每年6月18日是京东店庆日。从2019年6月1日0点到6月18日24点，累计下单金额达2015亿元，覆盖全球。1998年6月18日，刘强东在。活动，以“火红六月”为宣传点，其中6月18日是。
2024-03-25 22:25:29
215
2
原创 大数据Doris（六十九）：项目线上表现
从测试和线上的表现来看，Doris引擎的表现还是非常优秀的。多维分析聚合查询场景对比Druid引擎有很大的性能优势，再加上Doris on ES的加持和上层业务的抽象，可以即拥有ES引擎强大的分词检索能力，又不失Olap场景海量数据的聚合分析性能。两者的结合可以为这类需求提供全新的解决方案与思路。在快手商业化业务场景里面，维度数据与事实数据Join查询是非常普遍的，有了比较不错的实践成果，后续会在Doris on ES解决方案上继续投入。
2024-03-16 11:39:00
341
1
原创 大数据Doris（六十八）：基于Doris on ES的架构实现总结
总结来说，如果要支持维度数据存储，并且支持Join，目前开源的各类引擎或多或少都存在一些局限性。Doris和Clickhouse这里引擎都支持Join，并且支持明细数据存储，但是如要要高频Update，也是没办法做到。如果跳出Olap引擎，在应用层做Join实现，也是一种解法，但是实现成本高。Doris on ES构建在这个能力之上，并且对查询做了大量的优化，这给对ES原理理解不深的同学带来了方便。目前Doris on ES还不支持聚合下推，但是对于我们维度数据查询场景其实是用不到聚合操作。
2024-03-13 13:18:08
280
2
原创 大数据Doris（六十七）：Doris on ES在快手商业化的架构实现
进而导致每个KIS task包含了所有取值的数据(我们生成环境KIS task数目与topic的partion数是一一对应的)，造成KIS task的segment文件大幅膨胀（两种区别的理论值为key By处理生成的segment大小为不做key by的 1/partion总数），影响实时数据的查询性能(这里如果没太看明白可以参考阅读Druid官方文档，了解Druid数据聚合、索引构建原理)。ES拥有强大的分词检索能力，支持较高频率的update操作，和很好的横向扩展能力。屏蔽复杂的跨引擎管理查询逻辑。
2024-03-07 23:13:45
399
3
原创 大数据Doris（六十六）：Doris on ES在快手商业化的业务场景介绍
大宽表，空间换时间。理论上都是维表主键为唯一ID来填充所有维度，这样只是冗余存储了多条维度数据，但是在OLAP引擎里，不管是DRUID、KYLIN还是DORIS都不会造成数据量的基数膨胀。优势：维度数据与事实数据完全分离，维度数据用专门的引擎存储(如mysql、elasticsearch等等)，可以支持高频update操作，查询时通过主键关联查询维度数据。劣势：对应的弊端就是如果有维度数据update场景，支持的代价非常大。优势：应用层查询的时候非常方便，无需关联额外的维表，直接面向大而全的宽表查询。
2024-02-28 11:08:29
326
2
原创 MySQL数据库基础（十五）：PyMySQL使用介绍
如果使用之前学习的MySQL客户端来完成这个操作，那么这个工作量无疑是巨大的，我们可以通过使用程序代码的方式去连接MySQL数据库，然后对MySQL数据库进行增删改查的方式，实现100000条数据的插入，像这样使用代码的方式操作数据库就称为数据库编程。注：PyMySQL是基于事务进行操作的，所以在数据库增删改操作时，必须通过conn.commit() 方法将事务操作提交到数据库，如果事务操作没有成功，则可以通过conn.rollback()进行回滚（返回到数据的原始状态）。
2024-02-25 18:08:23
1922
2
原创 MySQL数据库基础（十四）：E-R模型及表间关系
对于大型公司开发项目，我们需要根据产品经理的设计，先使用建模工具, 如：power designer，db desinger等这些软件来画出实体-关系模型(E-R模型)1、E-R模型由 实体、属性、实体之间的关系构成，主要用来描述数据库中表之间的关系和表结构。📢停下休息的时候不要忘了别人还在奔跑，希望大家抓紧时间学习，全力奔赴更美好的生活✨。2、开发流程是先画出E-R模型，然后根据三范式设计数据库中的表结。E-R模型就是描述数据库存储数据的结构模型。E-R模型即实体-关系模型。
2024-02-25 17:51:23
962
原创 MySQL数据库基础（十三）：关系型数据库三范式介绍
设计关系数据库时，遵从不同的规范要求，设计出合理的关系型数据库，这些不同的规范要求被称为不同的范式，各种范式呈递次规范，越高的范式数据库冗余越小。
2024-02-23 23:17:58
1314
1
原创 MySQL数据库基础（十二）：子查询（三步走）
在一个 select 语句中,嵌入了另外一个 select 语句, 那么被嵌入的 select 语句称之为子查询语句，外部那个select语句则称为主查询。
2024-02-20 18:45:00
910
3
原创 MySQL数据库基础（十）：DQL数据查询语言
之前我们做的查询都是横向查询，它们都是根据条件一行一行的进行判断，而使用聚合函数查询是纵向查询，它是对一列的值进行计算，然后返回一个单一的值；分页查询在项目开发中常见，由于数据量很大，显示屏长度有限，因此对数据需要采取分页显示方式。例如数据共有30条，每页显示5条，第一页显示1-5条，第二页显示6-10条。having作用和where类似都是过滤数据的，但having是过滤分组数据的，只能用于group by。聚合查询函数：count()，sum()，max()，min()，avg()。
2024-02-19 22:31:41
1220
2
原创 MySQL数据库基础（九）：SQL约束
遵循原则：创建主键约束：创建表时，在字段描述处，声明指定字段为主键删除主键约束：如需撤销 PRIMARY KEY 约束，请使用下面的 SQL我们通常希望在每次插入新记录时，数据库自动生成字段的值。我们可以在表中使用 auto_increment（自动增长列）关键字，自动增长列类型必须是整型，自动增长列必须为键(一般是主键)。下列 SQL 语句把 "Persons" 表中的 "Id" 列定义为 auto_increment 主键向persons添加数据时，可以不为Id字段设置值，也可以设置成nul
2024-02-19 00:06:38
1443
3
原创 MySQL数据库基础（八）：DML数据操作语言
特别注意：在SQL语句中，除了数字，其他类型的值，都需要使用引号引起来，否则插入时会报错。案例：修改username='马鹏'这条记录，将其性别更新为男，家庭住址更新为广东省深圳市。案例：今年是2020年，假设到了2021年，现在存储的学员年龄都差1岁，整体进行一次更新。特别说明：如果在更新数据时，不指定更新条件，则其会把这个数据表的所有记录全部更新一遍。删除大量记录速度慢，只删除数据，主键自增序列不清零。
2024-02-18 16:49:08
718
原创 MySQL数据库基础（七）：DDL数据表操作
特别注意：创建数据表必须有一个前提，首先要明确选择某一个数据库。创建 => create数据表 => table创建 + 数据表 = create table 数据表名称案例：创建一个admin管理员表，拥有3个字段（编号、用户名称、用户密码）use在MySQL中的含义代表选择，use 数据库名称相当于选择指定的数据库。而且use比较特殊，其选择结束后，其尾部可以不加分号；但是强烈建议所有的SQL语句都要加分号，养成一个好习惯。
2024-02-18 09:59:14
1074
2
原创 MySQL数据库基础（六）：DDL数据库操作
如博客系统中的用户管理功能，就需要一个user数据表、博客中的文章就需要一个article数据表、博客中的评论就需要一个message数据表。一个MySQL DBMS可以同时存放多个数据库，理论上一个项目就对应一个数据库。编写SQL语句是一个比较细致工作，不建议大家直接在终端中输入SQL语句，可以先把你要写的SQL语句写入一个记事本中，然后拷贝执行。创建 + 数据库 = create database 数据库名称(字母+数字+下划线组成，以字母开头，不能出现中文以及特殊字符)
2024-02-17 09:59:52
995
2
原创 MySQL数据库基础（五）：SQL语言讲解
结构化查询语言(Structured Query Language)简称SQL，是关系型数据库管理系统都需要遵循的规范，是数据库认识的语句。不同的数据库生产厂商都支持SQL语句，但都有特有内容。
2024-02-17 00:05:30
1260
原创 MySQL数据库基础（四）：图形化开发工具DataGrip
DataGrip是JetBrains公司推出的管理数据库的产品，功能非常强大，可以兼容各种数据库，另外,JetBrains公司还有一款知名的IDE开发工具IDEA，用户体验非常不错。
2024-02-16 15:50:57
1284
原创 MySQL数据库基础（三）：Linux系统下的MySQL安装与使用
① MySQL的特点：免费，支持大型数据库，标准的SQL语言形式，跨平台。② 本文使用的版本是。
2024-02-16 06:30:00
947
3
NiFi文档资料与软件包下载
2023-02-26
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人