- 博客(27)
- 资源 (3)
- 收藏
- 关注
RSS订阅原创 Hive 分区表增加字段并赋值
Hive 分区表增加字段并赋值前言背景解决方案具体操作注意事项总结前言最近工作上需要用到大数据平台，之前没用过大数据相关的工具，所以踩了不少坑。今天就把在分区表中添加字段的坑分享出来，避免再次踩坑。背景今天接到一个需求，在原有的 hive 分区表中需要添加一个字段，并且原来的数据中这个字段还是需要赋值。后续这个值是由 ETL 任务去拉取的，所以只需要解决好原来的数据。解决方案为了数据不丢失，先把原表备份，备份表名叫 xxx_temp(备份表这里不给出语句)。备份完了之后，开始把原表结算复制
2021-10-11 22:45:00
6964
原创 ShardingSphere-Proxy 分库分表、读写分离
ShardingSphere-Proxy 分库分表、读写分离前言一、运行官方示例二、启动 ShardingSphere-Proxy1.下载2.解压3.修改配置文件4.添加 mysql jdbc 驱动5.启动 ss-proxy6.启动验证7.访问 ss-proxy三、分库分表1.运行示例2.运行结果四、读写分离1. 运行示例2.运行结果总结前言ShardingSphere-Proxy 定位为透明化的数据库代理端，提供封装了数据库二进制协议的服务端版本，用于完成对异构语言的支持。现支持的数据库有MySQL
2021-08-24 23:43:19
915
3
原创 ShardingSphere JDBC简单分库分表
ShardingSphere JDBC简单分库分表前言一、分库分表1. 首先配置数据源2. 配置表以什么样的规则分片3. 配置分库分表的字段4. 指定好分库分表的算法5. 最后是测试代码二、读写分离1.修改 sharding 类型2.修改数据库相关信息3.创建数据库4. 创建读库中的表，并插入数据总结前言本文来简单介绍一下 ShardingSphere JDBC 的分库分表、以及读写分离功能，至于这是用来干嘛的，我在这就不废话了，官方文档 说得很详细了。如果想研究源码的同学，可以去最大的 异性交友平台
2021-08-24 00:52:45
201
原创 Elasticsearch Template(index、dynamic模板)
Elasticsearch Template前言1. Index Template一、什么是 Index Template二、查看 templates2. Dynamic Template总结前言当集群上的索引越来越多时，可以使用 Index Templates 帮助你设定 Mappings 和 Settings。并按照一定的规则，自动匹配到新创建的索引之上。1. Index Template集群上如果保存的是日志，为了更好的管理数据，需要每天都创建一个索引。创建索引需要创建 Settings 和
2021-08-06 14:36:04
443
原创 Elasticsearch Mapping(字段映射)
Elasticsearch Mapping前言什么是 Mapping二、使用步骤1.引入库2.读入数据总结前言Elasticsearch 的 Mapping 对应着数据库的 schema，比数据库的 schema 灵活的是 Mapping 可以是 Dynamic 的，也就是如果不定义 Mapping 还是可以往 ES 里面插入文档的。但是数据库中如果不新建表，是不能插入数据的。什么是 Mapping示例：pandas 是基于NumPy 的一种工具，该工具是为了解决数据分析任务而创建的。二、使用步
2021-08-02 15:49:06
590
原创 Elasticsearch Search Query(查询介绍)
Elasticsearch Search Query前言URI 查询Request Body搜索相关性 Relevance衡量相关性总结前言Elasticsearch 查询分为 URI Search 和 Request Body Search，URI Search 是在URL中使用查询参数，Request Body Search 使用 Elasticsearch 提供的基于JSON格式的 Query Domain Specific Language(DSL)语法范围/_searc
2021-08-01 18:20:10
3149
原创 Elasticsearch Analyzer(分词器介绍)
Elasticsearch Analyzer前言Analyzer更多中文分词器总结前言Analysis：文本分析是把全文本转换成一系列单词(term/token)的过程，也叫分词。Analysis 是通过 Analyzer 来实现的，可以使用 ES 内置的分析器，也可使用定制的分析器。在写入数据和查询数据的时候，都需要用相同的分析器对语句进行分析。AnalyzerAnalyzer 分词器是专门处理分词的组件，由三部分组成：Character Filters(处理原始文本，例如去除html、特殊字符)
2021-07-30 14:35:14
568
原创 Elasticsearch 文档的基本操作
Elasticsearch 文档的基本操作前言文档 CRUD批量操作(Bulk)批量读取和查询(mget&msearch)总结前言在了解了 Elasticsearch 的基本概念之后，下一步就是操作 ES 的文档了，毕竟数据还是以文档的方式存在 ES 里面。下面主要会介绍文档的 CRUD 操作、文档的元信息、批量写入和读取。文档 CRUD包括五个常用的操作 Index、Create、Read、Update、Delete，可以在下表中可以看到相关的命令，7.0中Type都约定用 _doc
2021-07-29 00:38:43
155
原创 Elasticsearch 基本概念
Elasticsearch 基本概念前言基本概念总结前言这篇文章主要介绍一下 Elasticsearch 里面的基本概念，包括索引、文档、REST API、集群、节点、分片、副本。基本概念传统数据库和 ElasticSearch 的区别数据库(RDBMS)ElasticsearchTableIndex(Type)RowDocumentColumnFiledSchemaMappingSQLDSLDocument(文档)：是所有可搜索数据的
2021-07-27 14:51:32
95
原创 Elasticsearch入门
Elasticsearch入门前言下载安装&运行总结前言Elasticsearch 是一个开源分布式搜索分析引擎，可水平扩展，底层基于 Lucene 开发。降低了全文检索的学习曲线，可以被任何编程语言调用。主要功能包括：海量数据的分布式存储以及集群管理(服务与数据高可用，水平扩展)、近实时搜索、海量数据的近实时分析。下载在本地安装 Elasticsearch 有两种方式，可以在本地物理机上安装，也可以在 docker 中安装。如果安装 7.0 以下的版本，需要先安装 JDK，Elastic
2021-07-26 18:14:15
71
原创 Java SPI的使用
Java SPI的使用前言如何使用示例总结前言什么是SPI？SPI 的全称 Service Provider Interface，是 Java 提供的一套用来被第三方实现或者扩展的 API，机制如下图：#mermaid-svg-HYx8WOyER37c9biZ .label{font-family:'trebuchet ms', verdana, arial;font-family:var(--mermaid-font-family);fill:#333;color:#333}#mermaid-svg
2021-06-02 14:37:10
134
原创 git在项目管理中的最佳实践
git在项目管理中的最佳实践前言现状解决方案代码示例界面操作总结前言用Git 来管理代码版本已经成为主流，但是在多分支、多需求及多版本开发的问题还是一直有，现在整理一下业界比较常规的做法，以减少上线版本出错的风险。好了，Git 的有哪些好处就不多说了，如果不了解 Git 的话，建议去官网先去了解一下。官网地址，后续出一系列 Git 操作相关的博客。现状当团队达到一定人数之后，需求开发增加，每个人负责的功能也不一样，上线时间也不一样，但是有可能是在一个项目中开发。当前采取的都在 develop 分支上
2021-05-28 15:42:20
306
原创 使用 Hikari 数据源连接泄漏
使用 Hikari 数据源连接泄漏问题的起源现象方案Fast, simple, reliable. HikariCP is a "zero-overhead" production ready JDBC connection pool. At roughly 130Kb, the library is very light. Read about how we do it here.这一段是 Hikari 的介绍，github 上的地址，可以看到，最开始以 "Fast、simple、reliable"这
2021-03-18 15:18:14
2210
原创 Soul源码分析--一次请求的旅行之路
Soul源码分析--一次请求的旅行之路divide 插件原理我们知道soul是一个异步的、高性能的、跨语言的、响应式的API网关，既然做为一个网关，当然是需要对外暴露，接收外部请求，然后转发到后端真实的机器，这一篇就来分析一下，一个请求经过网关会经历什么，最后安全到达目的地。divide 插件原理这里先来看看 divide 插件的原理，这里的启动 admin、bootstrap、excample-http 项目的骚操作就不说了。首先配置好选择器的规则，这里选择默认的随机访问负载策略，然后访问 h
2021-02-05 01:34:22
164
1
原创 Soul源码分析--soul-admin数据同步(2)
Soul源码分析--soul-admin数据同步之zookeeper、nacoszookeeper 数据同步nacos 数据同步在上一篇文章中分析过 http、websocket 同步的原理，没看过的同学可以去看一看，这篇我们接着来分析 zookeeper、nacos 数据同步的原理，废话不多说，改 admin、bootstrap 相关的 yml 文件，然后启动，当然最重要的如果依赖了第三方工具，不要把第三方工具也启动。zookeeper 数据同步老规矩，先启动 admin 把 zk 对应的 lis
2021-01-28 01:16:38
172
原创 Soul源码分析--soul-admin数据同步(1)
Soul源码分析--soul-admin数据同步之前写过一篇 Soul源码分析–soul-admin源码分析 里面介绍了数据同步的方式和数据同步的种类，现在来深入分析一下各种数据同步的原理，包括 websocket、http、zookeeper、nacos 数据同步。这里我们先可以参考官网的文档，大概看一下原理，然后根据代码来分析。...
2021-01-26 01:25:31
195
原创 Soul源码分析--模块介绍
Soul源码分析--模块介绍soul 项目下面有多个子模块，现在来看一下各个子模块的作用，soul 的整体模块如下图。模块比较多，先挑几个主要的介绍一下，其它的后面再慢慢补充soul-admin 网关管理后台，负责插件、规则数据动态的维护，修改后可以通过 websocket、http、zookeeper、nacos 等方式同步数据到 sou-boostrap 网关soul-boostrap 真正的网关项目，规则数据通过 soul-admin 网关管理后台同步，里面的实现也很简单，基于Netty做为
2021-01-24 01:27:52
1087
1
原创 Soul源码分析–soul-admin多节点启动
Soul源码分析–soul-admin多节点启动网关对外提供服务请求量不大时，只需要启动一个节点就可以了，如果请求量大的话，一个节点肯定是扛不住的，这个时候就需要启动多个节点来做集群对外提供服务了。下面我们来尝试启动多个 soul-bootstrap，同时还可以启动多个 soul-admin 来管理插件，看看数据会不会同步到各个 soul 后台管理。启动多 soul-admin 节点这里我们用 zookeeper 来同步数据，所以把相应的配置打开，然后启动两个节点端口号分别为 9095、9096
2021-01-23 01:26:08
221
原创 Soul源码分析–问题汇总(2)
Soul源码分析–问题汇总2apache-dubbo win10上启动 zookeeper 问题apache-dubbo win10上启动 zookeeper 问题soul-example-apache-dubbo-service 项目启动时，需要启动 zookeeper ，到官网下载然后到本地解压，解压后用 zkServer.cmd 启动然后大家都懂的，比流星还快的一闪而过，某度了一下，在 zkServer.cmd 文件最后行加上 pause，会让控制台停在那里，这样就能看到错误日志了从错误
2021-01-19 16:39:44
242
原创 Soul源码分析-问题汇总(1)
Soul源码分析–问题汇总1问题1问题1在soul-admin启动成功之后，soul-bootstrap启动时会报启动类找不到的问题，解决方法是重新执行一下 mvn clean package install -Dmaven.test.skip=true -Dmaven.javadoc.skip=true -Drat.skip=true -Dcheckstyle.skip=true，然后再启动 soul-example-http 项目在 soul-example-http 启动时，会显示 http
2021-01-19 01:05:37
588
4
原创 Soul源码分析–soul-admin源码分析
Soul源码分析–soul-admin源码分析前言源码分析总结前言在上一篇文章中，介绍了 soul-admin 怎么管理和配置网关的请求，其核心原理是基于各种插件来实现对应的功能。现在我们来看看后台是怎么来管理和实现动态配置。源码分析在分析源码之前，先看下图，页面显示加载的插件列表会对应后端的请求，根据后端请求，找到对应的controller类然后找到对应的方法，在上图可以看到这里是访问 plugin 中默认为空的 mapping，传入到分页相关的参数，然后去查询数据库中对应的插件记录数据库
2021-01-17 04:16:58
336
原创 Soul源码分析–soul-admin入门
Soul源码分析–soul-admin运行使用原理介绍运行上一篇介绍过 soul-admin 启动有两种数据库选择，一种是MySQL, 一种是内存H2数据库。如果本地有MySQL,建议还是使用MySQL数据库，毕竟等下我们还是需要看看 soul-admin 启动时创建的表结构。启动后我们选择"插件列表"->“divide”，如果没有启动别的服务，这个菜单里面应该是空的。这里我们还要启动 Soul 网关主要的服务 soul-bootstrap，如果不想自己写业务服务来测试，需要把 soul-e
2021-01-15 16:05:54
553
原创 Soul源码分析--环境准备
Soul环境准备soul介绍搭建网关环境运行总结soul介绍soul是一个异步的,高性能的,跨语言的,响应式的API网关。其设计参考了Kong, Spring-Cloud-Gateway等优秀网关特征支持各种语言(http协议)，支持 dubbo，springcloud协议。插件化设计思想，插件热插拔,易扩展。灵活的流量筛选，能满足各种流量控制。内置丰富的插件支持，鉴权，限流，熔断，防火墙等等。流量配置动态化，性能极高，网关消耗在 1~2ms。支持集群部署，支持 A/B Test,
2021-01-14 18:57:54
263
原创 Soul源码分析
Soul源码分析[Soul源码分析--环境准备][1][Soul源码分析--模块介绍][2][Soul源码分析--soul-admin][3][Soul源码分析--soul-bootstrap][4][Soul源码分析--soul-plugin][5][Soul源码分析--soul-examples][6][Soul源码分析--soul-web][7]本系列文章为soul源码分析系列文章，这里会列出系列文章的大纲，并持续更新。如有错误之处，欢迎指正，共同进步。Soul源码分析–环境准备[Soul源码分
2021-01-14 15:28:11
164
原创 Intellj idea 安装Jetty
Intellj idea版本为2018.2.4，Jetty版本为9.4.12，Win10系统，首先下载好idea和jetty，安装好idea。打开idea，在工具栏找到File–>Settings，然后在Settings对话框中找到Build,Execution,Deployment–>Application Servers，按下图操作完成之后，点击下图红色框的地方，如果你是第一...
2018-10-17 19:23:32
3306
1
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人