- 博客(5)
- 收藏
- 关注
RSS订阅原创 2021-11-05
redis持久化的几种方式1、前言Redis是一种高级key-value数据库。它跟memcached类似，不过数据可以持久化，而且支持的数据类型很丰富。有字符串，链表，集 合和有序集合。支持在服务器端计算集合的并，交和补集(difference)等，还支持多种排序功能。所以Redis也可以被看成是一个数据结构服务 器。Redis的所有数据都是保存在内存中，然后不定期的通过异步方式保存到磁盘上(这称为“半持久化模式”)；也可以把每一次数据变化都写入到一个append only file(aof)里面(
2021-11-05 15:07:03
40
原创 2021-10-29
Flume Agent内部原理1.Source对接数据源，负责封装Event；2.然后发送给Channel Processor，Channel Processor调用事件拦截器链；3.将每个事件给Channel Selector事件选择器，选择出要发送的事件；4.将Channel Selector的结果写入相应的Channel；5.若多个Sinks组从一个Channel中拉取数据，由SinkProcessor挑选Sinks组中的一个Sink去Channel中读取数据；即一个时刻只能有一个Sink从
2021-10-29 18:37:19
340
原创 2021-10-22
Nginx能做什么——反向代理——负载均衡——HTTP服务器（动静分离）——正向代理反向代理:反向代理应该是Nginx做的最多的一件事了，什么是反向代理呢，以下是百度百科的说法：反向代理（Reverse Proxy）方式是指以代理服务器来接受internet上的连接请求，然后将请求转发给内部网络上的服务器，并将从服务器上得到的结果返回给internet上请求连接的客户端，此时代理服务器对外就表现为一个反向代理服务器。简单来说就是真实的服务器不能直接被外部网络访问，所以需要一台代理服务器，而代理服
2021-10-22 18:43:47
54
原创 2021-10-15
hive和presto1.本质区别Hive是把一个查询转化成多个MapReduce任务，然后一个接一个执行。执行的中间结果通过对磁盘的读写来同步。然而，Presto没有使用MapReduce，它是通过一个定制的查询和执行引擎来完成的。它的所有的查询处理是在内存中，这也是它的性能很高的一个主要原因。2.执行速度presto由于是基于内存的，而hive是在磁盘上读写的，因此presto比hive快很多，但是由于是基于内存的当多张大表关联操作时易引起内存溢出错误3.处理json类型的数据presto处理如
2021-10-15 14:55:15
49
原创 HIVE建表
最基本的建表语句： CREATE [EXTERNAL] TABLE [IF NOT EXISTS] table_name [(col_name data_type [COMMENT col_comment], ...)] [COMMENT table_comment] [PARTITIONED BY (col_name data_type [COMMENT col_comment], ...)] [CLUSTERED BY (col_name, col_name, ....
2021-09-26 11:08:00
59
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人