- 博客(5)
- 收藏
- 关注
原创 2021-11-05
redis持久化的几种方式1、前言Redis是一种高级key-value数据库。它跟memcached类似,不过数据可以持久化,而且支持的数据类型很丰富。有字符串,链表,集 合和有序集合。支持在服务器端计算集合的并,交和补集(difference)等,还支持多种排序功能。所以Redis也可以被看成是一个数据结构服务 器。Redis的所有数据都是保存在内存中,然后不定期的通过异步方式保存到磁盘上(这称为“半持久化模式”);也可以把每一次数据变化都写入到一个append only file(aof)里面(
2021-11-05 15:07:03
46
原创 2021-10-29
Flume Agent内部原理1.Source对接数据源,负责封装Event;2.然后发送给Channel Processor,Channel Processor调用事件拦截器链;3.将每个事件给Channel Selector事件选择器,选择出要发送的事件;4.将Channel Selector的结果写入相应的Channel;5.若多个Sinks组从一个Channel中拉取数据,由SinkProcessor挑选Sinks组中的一个Sink去Channel中读取数据;即一个时刻只能有一个Sink从
2021-10-29 18:37:19
345
原创 2021-10-22
Nginx能做什么——反向代理——负载均衡——HTTP服务器(动静分离)——正向代理反向代理:反向代理应该是Nginx做的最多的一件事了,什么是反向代理呢,以下是百度百科的说法:反向代理(Reverse Proxy)方式是指以代理服务器来接受internet上的连接请求,然后将请求转发给内部网络上的服务器,并将从服务器上得到的结果返回给internet上请求连接的客户端,此时代理服务器对外就表现为一个反向代理服务器。简单来说就是真实的服务器不能直接被外部网络访问,所以需要一台代理服务器,而代理服
2021-10-22 18:43:47
62
原创 2021-10-15
hive和presto1.本质区别Hive是把一个查询转化成多个MapReduce任务,然后一个接一个执行。执行的中间结果通过对磁盘的读写来同步。然而,Presto没有使用MapReduce,它是通过一个定制的查询和执行引擎来完成的。它的所有的查询处理是在内存中,这也是它的性能很高的一个主要原因。2.执行速度presto由于是基于内存的,而hive是在磁盘上读写的,因此presto比hive快很多,但是由于是基于内存的当多张大表关联操作时易引起内存溢出错误3.处理json类型的数据presto处理如
2021-10-15 14:55:15
54
原创 HIVE建表
最基本的建表语句: CREATE [EXTERNAL] TABLE [IF NOT EXISTS] table_name [(col_name data_type [COMMENT col_comment], ...)] [COMMENT table_comment] [PARTITIONED BY (col_name data_type [COMMENT col_comment], ...)] [CLUSTERED BY (col_name, col_name, ....
2021-09-26 11:08:00
66
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人