- 博客(6)
- 收藏
- 关注
RSS订阅原创 redis简介
一、redisREmote DIctionary Server(Redis) 是一个由 Salvatore Sanfilippo 写的 key-value 存储系统，是跨平台的非关系型数据库。Redis 是一个开源的使用 ANSI C 语言编写、遵守 BSD 协议、支持网络、可基于内存、分布式、可选持久性的键值对(Key-Value)存储数据库，并提供多种语言的 API。Redis 通常被称为数据结构服务器，因为值（value）可以是字符串(String)、哈希(Hash)、列表(list)、集
2021-11-07 19:42:51
77
原创 kafka简单介绍
一、kafka简介Kafka是一个分布式、支持分区的（partition）、多副本的（replica），基于zookeeper协调的分布式消息系统，它的最大的特性就是可以实时的处理大量数据以满足各种需求场景：比如基于hadoop的批处理系统、低延迟的实时系统、storm/Spark流式处理引擎，web/nginx日志、访问日志，消息服务等等，用scala语言编写。二、kafka的特性 高吞吐量、低延迟：kafka每秒可以处理几十万条消息，它的延迟最低只有几毫秒，每个topic可以分多个part
2021-10-31 20:29:23
181
原创 flume基础介绍
一、什么是flume flume是一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统 flume支持在日志系统中定制各类数据发送方，用于收集数据；同时，flume提供对数据进行简单处理，并写到各种数据接收方的能力。二、flume原理三、flume agent Agent由Source、Channel和Sink组成。Flume内部有一个或者多个AgentAgent中可以包含多个Source和Sink。...
2021-10-23 20:11:14
171
原创 Hive的安装与配置
1.上传 导入jar包 上传jar包并解压，如果hive用的时2.33，在hive的lib下添加一个mysql-connect-jar2.将元数据管理配置为mysql Hive的元数据默认是保存在DerBy数据库中，但是这个数据库会随着客户端的移动而重新生成。所以统一将元数据使用mysql来保存。 在Hive的conf下添加以下配置信息： vi hive-site.xml...
2021-09-27 19:17:32
556
原创 爬虫与Scrapy简介
一、什么是爬虫网络爬虫又称网络蜘蛛、网络蚂蚁、网络机器人等，可以自动化浏览网络中的信息，当然浏览信息的时候需要按照我们制定的规则进行，这些规则我们称之为网络爬虫算法。搜索引擎离不开爬虫，搜索引擎每天会在海量的互联网信息中进行爬取，爬取优质信息并收录，例如百度，当用户在百度搜索引擎上检索对应关键词时，百度将对关键词进行分析处理，从收录的网页中找出相关网页，按照一定的排名规则进行排序并将结果展现给用户。...
2021-09-24 09:24:42
188
原创 JAVA的对称加密与非对称加密
1. 加密技术可以分为对称与非对称两种。 a.对称加密,解密,即加密与解密用的是同一把秘钥. b.非对称技术,加密与解密用的是不同的秘钥2.为什么进行加密假设这样一种场景A要发送一段消息给B,但是又不想以明文发送,所以就需要对消息进行加密.如果采用对称加密技术,那么加密与解密用的是同一把秘钥.除非B事先就知道A的秘钥,并且保存好.这样才可以解密A发来的消息.由于对称技术只有一把秘钥,所以秘钥的管理是一个很麻烦的问题.而非对称技术的诞生就解决了这个问题.非对称加密与解密使用的是不...
2021-09-22 15:56:11
456
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人