科普
轻言少语
这个作者很懒,什么都没留下…
展开
-
Kafka知识点小结
Kafka消息队列作用1、系统解耦2、流量削峰3、同步变异步三大特性1、高吞吐量 ,每秒百万级别 单机10万+ 可以满⾜每秒百万级别消息的⽣产和消费——⽣产消费。2、持久化 有⼀套完善的消息存储机制,确保数据的⾼效安全的持久化——中间存储。3、分布式 (CAP) 基于分布式的扩展和容错机制;Kafka的数据都会复制到⼏台服务器上。当某⼀台故障失效时,⽣产者和消费者转⽽使⽤其它的机器——整体Kafka主要术语Topic:主题,Kafka处理的消息的不同分类。Broker:消息原创 2021-09-22 09:40:11 · 70 阅读 · 0 评论 -
推荐系统概念
关键术语召回(Recall):从已知数据集中找到符合条件的数据。召回率 = 检索到相关的内容数量 / 系统所有相关的内容数量精确率 = 检索到相关的内容数量 / 检索到所有的内容数量排序(Ranking):根据用户兴趣爱好对多个召回策略的结果进行排序架构分析三元组(用户ID,事件ID,用户评分),一般通过行为数据得到隐式反馈评分召回阶段召回阶段结果:[uid,aid] 每个用户对未访问物品的可能喜欢特征阶段排序阶段输入:[uid,aid]+uaerFeature+itemF原创 2021-09-13 19:30:04 · 81 阅读 · 0 评论 -
Spark流式计算概念
流式计算特点:数据是⽆界的(unbounded)数据是动态的计算速度是⾮常快的计算不⽌⼀次计算不能终⽌相对应,离线计算特点:数据是有界的(Bounded)数据静态的计算速度通常较慢计算只执⾏⼀次计算终会终⽌在⼤数据计算领域中,通常所说的流式计算分为了实时计算和准实时计算。所谓实时计算就是来⼀条记录(⼀个事件Event)启动⼀次计算;⽽准实时计算则是介于实时计算和离线计算之间的⼀个计算,所以每次处理的是⼀个微⼩的批次常⻅的离线和流式计算框架常⻅的离线计算框架mapreduce原创 2021-08-23 17:58:18 · 1093 阅读 · 0 评论 -
Flume的安装配置
***:Flume目前只有Linux系统的启动脚本,没有Windows环境的启动脚本1、准备安装包,上传到虚拟机的某一目录下(随意,但尽量放到某一固定目录下,我的在:/root/softwares/)2、解压压缩包原创 2021-07-20 22:07:23 · 318 阅读 · 3 评论 -
Flume基础知识点
Flume的简介Flume是一种分布式的,可靠的、高可用的服务,用于有效地收集,聚合和移动大量日志数据。它具有基于流数据流的简单灵活的体系结构。它具有可调整的可靠性机制以及许多故障转移和恢复机制,具有强大的功能和容错能力。它使用一个简单的可扩展数据模型,允许在线分析应用程序。参考官网: http://flflume.apache.org/Flume目前只有Linux系统的启动脚本,没有Windows环境的启动脚本。Flume的体系结构Flume 运行的核心是 Agent。Flu原创 2021-07-19 14:42:28 · 373 阅读 · 0 评论 -
虚拟机ssh免密登录报错(WARNING: REMOTE HOST IDENTIFICATION HAS CHANGED!)
报错信息如下:这是由于在之前已经安装过相应的ssh免密登录,但由于服务器信息更改(重装虚拟机),服务器和客户端信息不匹配,只要进行如下操作(将known_hosts文件中那个无效的记录删除)即可:解决方法:ssh-keygen -R 目标主机之后就可以正常登陆了...原创 2021-06-28 08:33:52 · 956 阅读 · 0 评论 -
封装方法,判断一个点是否在圆内(给出圆的圆心和半径)
1 .行为(创建一个点)package exercise;//创建点类public class Point1 { //设置属性 private double x; private double y; /* //取值的规范:getter 构成:修饰词 返回值 方法名 (参数列表){ 方法体中的代码 return 返回值 } 修饰词:public 返回值:类型与属性一致 方法名:get+属性的名字,首字原创 2021-05-19 23:27:13 · 788 阅读 · 0 评论 -
简记JDK、JRE、JVM关系
JDK、JRE、JVM三者之间的关系,就像套娃一样,JDK是最大的那个娃娃,JVM是最小的那个。JDK是软件原创 2021-05-12 21:04:31 · 192 阅读 · 1 评论