大数据
文章平均质量分 65
大数据相关
菜丸子
极致
展开
-
【RUST】序列化
Serdeserde_jsonbincode原创 2022-01-31 22:18:50 · 739 阅读 · 0 评论 -
【大数据】基础
123原创 2018-10-20 12:50:02 · 215 阅读 · 0 评论 -
【计算机网络】网络层
物理层数据链路层网络层运输层应用层网络安全互联网的音频视频服务无线网络和移动网络1.网络层向上只提供简单灵活,无连接的,尽最大努力交付的数据报服务2.网络层不保证分组不出错,不丢失,不重复和不失序,如果需要可靠通讯,需要运输层负责1.配套协议1.将网络互联起来需要使用一些中间设备2.使用转发器或网桥仅仅是放大了同一个网络,而不是将网络互连3.我们使用IP协议让不同网络在网络层看起来好像是一个统一的网络,其实就叫做虚拟互连网络4.直接交付和间接交付1.IP地址就是给互联网每一个主机或路由器的原创 2020-02-24 00:47:34 · 790 阅读 · 0 评论 -
【计算机网络】网络安全
1.建立索引建立索引可以用,分割来选中多个,也可以用*来通配,比如:2.查询方式⑴搜索栏status:200 // 检查查询status:[400 TO 499] // 范围查询r status:[400 TO 499] AND (extension:php OR extension:html) // AND OR NOT⑵通过filter栏⑶ Edit Query DSL...原创 2020-03-22 19:39:54 · 426 阅读 · 0 评论 -
【Flink】概述
RT原创 2019-12-07 22:25:38 · 174 阅读 · 0 评论 -
【大数据】Spark
一 什么是sparkspark是一个实现快速通用的集群计算平台。它是由加州大学伯克利分校AMP实验室 开发的通用内存并行计算框架,用来构建大型的、低延迟的数据分析应用程序。它扩展了广泛使用的MapReduce计算模型。高效的支撑更多计算模式,包括交互式查询和流处理。二 spark的特点1 高效性 MapReduce过程中Map端输出的结果要落地到磁盘,reduce端从磁盘读取,输出结果还要落...原创 2018-12-18 18:28:58 · 257 阅读 · 0 评论 -
【大数据】HIVE
一 hive的基本概念hive是由facebook开源hive并非是一个关系型数据库,实际的数据存储在hdfs上,它只是做映射hive的本质是将 SQL 语句转换为 MapReduce 任务运行,可以减少学习mapreduce的时间,但是很复杂的还是不行hive是离线的hive需要一个mysql来存储它的元数据,它默认带有一个deby的数据库但是我们并不推荐使用二 hive的优缺点优...原创 2018-12-18 16:46:06 · 294 阅读 · 0 评论 -
【大数据】hadoop
一、hadoop简介Hadoop是使用Java编写,允许分布在集群,使用简单的编程模型的计算机大型数据集处理的Apache的开源框架。二、hadoop架构设计⑴hadoopcommon hadoop基础设施模块⑵hdfs 分布式文件系统⑶mapreduce 实现在很多机器上分布式并行运算⑷yarn ...原创 2018-11-04 23:05:15 · 339 阅读 · 0 评论