大数据
文章平均质量分 85
hellosrc2023
00后, 大数据研发(基础组件);
热爱开源, 追求技术, 精益求精;
一起加油, 一起努力, 共同进步
展开
-
记某同事的两次误操作导致Linux瘫痪
记某同事的两次误操作导致Linux瘫痪原创 2022-09-12 16:55:38 · 787 阅读 · 0 评论 -
工作中实用的 Git 操作
工作中实用的 Git 操作原创 2022-09-12 16:02:59 · 601 阅读 · 0 评论 -
大数据论文_03_BigTable(个人总结)
声明: 1. 本文为我的个人复习总结, 并非那种从零基础开始普及知识 内容详细全面, 言辞官方的文章 2. 由于是个人总结, 所以用最精简的话语来写文章原创 2022-03-31 20:17:32 · 2778 阅读 · 0 评论 -
操作系统_05_调度算法(个人总结)
声明: 1. 本文为我的个人复习总结, 并非那种从零基础开始普及知识 内容详细全面, 言辞官方的文章 2. 由于是个人总结, 所以用最精简的话语来写文章原创 2022-03-30 16:04:26 · 1357 阅读 · 0 评论 -
操作系统_04_IO相关(个人总结)
声明: 1. 本文为我的个人复习总结, 并非那种从零基础开始普及知识 内容详细全面, 言辞官方的文章 2. 由于是个人总结, 所以用最精简的话语来写文章原创 2022-03-30 16:03:34 · 2864 阅读 · 0 评论 -
操作系统_03_内存管理(个人总结)
声明: 1. 本文为我的个人复习总结, 并非那种从零基础开始普及知识 内容详细全面, 言辞官方的文章 2. 由于是个人总结, 所以用最精简的话语来写文章原创 2022-03-30 16:01:28 · 269 阅读 · 0 评论 -
操作系统_01_基础知识(个人总结)
声明: 1. 本文为我的个人复习总结, 并非那种从零基础开始普及知识 内容详细全面, 言辞官方的文章 2. 由于是个人总结, 所以用最精简的话语来写文章原创 2022-03-30 15:56:01 · 405 阅读 · 0 评论 -
操作系统_02_进程(个人总结)
声明: 1. 本文为我的个人复习总结, 并非那种从零基础开始普及知识 内容详细全面, 言辞官方的文章 2. 由于是个人总结, 所以用最精简的话语来写文章原创 2022-03-30 15:57:49 · 753 阅读 · 0 评论 -
大数据论文_02_MapReduce(个人总结)
声明: 1. 本文为我的个人复习总结, 并非那种从零基础开始普及知识 内容详细全面, 言辞官方的文章 2. 由于是个人总结, 所以用最精简的话语来写文章原创 2022-03-28 23:51:59 · 1945 阅读 · 0 评论 -
大数据论文_01_GFS(个人总结)
声明: 1. 本文为我的个人复习总结, 并非那种从零基础开始普及知识 内容详细全面, 言辞官方的文章 2. 由于是个人总结, 所以用最精简的话语来写文章原创 2022-03-28 23:21:13 · 2037 阅读 · 0 评论 -
Spark: Shuffle & 数据倾斜(个人总结)
声明: 1. 本文为我的个人复习总结, 并非那种从零基础开始普及知识 内容详细全面, 言辞官方的文章 2. 由于是个人总结, 所以用最精简的话语来写文章原创 2022-03-11 20:38:27 · 2645 阅读 · 0 评论 -
大数据软件安装配置教程[Linux, JDK, MySQL, Hadoop, ZooKeeper, Hive, Flume, Kafka, HBase-Phoenix, Scala, Spark等等]
声明: 1. 本文为我的个人复习总结, 并非那种从零基础开始普及知识 内容详细全面, 言辞官方的文章 2. 由于是个人总结, 所以用最精简的话语来写文章原创 2022-03-09 22:10:44 · 3289 阅读 · 2 评论 -
MapReduce经典程序【WordCount, TopN, MapJoin, ReduceJoin】(个人总结)
声明: 1. 本文为我的个人复习总结, 并非那种从零基础开始普及知识 内容详细全面, 言辞官方的文章 2. 由于是个人总结, 所以用最精简的话语来写文章原创 2022-03-09 21:23:46 · 2003 阅读 · 0 评论 -
造轮子实现RPC框架_01_MyRPCFramework简介
项目简介: 造轮子实现"MyRPCFramework"框架RPC介绍:RPC是让客户端远程调用服务端方法 就像 调用本地方法一样简单的一种设计理念一个最简单的 RPC 框架架构 :技术要点: SPI+注册中心+Socket编程+享元模式+动态代理+反射MyRPCFramework框架流程:服务端集群 把自己能提供的服务 注册进ZooKeeper客户端定义一个和服务端相同的接口, 然后生成这个接口的代理实现类, 代理负责(封装数据包, 拆解数据包, 访问ZooKeerper得到服务端ip原创 2022-03-08 00:51:56 · 1548 阅读 · 0 评论 -
HBase基础知识(个人总结)
声明: 1. 本文为我的个人复习总结, 并非那种从零基础开始普及知识 内容详细全面, 言辞官方的文章 2. 由于是个人总结, 所以用最精简的话语来写文章原创 2022-03-07 18:22:13 · 2134 阅读 · 0 评论 -
Flink_11_优化(个人总结)
声明: 1. 本文为我的个人复习总结, 并非那种从零基础开始普及知识 内容详细全面, 言辞官方的文章 2. 由于是个人总结, 所以用最精简的话语来写文章原创 2022-03-04 23:20:58 · 707 阅读 · 0 评论 -
Flink_10_CDC(个人总结)
声明: 1. 本文为我的个人复习总结, 并非那种从零基础开始普及知识 内容详细全面, 言辞官方的文章 2. 由于是个人总结, 所以用最精简的话语来写文章原创 2022-03-04 23:20:25 · 3807 阅读 · 9 评论 -
Flink_09_CEP(个人总结)
声明: 1. 本文为我的个人复习总结, 并非那种从零基础开始普及知识 内容详细全面, 言辞官方的文章 2. 由于是个人总结, 所以用最精简的话语来写文章原创 2022-03-04 23:19:46 · 419 阅读 · 0 评论 -
Flink_08_SQL(个人总结)
声明: 1. 本文为我的个人复习总结, 并非那种从零基础开始普及知识 内容详细全面, 言辞官方的文章 2. 由于是个人总结, 所以用最精简的话语来写文章原创 2022-03-04 23:19:05 · 1418 阅读 · 0 评论 -
Flink_07_CheckPoint(个人总结)
声明: 1. 本文为我的个人复习总结, 并非那种从零基础开始普及知识 内容详细全面, 言辞官方的文章 2. 由于是个人总结, 所以用最精简的话语来写文章原创 2022-02-24 13:49:18 · 822 阅读 · 0 评论 -
Flink_06_ProcessAPI(个人总结)
声明: 1. 本文为我的个人复习总结, 并非那种从零基础开始普及知识 内容详细全面, 言辞官方的文章 2. 由于是个人总结, 所以用最精简的话语来写文章原创 2022-02-24 13:48:02 · 391 阅读 · 0 评论 -
Flink_05_状态(个人总结)
声明: 1. 本文为我的个人复习总结, 并非那种从零基础开始普及知识 内容详细全面, 言辞官方的文章 2. 由于是个人总结, 所以用最精简的话语来写文章原创 2022-02-24 13:47:05 · 755 阅读 · 0 评论 -
Flink_04_Watermark(个人总结)
声明: 1. 本文为我的个人复习总结, 并非那种从零基础开始普及知识 内容详细全面, 言辞官方的文章 2. 由于是个人总结, 所以用最精简的话语来写文章原创 2022-02-20 00:07:19 · 859 阅读 · 0 评论 -
Flink_03_Window(个人总结)
声明: 1. 本文为我的个人复习总结, 并非那种从零基础开始普及知识 内容详细全面, 言辞官方的文章 2. 由于是个人总结, 所以用最精简的话语来写文章原创 2022-02-20 00:06:07 · 835 阅读 · 0 评论 -
Flink_02_算子(个人总结)
声明: 1. 本文为我的个人复习总结, 并非那种从零基础开始普及知识 内容详细全面, 言辞官方的文章 2. 由于是个人总结, 所以用最精简的话语来写文章原创 2022-02-20 00:05:07 · 802 阅读 · 0 评论 -
Flink_01_概述(个人总结)
声明: 1. 本文为我的个人复习总结, 并非那种从零基础开始普及知识 内容详细全面, 言辞官方的文章 2. 由于是个人总结, 所以用最精简的话语来写文章原创 2022-02-20 00:03:34 · 928 阅读 · 0 评论 -
JVM基础知识(个人总结)
声明: 1. 本文为我的个人复习总结, 并非那种从零基础开始普及知识 内容详细全面, 言辞官方的文章 2. 由于是个人总结, 所以用最精简的话语来写文章原创 2022-01-15 17:57:32 · 1542 阅读 · 0 评论 -
Spark基础知识(个人总结)
声明: 1. 本文为我的个人复习总结, 并非那种从零基础开始普及知识 内容详细全面, 言辞官方的文章 2. 由于是个人总结, 所以用最精简的话语来写文章原创 2021-12-18 12:31:28 · 5544 阅读 · 0 评论 -
Kafka基础知识(个人总结)
声明: 1. 本文为我的个人复习总结, 并非那种从零基础开始普及知识 内容详细全面, 言辞官方的文章 2. 由于是个人总结, 所以用最精简的话语来写文章原创 2021-12-18 12:24:54 · 1716 阅读 · 0 评论 -
离线数仓-基础知识(个人总结)
声明: 1. 本文为我的个人复习总结, 并非那种从零基础开始普及知识 内容详细全面, 言辞官方的文章 2. 由于是个人总结, 所以用最精简的话语来写文章原创 2021-12-09 23:26:46 · 8956 阅读 · 3 评论 -
ClickHouse基础知识(个人总结)
声明: 1. 本文为我的个人复习总结, 并非那种从零基础开始普及知识 内容详细全面, 言辞官方的文章 2. 由于是个人总结, 所以用最精简的话语来写文章原创 2021-11-15 00:19:16 · 1334 阅读 · 0 评论 -
Scala基础知识(个人总结)
声明: 1. 本文为我的个人复习总结, 并非那种从零基础开始普及知识 内容详细全面, 言辞官方的文章 2. 由于是个人总结, 所以用最精简的话语来写文章原创 2021-11-15 00:12:56 · 1588 阅读 · 0 评论 -
ZooKeeper基础知识(个人总结)
声明: 1. 本文为我的个人复习总结, 并非那种从零基础开始普及知识 内容详细全面, 言辞官方的文章 2. 由于是个人总结, 所以用最精简的话语来写文章原创 2021-10-22 12:45:08 · 1395 阅读 · 0 评论 -
Hadoop生产调优(个人总结)
声明: 1. 本文为我的个人复习总结, 并非那种从零基础开始普及知识 内容详细全面, 言辞官方的文章 2. 由于是个人总结, 所以用最精简的话语来写文章原创 2021-11-12 11:26:17 · 1634 阅读 · 2 评论 -
Yarn基础知识(个人总结)
声明: 1. 本文为我的个人复习总结, 并非那种从零基础开始普及知识 内容详细全面, 言辞官方的文章 2. 由于是个人总结, 所以用最精简的话语来写文章原创 2021-11-11 10:08:10 · 1111 阅读 · 0 评论 -
Hive基础知识(个人总结)
声明: 1. 本文为我的个人复习总结, 并非那种从零基础开始普及知识 内容详细全面, 言辞官方的文章 2. 由于是个人总结, 所以用最精简的话语来写文章原创 2021-10-24 19:10:56 · 4759 阅读 · 0 评论 -
Sqoop基础知识(个人总结)
声明: 1. 本文为我的个人复习总结, 并非那种从零基础开始普及知识 内容详细全面, 言辞官方的文章 2. 由于是个人总结, 所以用最精简的话语来写文章原创 2021-10-25 20:26:12 · 1031 阅读 · 0 评论 -
MapReduce基础知识(个人总结)
MapReduce有三个进程:MrAppMaster: 负责整个程序的过程调度及状态协调MapTaskReduceTask类型对应:Java类型Hadoop Writable类型BooleanBooleanWritableByteByteWritableIntIntWritableFloatFloatWritableLongLongWritableDoubleDoubleWritableStringTextMapMa原创 2021-11-05 22:06:59 · 2212 阅读 · 0 评论 -
使用小内存处理海量数据问题(个人总结)
我没验证具体数值的合法性, 且没给出每个数据大概占多大字节所以这里的2G, 并不是具体数值, 只是想说明处理海量数据时内存不足, 用常规的一次性把数据全部加载到内存是不可取的;所以需要你用小内存去处理海量数据, 不是具体值, 但至少得远小于常规处理操作(一次性全部数据加载到内存)的所需内存这里侧重的是海量数据处理的思想, 而不是斤斤计较数值是否合法 只有2G内存 去对100G的数据进行排序 对100G的文件, 依次读取1G, 然后快排后输出成file1文件; 循环此操作原创 2021-11-03 17:24:49 · 2105 阅读 · 2 评论