- 博客(15)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 【RSA加密算法】
RSA公钥加密算法是1977年由罗纳德·李维斯特（Ron Rivest）、阿迪·萨莫尔（Adi Shamir）和伦纳德·阿德曼（Leonard Adleman）一起提出的。1987年首次公布，当时他们三人都在麻省理工学院工作。RSA就是他们三人姓氏开头字母拼在一起组成的。RSA算法是现今使用最广泛的公钥密码算法，也是号称地球上最安全的加密算法。
2023-05-06 00:09:48
592
原创 【Java面向对象】概述
类(Class)和对象(Object)是面向对象的核心概念。1、什么是类类：具有相同特征的事物的抽象描述，是抽象的、概念上的定义。2、什么是对象对象：实际存在的该类事物的每个个体，是具体的，因而也称为实例(instance)。类 => 抽象概念的人；对象 => 实实在在的某个人面向对象程序设计的重点是类的设计,类的设计，其实就是类的成员的设计类，是一组相关属性和行为的集合，这也是类最基本的两个成员。属性：该类事物的状态信息。对应类中的成员变量成员变量 属性 Field行为。
2023-03-29 23:29:47
125
原创 【Flume】Flume概述
Flume是一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统,基于流式架构，灵活简单。Flume实时读取服务器本地磁盘的数据，将数据写入到HDFS。
2022-10-28 18:12:38
252
原创 【Linux】进程管理相关命令
进程（Process）是计算机中的程序关于某数据集合上的一次运行活动，是系统进行资源分配和调度的基本单位，是操作系统结构的基础。
2022-10-22 15:41:48
1031
原创 【Linux】VMware下载安装
1.找到自己的下载目录，双击开始安装。3.收费专业版（建议下这个版本）7.自主开源~（可省略）4.下一步，取消勾选。
2022-10-19 22:08:16
1205
原创 【Hadoop】MapReduce概述
MapReduce 是一个分布式计算框架，用于编写分布式应用程序，这些应用程序以可靠，容错的方式并行处理大型硬件集群（数千个节点）上的大量数据（多TB数据集）。MapReduce 是一种面向海量数据处理的一种指导思想，也是一种用于对大规模数据进行分布式计算的编程模型。
2022-10-12 21:06:36
676
原创 【Hadoop】HDFS的读写流程
客户端开始往 dn1 上传第一个 Block（先从磁盘读取数据放到一个本地内存缓存），以 Packet 为单位，dn1 收到一个 Packet 就会传给 dn2，dn2 传给 dn3；客户端通过 FSDataOutputStream 模块请求 dn1 上传数据，dn1 收到请求会继续调用dn2，然后 dn2 调用 dn3，将这个通信管道建立完成。客户端通过 Distributed FileSystem 模块向 NameNode 请求上传文件，NameNode 检查目标文件是否已存在，父目录是否存在。
2022-10-05 11:16:51
422
原创 【Hadoop】 HDFS的命令
从 HDFS 的一个路径拷贝到 HDFS 的另一个路径。显示一个HDFS文件的末尾 1kb 的数据。（大部分HDFS命令与Linux一样的）从本地文件系统中拷贝文件到 HDFS。创建HDFS路径（ -P 递归创建）递归删除HDFS目录及目录里面内容。从 HDFS 拷贝到本地文件系统。统计HDFS文件夹的大小信息。(两个是完全相同的)显示HDFS目录信息。显示HDFS文件内容。
2022-10-05 10:49:07
804
原创 【Hadoop】HDFS概述
随着数据量越来越大，在一个操作系统存不下所有的数据，那么就分配到更多的操作系统管理的磁盘中，但是不方便管理和维护，迫切需要一种系统来管理多台机器上的文件，这就是分布式文件管理系统。HDFS是分布式文件管理系统中的一种。HDFS（Hadoop Distributed File System），它是一个分布式文件系统，用于存储文件，通过目录树来定位文件；由很多服务器联合起来实现其功能，集群中的服务器有各自的角色；适合一次写入，多次读出的场景。
2022-10-04 23:53:16
633
原创 【Hadoop】Hadoop完全分布式集群搭建
然后 scp ~/.ssh/authorized_keys hadoop@HadoopSlaver01: ~/.ssh。(如果版本和上传的不一致，就是虚拟机自带了java ,直接先 which java 找到路径，直接 rm -rf 删掉即可)3台虚拟机都进行 vim /etc/sysconfig/network-scripts/ifcfg-eth0。先到root用户,然后vim ~/.bash_profile（记得source）配置jdk hadoopd的环境变量(一样的操作，3台都要配置)
2022-09-28 09:47:05
502
原创 【Hadoop】Hadoop是什么?
Hadoop以并行的方式工作，通过并行处理加快处理速度，能够在节点之间动态地移动数据，并保证各个节点的动态平衡，因此处理速度非常快。Hadoop按位存储和处理数据的能力值得人们信赖，它维护多个工作数据副本，确保能够针对失败的节点重新分布处理。Hadoop是在可用的计算机集簇间分配数据并完成计算任务的，这些集簇可以方便地扩展到数以千计的节点中。Hadoop能够自动保存数据的多个副本，并且能够自动将失败的任务重新分配。Hadoop是开源的，项目的成本比较低，任何人都可以使用。Hadoop是一个由。
2022-09-24 17:21:13
1595
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人