- 博客(15)
- 资源 (1)
- 收藏
- 关注
原创 【RSA加密算法】
RSA公钥加密算法是1977年由罗纳德·李维斯特(Ron Rivest)、阿迪·萨莫尔(Adi Shamir)和伦纳德·阿德曼(Leonard Adleman)一起提出的。1987年首次公布,当时他们三人都在麻省理工学院工作。RSA就是他们三人姓氏开头字母拼在一起组成的。RSA算法是现今使用最广泛的公钥密码算法,也是号称地球上最安全的加密算法。
2023-05-06 00:09:48
592
原创 【Java面向对象】概述
类(Class)和对象(Object)是面向对象的核心概念。1、什么是类类:具有相同特征的事物的抽象描述,是抽象的、概念上的定义。2、什么是对象对象:实际存在的该类事物的每个个体,是具体的,因而也称为实例(instance)。类 => 抽象概念的人;对象 => 实实在在的某个人面向对象程序设计的重点是类的设计,类的设计,其实就是类的成员的设计类,是一组相关属性和行为的集合,这也是类最基本的两个成员。属性:该类事物的状态信息。对应类中的成员变量成员变量 属性 Field行为。
2023-03-29 23:29:47
125
原创 【Flume】Flume概述
Flume是一个高可用的,高可靠的,分布式的海量日志采集、聚合和传输的系统,基于流式架构,灵活简单。Flume实时读取服务器本地磁盘的数据,将数据写入到HDFS。
2022-10-28 18:12:38
252
原创 【Linux】进程管理相关命令
进程(Process)是计算机中的程序关于某数据集合上的一次运行活动,是系统进行资源分配和调度的基本单位,是操作系统结构的基础。
2022-10-22 15:41:48
1031
原创 【Linux】VMware下载安装
1.找到自己的下载目录,双击开始安装。3.收费专业版(建议下这个版本)7.自主开源~(可省略)4.下一步,取消勾选。
2022-10-19 22:08:16
1205
原创 【Hadoop】MapReduce概述
MapReduce 是一个分布式计算框架,用于编写分布式应用程序,这些应用程序以可靠,容错的方式并行处理大型硬件集群(数千个节点)上的大量数据(多TB数据集)。MapReduce 是一种面向海量数据处理的一种指导思想,也是一种用于对大规模数据进行分布式计算的编程模型。
2022-10-12 21:06:36
676
原创 【Hadoop】HDFS的读写流程
客户端开始往 dn1 上传第一个 Block(先从磁盘读取数据放到一个本地内存缓存),以 Packet 为单位,dn1 收到一个 Packet 就会传给 dn2,dn2 传给 dn3;客户端通过 FSDataOutputStream 模块请求 dn1 上传数据,dn1 收到请求会继续调用dn2,然后 dn2 调用 dn3,将这个通信管道建立完成。客户端通过 Distributed FileSystem 模块向 NameNode 请求上传文件,NameNode 检查目标文件是否已存在,父目录是否存在。
2022-10-05 11:16:51
422
原创 【Hadoop】 HDFS的命令
从 HDFS 的一个路径拷贝到 HDFS 的另一个路径。显示一个HDFS文件的末尾 1kb 的数据。(大部分HDFS命令与Linux一样的)从本地文件系统中拷贝文件到 HDFS。创建HDFS路径( -P 递归创建)递归删除HDFS目录及目录里面内容。从 HDFS 拷贝到本地文件系统。统计HDFS文件夹的大小信息。(两个是完全相同的)显示HDFS目录信息。显示HDFS文件内容。
2022-10-05 10:49:07
804
原创 【Hadoop】HDFS概述
随着数据量越来越大,在一个操作系统存不下所有的数据,那么就分配到更多的操作系统管理的磁盘中,但是不方便管理和维护,迫切需要一种系统来管理多台机器上的文件,这就是分布式文件管理系统。HDFS是分布式文件管理系统中的一种。HDFS(Hadoop Distributed File System),它是一个分布式文件系统,用于存储文件,通过目录树来定位文件;由很多服务器联合起来实现其功能,集群中的服务器有各自的角色;适合一次写入,多次读出的场景。
2022-10-04 23:53:16
633
原创 【Hadoop】Hadoop完全分布式集群搭建
然后 scp ~/.ssh/authorized_keys hadoop@HadoopSlaver01: ~/.ssh。(如果版本和上传的不一致,就是虚拟机自带了java ,直接先 which java 找到路径,直接 rm -rf 删掉即可)3台虚拟机都进行 vim /etc/sysconfig/network-scripts/ifcfg-eth0。先到root用户,然后vim ~/.bash_profile(记得source)配置jdk hadoopd的环境变量(一样的操作,3台都要配置)
2022-09-28 09:47:05
502
原创 【Hadoop】Hadoop是什么?
Hadoop以并行的方式工作,通过并行处理加快处理速度,能够在节点之间动态地移动数据,并保证各个节点的动态平衡,因此处理速度非常快。Hadoop按位存储和处理数据的能力值得人们信赖,它维护多个工作数据副本,确保能够针对失败的节点重新分布处理。Hadoop是在可用的计算机集簇间分配数据并完成计算任务的,这些集簇可以方便地扩展到数以千计的节点中。Hadoop能够自动保存数据的多个副本,并且能够自动将失败的任务重新分配。Hadoop是开源的,项目的成本比较低,任何人都可以使用。Hadoop是一个由。
2022-09-24 17:21:13
1595
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人