【愚公系列】2024年02月 大数据教学课程 020-Hadoop的安装

原创 已于 2024-02-03 09:55:06 修改 · 9.3w 阅读 · 28 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#大数据 #hadoop #分布式

于 2024-02-02 14:22:19 首次发布

在这里插入图片描述

🏆 作者简介，愚公搬代码
🏆《头衔》：华为云特约编辑，华为云云享专家，华为开发者专家，华为产品云测专家，CSDN博客专家，CSDN商业化专家，阿里云专家博主，阿里云签约作者，腾讯云优秀博主，腾讯云内容共创官，掘金优秀博主，51CTO博客专家等。
🏆《近期荣誉》：2022年度博客之星TOP2，2023年度博客之星TOP2，2022年华为云十佳博主，2023年华为云十佳博主等。
🏆《博客内容》：.NET、Java、Python、Go、Node、前端、IOS、Android、鸿蒙、Linux、物联网、网络安全、大数据、人工智能、U3D游戏、小程序等相关领域知识。
🏆🎉欢迎 👍点赞✍评论⭐收藏

文章目录

🚀前言

在安装Hadoop之前，需要进行以下准备工作：

  1. 确认操作系统：Hadoop可以运行在多种操作系统上，包括Linux、Windows和Mac OS等。选择适合你的操作系统，并确保操作系统版本符合Hadoop的要求。

  2. 安装Java环境：Hadoop是基于Java开发的，因此需要先安装和配置Java环境。确保已经安装了符合Hadoop版本要求的Java Development Kit (JDK)，并设置好JAVA_HOME环境变量。

  3. 确认硬件要求：Hadoop是一个分布式系统，因此需要多台计算机组成集群。每台计算机至少需要具备一定的处理能力（如多核处理器）、足够的内存和硬盘空间等。根据Hadoop版本和集群规模，确认硬件要求并准备相应的计算机。

  4. 确认网络连接：Hadoop集群中的各个节点需要能够互相通信，因此需要保证网络连接正常。确保集群中的计算机之间可以通过局域网或云服务商的虚拟网络互相访问。

  5. 下载Hadoop软件包：从Hadoop官方网站下载适合你的操作系统和Hadoop版本的软件包。也可以考虑使用一些Hadoop发行版（如Cloudera、Hortonworks和Apache Bigtop等），它们提供了预配置的Hadoop环境和管理工具，简化安装和配置的过程。

  6. 配置Hadoop：在安装Hadoop之前，需要对Hadoop的相关配置文件进行调整和设置，包括Hadoop的核心配置文件（如hadoop-env.sh、core-site.xml等）和HDFS配置文件（如hdfs-site.xml）等。根据自己的需求和集群规模，进行相应的配置。

准备工作完成后，可以按照官方文档或相关教程的指引，进行Hadoop的安装和配置。安装完成后，可以启动Hadoop集群并验证其正常运行。

本文主要讲解Hadoop的安装

🚀一、appache版本hadoop重新编译

🔎1.appache版本hadoop重新编译

🦋1.1 为什么要编译hadoop

由于appache给出的hadoop的安装包没有提供带C程序访问的接口，所以我们在使用本地库（本地库可以用来做压缩，以及支持C程序等等）的时候就会出问题，需要对Hadoop源码包进行重新编译.

🦋1.2 编译环境的准备

☀️1.2.1 准备linux环境

准备一台linux环境，内存4G或以上，硬盘40G或以上，我这里使用的是Centos6.9 64位的操作系统（注意：一定要使用64位的操作系统）

☀️1.2.2 虚拟机联网，关闭防火墙，关闭selinux

关闭防火墙命令：

service  iptables   stop
chkconfig   iptables  off

关闭selinux

vim /etc/selinux/config

在这里插入图片描述

☀️1.2.3 安装jdk1.7

注意hadoop-2.7.5 这个版本的编译，只能使用jdk1.7，如果使用jdk1.8那么就会报错

查看centos6.9自带的openjdk

rpm -qa | grep java

在这里插入图片描述

将所有这些openjdk全部卸载掉

rpm -e java-1.6.0-openjdk-1.6.0.41-1.13.13.1.el6_8.x86_64 tzdata-java-2016j-1.el6.noarch java-1.7.0-openjdk-1.7.0.131-2.6.9.0.el6_8.x86_64

注意：这里一定不要使用jdk1.8，亲测jdk1.8会出现错误

将我们jdk的安装包上传到/export/softwares（我这里使用的是jdk1.7.0_71这个版本）

解压我们的jdk压缩包

统一两个路径

mkdir -p /export/servers
mkdir -p /export/softwares
cd /export/softwares
tar -zxvf jdk-7u71-linux-x64.tar.gz -C ../servers/

配置环境变量

vim /etc/profile

export JAVA_HOME=/export/servers/jdk1.7.0_71
export PATH=:$JAVA_HOME/bin:$PATH

在这里插入图片描述

让修改立即生效

source /etc/profile

☀️1.2.4 安装maven

这里使用maven3.x以上的版本应该都可以，不建议使用太高的版本，强烈建议使用3.0.5的版本即可

将maven的安装包上传到/export/softwares

然后解压maven的安装包到/export/servers

cd /export/softwares/
tar -zxvf apache-maven-3.0.5-bin.tar.gz -C ../servers/

配置maven的环境变量

vim /etc/profile

export MAVEN_HOME=/export/servers/apache-maven-3.0.5
export MAVEN_OPTS="-Xms4096m -Xmx4096m"
export PATH=:$MAVEN_HOME/bin:$PATH

在这里插入图片描述

让修改立即生效

source /etc/profile

解压maven的仓库

tar -zxvf mvnrepository.tar.gz -C /export/servers/

修改maven的配置文件

cd  /export/servers/apache-maven-3.0.5/conf
vim settings.xml

指定我们本地仓库存放的路径

在这里插入图片描述

添加一个我们阿里云的镜像地址，会让我们下载jar包更快

 <mirror>
  <id>alimaven</id>
  <name>aliyun maven</name>
  <url>http://maven.aliyun.com/nexus/content/groups/public/</url>
  <mirrorOf>central</mirrorOf>
</mirror>

在这里插入图片描述

☀️1.2.5 安装findbugs

解压findbugs

tar -zxvf findbugs-1.3.9.tar.gz -C ../servers/

配置findbugs的环境变量

vim /etc/profile

export JAVA_HOME=/export/servers/jdk1.7.0_75
export PATH=:$JAVA_HOME/bin:$PATH

export MAVEN_HOME=/export/servers/apache-maven-3.0.5
export PATH=:$MAVEN_HOME/bin:$PATH

export FINDBUGS_HOME=/export/servers/findbugs-1.3.9
export PATH=:$FINDBUGS_HOME/bin:$PATH

在这里插入图片描述

让修改立即生效

source /etc/profile

☀️1.2.6 在线安装一些依赖包
yum install autoconf automake libtool cmake
yum install ncurses-devel
yum install openssl-devel
yum install lzo-devel zlib-devel gcc gcc-c++

bzip2压缩需要的依赖包

yum install -y  bzip2-devel
☀️1.2.7 安装protobuf

解压protobuf并进行编译

cd  /export/softwares
tar -zxvf protobuf-2.5.0.tar.gz -C ../servers/
cd   /export/servers/protobuf-2.5.0
./configure
make && make install
☀️1.2.8 安装snappy
cd /export/softwares/
tar -zxf snappy-1.1.1.tar.gz  -C ../servers/
cd ../servers/snappy-1.1.1/
./configure
make && make install
☀️1.2.9 编译hadoop源码

对源码进行编译

cd  /export/softwares
tar -zxvf hadoop-2.7.5-src.tar.gz  -C ../servers/
cd  /export/servers/hadoop-2.7.5

编译支持snappy压缩：

mvn package -DskipTests -Pdist,native -Dtar -Drequire.snappy -e -X

编译完成之后我们需要的压缩包就在下面这个路径里面

/export/servers/hadoop-2.7.5/hadoop-dist/target

🚀二、Hadoop的安装

集群规划

服务器IP192.168.174.100192.168.174.110192.168.174.120
主机名node01node02node03
NameNode是否否
SecondaryNameNode是否否
dataNode是是是
ResourceManager是否否
NodeManager是是是

🔎1.上传apache hadoop包并解压

解压命令

cd /export/softwares
tar -zxvf hadoop-2.7.5.tar.gz -C ../servers/

在这里插入图片描述

🔎2.修改配置文件

🦋2.1 修改core-site.xml

第一台机器执行以下命令

cd  /export/servers/hadoop-2.7.5/etc/hadoop
vim  core-site.xml

<configuration>

	<property>
		<name>fs.default.name</name>
		<value>hdfs://node01:8020</value>
	</property>
    
	<property>
		<name>hadoop.tmp.dir</name>
		<value>/export/servers/hadoop-2.7.5/hadoopDatas/tempDatas</value>
	</property>

	<!--  缓冲区大小，实际工作中根据服务器性能动态调整 -->
	<property>
		<name>io.file.buffer.size</name>
		<value>4096</value>
	</property>

	<!--  开启hdfs的垃圾桶机制，删除掉的数据可以从垃圾桶中回收，单位分钟 -->
	<property>
		<name>fs.trash.interval</name>
		<value>10080</value>
	</property>
</configuration>

🦋2.2 修改hdfs-site.xml

第一台机器执行以下命令

cd  /export/servers/hadoop-2.7.5/etc/hadoop
vim hdfs-site.xml

<configuration>
	 <property>
			<name>dfs.namenode.secondary.http-address</name>
			<value>node01:50090</value>
	</property>

	<property>
		<name>dfs.namenode.http-address</name>
		<value>node01:50070</value>
	</property>
	<property>
		<name>dfs.namenode.name.dir</name>
		<value>file:///export/servers/hadoop-2.7.5/hadoopDatas/namenodeDatas,file:///export/servers/hadoop-2.7.5/hadoopDatas/namenodeDatas2</value>
	</property>
	<!--  定义dataNode数据存储的节点位置，实际工作中，一般先确定磁盘的挂载目录，然后多个目录用，进行分割  -->

	<property>
		<name>dfs.datanode.data.dir</name>
		<value>file:///export/servers/hadoop-2.7.5/hadoopDatas/datanodeDatas,file:///export/servers/hadoop-2.7.5/hadoopDatas/datanodeDatas2</value>
	</property>	
    
	<property>
		<name>dfs.namenode.edits.dir</name>
		<value>file:///export/servers/hadoop-2.7.5/hadoopDatas/nn/edits</value>
	</property>

	<property>
		<name>dfs.namenode.checkpoint.dir</name>
		<value>file:///export/servers/hadoop-2.7.5/hadoopDatas/snn/name</value>
	</property>
    
	<property>
		<name>dfs.namenode.checkpoint.edits.dir</name>
		<value>file:///export/servers/hadoop-2.7.5/hadoopDatas/dfs/snn/edits</value>
	</property>

	<property>
		<name>dfs.replication</name>
		<value>3</value>
	</property>


	<property>
		<name>dfs.permissions</name>
		<value>false</value>
	</property>

    <property>
		<name>dfs.blocksize</name>
		<value>134217728</value>
	</property>

</configuration>

🦋2.3 修改hadoop-env.sh

第一台机器执行以下命令

cd  /export/servers/hadoop-2.7.5/etc/hadoop
vim  hadoop-env.sh

export JAVA_HOME=/export/servers/jdk1.8.0_141

🦋2.4 修改mapred-site.xml

第一台机器执行以下命令

cd  /export/servers/hadoop-2.7.5/etc/hadoop
vim  mapred-site.xml

<configuration>
    
	<property>
		<name>mapreduce.job.ubertask.enable</name>
		<value>true</value>
	</property>


	<property>
		<name>mapreduce.jobhistory.address</name>
		<value>node01:10020</value>
	</property>
 
	<property>
		<name>mapreduce.jobhistory.webapp.address</name>
		<value>node01:19888</value>
	</property>

</configuration>

🦋2.5 修改yarn-site.xml

第一台机器执行以下命令

cd  /export/servers/hadoop-2.7.5/etc/hadoop
vim  yarn-site.xml

<configuration>
	<property>
		<name>yarn.resourcemanager.hostname</name>
		<value>node01</value>
	</property>
	<property>
		<name>yarn.nodemanager.aux-services</name>
		<value>mapreduce_shuffle</value>
	</property>
	
	<property>
		<name>yarn.log-aggregation-enable</name>
		<value>true</value>
	</property>
	<property>
		<name>yarn.log-aggregation.retain-seconds</name>
		<value>604800</value>
	</property>
	<property>    
		<name>yarn.nodemanager.resource.memory-mb</name>    
		<value>20480</value>
	</property>
	<property>  
        	 <name>yarn.scheduler.minimum-allocation-mb</name>
         	<value>2048</value>
	</property>
	<property>
		<name>yarn.nodemanager.vmem-pmem-ratio</name>
		<value>2.1</value>
	</property>

</configuration>

🦋2.6 修改mapred-env.sh

第一台机器执行以下命令

cd  /export/servers/hadoop-2.7.5/etc/hadoop
vim  mapred-env.sh

export JAVA_HOME=/export/servers/jdk1.8.0_141

🦋2.7 修改slaves

修改slaves文件，然后将安装包发送到其他机器，重新启动集群即可

第一台机器执行以下命令

cd  /export/servers/hadoop-2.7.5/etc/hadoop
vim slaves

node01
node02
node03

第一台机器执行以下命令

mkdir -p /export/servers/hadoop-2.7.5/hadoopDatas/tempDatas
mkdir -p /export/servers/hadoop-2.7.5/hadoopDatas/namenodeDatas
mkdir -p /export/servers/hadoop-2.7.5/hadoopDatas/namenodeDatas2
mkdir -p /export/servers/hadoop-2.7.5/hadoopDatas/datanodeDatas
mkdir -p /export/servers/hadoop-2.7.5/hadoopDatas/datanodeDatas2
mkdir -p /export/servers/hadoop-2.7.5/hadoopDatas/nn/edits
mkdir -p /export/servers/hadoop-2.7.5/hadoopDatas/snn/name
mkdir -p /export/servers/hadoop-2.7.5/hadoopDatas/dfs/snn/edits

安装包的分发

第一台机器执行以下命令

cd  /export/servers/
scp -r hadoop-2.7.5 node02:$PWD
scp -r hadoop-2.7.5 node03:$PWD

🔎3.配置hadoop的环境变量

三台机器都要进行配置hadoop的环境变量

三台机器执行以下命令

vim  /etc/profile

export HADOOP_HOME=/export/servers/hadoop-2.7.5
export PATH=:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH

配置完成之后生效

source /etc/profile

🔎4.启动集群

要启动 Hadoop 集群，需要启动 HDFS 和 YARN 两个模块。
注意： 首次启动 HDFS 时，必须对其进行格式化操作。 本质上是一些清理和
准备工作，因为此时的 HDFS 在物理上还是不存在的。

hdfs namenode -format 或者 hadoop namenode –format

准备启动

第一台机器执行以下命令

cd  /export/servers/hadoop-2.7.5/
bin/hdfs namenode -format
sbin/start-dfs.sh
sbin/start-yarn.sh
sbin/mr-jobhistory-daemon.sh start historyserver

三个端口查看界面

http://node01:50070/explorer.html#/ 查看hdfs

http://node01:8088/cluster 查看yarn集群

http://node01:19888/jobhistory 查看历史完成的任务

🚀感谢：给读者的一封信

亲爱的读者，

我在这篇文章中投入了大量的心血和时间，希望为您提供有价值的内容。这篇文章包含了深入的研究和个人经验，我相信这些信息对您非常有帮助。

如果您觉得这篇文章对您有所帮助，我诚恳地请求您考虑赞赏1元钱的支持。这个金额不会对您的财务状况造成负担，但它会对我继续创作高质量的内容产生积极的影响。

我之所以写这篇文章，是因为我热爱分享有用的知识和见解。您的支持将帮助我继续这个使命，也鼓励我花更多的时间和精力创作更多有价值的内容。

如果您愿意支持我的创作，请扫描下面二维码，您的支持将不胜感激。同时，如果您有任何反馈或建议，也欢迎与我分享。

在这里插入图片描述

再次感谢您的阅读和支持！

最诚挚的问候， “愚公搬代码”

【愚公系列】2024年02月 《网络安全应急管理与技术实践》 018-网络安全应急技术与实践（主机层-Liunx）
时光隧道
02-12 10万+
Linux主机层安全是指在Linux操作系统的主机层实施的一系列安全措施和策略，用于保护Linux主机免受各种安全威胁和攻击的影响。措施描述使用最新的操作系统和软件版本及时更新操作系统和软件补丁，以修复已知的安全漏洞配置强密码策略设置复杂的密码要求，如密码的长度、复杂度要求等，避免使用弱密码禁用不必要的服务关闭或禁用不需要的网络服务，减少攻击面防火墙配置配置防火墙规则，只允许必要的网络流量进入主机定期备份数据定期备份重要的数据，并将备份数据存储在安全的位置限制用户权限。
【愚公系列】2024年02月 《网络安全应急管理与技术实践》 009-网络安全应急技术与实践（网络层-攻击分析）
热门推荐
时光隧道
02-08 10万+
网络层攻击是指针对网络层协议（如IP协议）的攻击。这些攻击旨在破坏网络通信、拒绝服务、窃取数据等。以下是网络层攻击的一些常见类型：IP地址欺骗：攻击者使用虚假的IP地址，伪装成其他合法主机或者隐藏自己的真实IP地址，以进行攻击、欺骗或匿名操作。IP分片攻击：攻击者通过发送大量的IP分片数据包，使目标主机的网络资源被消耗或者造成服务拒绝。IP源路由欺骗：攻击者在IP数据包中伪造源地址和路由信息，使目标主机误认为数据包来自合法的源地址，可能导致信息泄露或者伪造数据包攻击。
【愚公系列】2024年02月 大数据教学课程 018-Hadoop辅助软件安装
时光隧道
02-01 9万+
Hadoop是一个开源的分布式计算平台，用于处理大数据量和复杂的数据处理任务。在搭建和使用Hadoop集群时，通常需要一些辅助软件来支持其运行和管理。下面是一些常用的辅助软件：JDK（Java Development Kit）：Hadoop是用Java语言编写的，所以需要安装JDK来支持Hadoop的运行。可以从Oracle官方网站下载适用于操作系统的JDK安装包。MySQL：Hadoop可以与关系型数据库进行交互，而MySQL是一个常用的关系型数据库管理系统。
【愚公系列】2024年02月 大数据教学课程 016-Hadoop预备知识
时光隧道
01-31 9万+
Hadoop是一个开源的分布式计算框架，用于存储和处理大规模数据集。它由Apache软件基金会开发和维护。Hadoop的核心组件包括：Hadoop Distributed File System（HDFS）：用于存储大数据集的分布式文件系统。它可以将数据分布在集群的多个机器上，并提供了高可靠性和容错能力。MapReduce：一种用于分布式计算的编程模型。MapReduce将计算任务分解为多个独立的Map和Reduce阶段，并将它们分发到不同的机器上进行并行处理。
【愚公系列】2024年02月 大数据教学课程 017-Hadoop环境配置
时光隧道
02-01 9万+
🏆 作者简介，愚公搬代码🏆《头衔》：华为云特约编辑，华为云云享专家，华为开发者专家，华为产品云测专家，CSDN博客专家，CSDN商业化专家，阿里云专家博主，阿里云签约作者，腾讯云优秀博主，腾讯云内容共创官，掘金优秀博主，51CTO博客专家等。🏆《近期荣誉》：2022年度博客之星TOP2，2023年度博客之星TOP2，2022年华为云十佳博主，2023年华为云十佳博主等。
【愚公系列】2024年02月 大数据教学课程 022-Hadoop的HDFS
时光隧道
02-03 9万+
HDFS是Hadoop分布式文件系统（Hadoop Distributed File System）的缩写。它是一种分布式文件系统，旨在将大量的数据存储在Hadoop集群中的多台机器上。HDFS具有高度容错性，并且设计用于在低成本硬件上部署。它允许高吞吐量的数据访问，并为大数据应用程序提供可扩展的存储。HDFS是Apache Hadoop生态系统的关键组件之一，许多组织使用它来存储和处理大型数据集。
【愚公系列】2024年02月 大数据教学课程 019-Hadoop的体系
时光隧道
02-02 9万+
Hadoop模块功能提供Hadoop的基本功能，包括分布式文件系统（HDFS）、分布式数据处理、分布式调度和集群管理等用于存储大量数据，并提供高容错性和高吞吐量负责集群资源的调度和分配，将Hadoop从一个简单的批处理系统转变为一个通用的大数据处理平台，支持不同的计算模型，如MapReduce、Spark和Flink等并行处理大规模数据集，通过将输入数据分成多个小块，然后分发给集群中的多个计算节点进行处理，并将结果汇总输出。
【愚公系列】2024年02月 大数据教学课程 021-zookeeper的使用
时光隧道
02-03 9万+
作用描述分布式协调和一致性协调多个节点的活动，确保一致性和顺序。实现一致性、领导选举、集群管理等功能，确保系统的稳定和可靠性。高可用性和容错性Zookeeper是高可用的分布式系统，通过多个节点提供服务，容忍节点故障并自动进行主从切换。作为其他分布式系统的高可用组件，提供稳定的分布式协调和管理服务，保证系统的连续可用性。配置管理和动态更新作为配置中心，集中管理和分发配置信息。通过订阅机制，实现对配置的动态更新，以适应系统的变化和需求的变化。分布式锁和并发控制。
【愚公系列】2023年11月 大数据教学课程 015-JVM字节码
时光隧道
11-28 6万+
字节码是一种中间代码形式，其设计目的是为了在不同的平台上实现跨语言的程序执行。它是一种类似于汇编语言的低级代码，使用单字节指令表示高级语言中的指令，通常以二进制形式存储。Java和Python等编程语言都采用了字节码技术，将源代码编译成字节码，然后运行时再将字节码解释成机器代码执行。这种方法既保证了跨平台性，也提高了程序的运行效率。
【愚公系列】2023年11月 大数据教学课程 002-Linux介绍和常用命令
时光隧道
11-24 6万+
Linux是一种开放源代码的操作系统，它基于Unix操作系统设计，具有良好的稳定性和安全性，被广泛应用于服务器、移动设备、个人电脑和嵌入式设备等领域。Linux系统类型有很多，以下是一些常见的类型：Debian：以稳定性和安全性著称，适合服务器环境。Ubuntu：以简单易用和友好的用户界面著称，适合个人电脑和桌面系统。Red Hat Enterprise Linux：以企业级支持和稳定性著称，适合大型企业和机构。
【愚公系列】2023年11月 大数据教学课程 014-JVM实战之Tomcat和参数优化
时光隧道
11-28 6万+
Tomcat是一个Java Servlet容器，也是一个开源的Web服务器，可以将Java代码转换成HTML代码，并且能够处理HTTP请求和响应。Tomcat是Java应用程序的一个重要组成部分，主要用于将Java代码转换为动态网页。Tomcat优化主要是为了提高其性能和稳定性，因为Tomcat在处理大量请求时可能会出现响应延迟和崩溃等问题。通过优化Tomcat可以提高其容器的并发处理能力、增加吞吐量、减少响应时间、优化内存管理、提高安全性和稳定性等，从而提高用户的体验和应用的可靠性。
【愚公系列】2024年12月 HarmonyOS教学课程 015-ArkUI组件（Radio）_arkui如何获取radio组件的值
2401_84520026的博客
05-13 349
/ 切换为响铃模式。// 切换为振动模式。// 切换为静音模式。
【愚公系列】2024年02月 《网络安全应急管理与技术实践》 013-网络安全应急技术与实践（Web层-XSS钓鱼攻击）
时光隧道
02-10 10万+
XSS（跨站脚本）是一种常见的网络攻击技术，攻击者通过在受害者的网页中注入恶意脚本，来获取用户的敏感信息或执行恶意操作。因此，XSS高级钓鱼指的是通过XSS攻击手段来进行钓鱼行为，即通过在网页中注入恶意代码，并伪装成合法的网站或登录页面，从而诱使用户输入敏感信息。
【愚公系列】2024年03月 《CTF实战：从入门到提升》 003-Web安全基础知识（HTTP安全）
时光隧道
02-26 9万+
HTTP安全是指在使用HTTP协议进行通信时，采取的一系列措施和技术，以确保传输过程中的数据的机密性、完整性和可信性。HTTP协议本身是一种明文的协议，数据在传输过程中容易被窃听、篡改或伪造。措施描述HTTPS在HTTP协议基础上增加了SSL/TLS加密层，通过对通信内容进行加密以保护数据的机密性。加密使用对称加密或非对称加密算法对敏感数据如用户登录信息或支付信息进行加密，防止数据被窃听。认证通过身份验证技术验证通信双方的身份，确保通信的可信性。
大数据进阶：用database提升稳定性与效率
jhakljshfkljash的博客
11-15 334
大数据存储与处理的利器——TDengine 引言 在大数据时代，海量数据的存储与高效处理成为了众多开发者面临的挑战。传统的数据库在应对高并发、大规模数据写入和查
工业互联网中的AI与大数据：推动智能化决策的力量
2509_93699011的博客
11-16 676
摘要： 工业互联网通过融合大数据、人工智能（AI）和物联网（IoT）技术，推动制造业智能化升级。大数据实时采集生产设备、质量及供应链数据，优化生产调度与能源管理；AI则通过机器学习实现预测性维护、智能决策和质量检测。二者协同驱动实时分析与自适应优化，应用于智能工厂、供应链及物流管理。未来，边缘计算和数据安全将成为发展重点，AI自学习能力将进一步提升自动化水平，助力制造业高效转型。
ElasticSearch9入门（二）分词器安装与复杂查询语法
Huathy的博客
11-17 584
在ES中，term查询对输入不做分词，会将输入作为一个整体，在倒排索引中查找准确的词向量，并且使用相关度得分公式为每个包含改词项的文档进行相关度计算。这种查询类型对于搜索精确短语非常有用，尤其是在用户输入的查询与文档中的文本表达方式需要严格匹配时。对于match查询，ES将比较查询的词项与倒排索引中的词项，并计算文档的相关性得分。在Elasticsearch这样的全文搜索引擎中，地理空间位置查询被广泛应用，例如在旅行、房地产、物流和零售等行业，用于提供基于位置的搜索功能。
HDFS 小文件的定位和治理
最新发布
houzhizhen的专栏
11-17 98
本文介绍了Hadoop小文件定位与治理的方法。定位方面：1)通过NameNode的DFS Used值和blocks数量计算平均block大小；2)使用hadoop fs命令统计目录文件数和空间占用。治理方面：建议先定位小文件来源，再针对性处理，如Hive可使用小文件合并工具。文章提供了具体计算公式和操作示例，帮助解决Hadoop集群中小文件过多的问题。
springboot基于大数据技术的电影推荐系统的设计与实现~源码+部署教程
程序猿徐师兄的博客
11-16 1105
摘要 基于大数据技术的电影推荐系统采用SpringBoot框架和MySQL数据库，结合数据挖掘与机器学习技术，实现个性化电影推荐。系统通过分析用户行为（评分、评论、浏览记录）动态优化推荐算法，支持用户个性化设置与管理员后台管理。开发采用模块化设计，遵循软件工程流程，完成需求分析、系统设计、功能实现及测试验证。前台提供电影查询、收藏及论坛交流功能，后台实现用户管理、数据爬取及统计分析。系统提升了用户体验，为电影营销提供数据支持，具有较高的实用价值。 关键词：电影推荐；SpringBoot；MySQL；大数据；
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

愚公搬代码

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值