网上学习资料一大堆,但如果学到的知识不成体系,遇到问题时只是浅尝辄止,不再深入研究,那么很难做到真正的技术提升。
一个人可以走的很快,但一群人才能走的更远!不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人,都欢迎加入我们的的圈子(技术交流、学习资源、职场吐槽、大厂内推、面试辅导),让我们一起学习成长!
华为云云耀云服务器L实例评测|单节点环境下部署ClickHouse21.1.9.41数据库
云耀云服务器L实例简介
云耀云服务器L实例
是新一代的轻量应用云服务器,专门为中小企业和开发者打造,提供开箱即用的便利性。云耀云服务器L实例
提供丰富且经过严格挑选的应用镜像,可以一键部署应用,极大地简化了客户在云端构建电商网站、Web应用、小程序、学习环境以及各类开发测试
等任务的过程。
Hadoop简介
Hadoop
是一个开源的分布式计算框架,能够处理大规模数据的存储和处理。它基于Google的MapReduce
算法和Google File System(GFS
)的思想,可以在廉价的硬件上进行高效的分布式计算。Hadoop有两个核心组件,一个是分布式文件系统Hadoop Distributed File System(HDFS
),另一个是分布式计算框架MapReduce。HDFS将大规模数据分散存储在多个节点上,而MapReduce则将计算分散到多个节点上进行并行计算,最终将结果汇总输出。Hadoop的优点是具有高可靠性、可扩展性和高效性,适合处理大规模数据。Hadoop被广泛应用于数据挖掘、机器学习、人工智能、搜索引擎
等领域。
一、配置环境
购买云耀云服务器L实例
在云耀云服务器L实例详情页,点击购买。
- 检查配置,确认购买。
查看云耀云服务器L实例状态
查看购买的云耀云服务器L实例状态,处在正常运行中。
重置密码
重置密码,点击重置密码选项,需要进行身份验证,选择手机验证后,即可重置密码成功。
查看弹性公网IP地址
- 复制弹性公网IP地址,远程连接服务器时使用。
FinalShell连接服务器
在FinalShell工具中,填写服务器弹性公网IP地址、账号密码信息,ssh连接远程服务器。
二、搭建Hadoop单机版本
详细安装步骤如下:
我们先开始配置java环境
首先下载java的jdk
wget https://download.java.net/openjdk/jdk8u41/ri/openjdk-8u41-b04-linux-x64-14_jan_2020.tar.gz
然后解压
tar -zxvf openjdk-8u41-b04-linux-x64-14_jan_2020.tar.gz
移动位置并且配置java路径
mv java-se-8u41-ri/ /usr/java8
echo 'export JAVA_HOME=/usr/java8' >> /etc/profile
echo 'export PATH=$PATH:$JAVA_HOME/bin' >> /etc/profile
source /etc/profile
检查是否安装成功
java -version
这是理想情况,若安装成功会出现如下结果
hadoop2.x
wget --no-check-certificate https://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common/hadoop-2.10.1/hadoop-2.10.1.tar.gz
tar -zxvf hadoop-2.10.1.tar.gz -C /opt/
mv /opt/hadoop-2.10.1 /opt/hadoop
配置地址
echo 'export HADOOP_HOME=/opt/hadoop/' >> /etc/profile
echo 'export PATH=$PATH:$HADOOP_HOME/bin' >> /etc/profile
echo 'export PATH=$PATH:$HADOOP_HOME/sbin' >> /etc/profile
source /etc/profile
配置yarn和hadoop
echo "export JAVA_HOME=/usr/java8" >> /opt/hadoop/etc/hadoop/yarn-env.sh
echo "export JAVA_HOME=/usr/java8" >> /opt/hadoop/etc/hadoop/hadoop-env.sh
查看Hadoop 安装情况
hadoop version
若出现上图情况,则说明安装成功
接下来需要利用vim来操作core-site 和 hdfs-site
vim /opt/hadoop/etc/hadoop/core-site.xml
进入vim环境
按下i(insert)修改
光标移动至configuration之间,复制如下的信息
<property>
<name>hadoop.tmp.dir</name>
<value>file:/opt/hadoop/tmp</value>
<description>location to store temporary files</description>
</property>
<property>
<name>fs.defaultFS</name>
<value>hdfs://localhost:9000</value>
</property>
网上学习资料一大堆,但如果学到的知识不成体系,遇到问题时只是浅尝辄止,不再深入研究,那么很难做到真正的技术提升。
一个人可以走的很快,但一群人才能走的更远!不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人,都欢迎加入我们的的圈子(技术交流、学习资源、职场吐槽、大厂内推、面试辅导),让我们一起学习成长!
img-eistp3Ln-1714916523023)]
网上学习资料一大堆,但如果学到的知识不成体系,遇到问题时只是浅尝辄止,不再深入研究,那么很难做到真正的技术提升。
一个人可以走的很快,但一群人才能走的更远!不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人,都欢迎加入我们的的圈子(技术交流、学习资源、职场吐槽、大厂内推、面试辅导),让我们一起学习成长!