小知识点：ARM 架构 Linux 大数据集群基础环境搭建（Hadoop、MySQL、Hive、Spark、Flink、ZK、Kafka、Nginx、Node）

已于 2023-02-21 08:50:14 修改
阅读量2.1k 收藏 31
点赞数 6
分类专栏： 小知识点 文章标签： 大数据 linux
于 2023-02-19 16:06:01 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/baidu_40468340/article/details/129095396
版权

  换了 M2 芯片的 Mac，以前 x86 版本的 Linux 大数据集群基础环境搭建在 ARM 架构的虚拟机集群上有些用不了了，现在重新写一份基于 ARM 架构的，少数不兼容之外其他都差不多，相当于更新一版以前的

部分和 x86 的一样
x86 版：Linux 虚拟机：大数据集群基础环境搭建（Hadoop、Spark、Flink、Hive、Zookeeper、Kafka、Nginx）

目录

一、相关文件下载地址

  • ARM 架构的 Centos 7
  • Java-1.8
    • https://www.oracle.com/java/technologies/downloads/#java8
      • 选择 ARM 64 版本的，网上搜一个 Oracle 账号就能下载
  • Python-3.9
    • https://www.python.org/ftp/python/3.9.6/Python-3.9.6.tgz
  • Scala-2.12
    • https://www.scala-lang.org/download/2.12.12.html
  • Hadoop-3.2.1
    • http://archive.apache.org/dist/hadoop/common/hadoop-3.2.1/hadoop-3.2.1.tar.gz
  • Spark-3.1.2
    • http://archive.apache.org/dist/spark/spark-3.1.2/spark-3.1.2-bin-hadoop3.2.tgz
  • Flink-1.13.1
    • http://archive.apache.org/dist/flink/flink-1.13.1/flink-1.13.1-bin-scala_2.12.tgz
  • Hive-3.1.3
    • http://archive.apache.org/dist/hive/hive-3.1.3/apache-hive-3.1.3-bin.tar.gz
  • Zookeeper-3.8.0
    • http://archive.apache.org/dist/zookeeper/zookeeper-3.8.0/apache-zookeeper-3.8.0-bin.tar.gz
  • Kafka-3.2.0
    • http://archive.apache.org/dist/kafka/3.2.0/kafka_2.12-3.2.0.tgz
  • Nginx-1.23.1
    • https://nginx.org/download/nginx-1.23.1.tar.gz
  • Node-18.14.1
    • https://nodejs.org/dist/v17.9.1/node-v17.9.1-linux-arm64.tar.gz
  • Doris-1.2.2
    • https://mirrors.tuna.tsinghua.edu.cn/apache/doris/1.2/1.2.2-rc01/apache-doris-fe-1.2.2-bin-arm.tar.xz
    • https://mirrors.tuna.tsinghua.edu.cn/apache/doris/1.2/1.2.2-rc01/apache-doris-be-1.2.2-bin-arm.tar.xz
    • https://mirrors.tuna.tsinghua.edu.cn/apache/doris/1.2/1.2.2-rc01/apache-doris-dependencies-1.2.2-bin-arm.tar.xz

二、基础环境配置

  • 创建的用户并添加 sudo 权限并免密
# root 下
useradd -m ac_cluster
passwd ac_cluster
# sudo 权限
sudo vi /etc/sudoers
# 添加下面两条
ac_cluster	ALL=(ALL)	ALL
ac_cluster	ALL=(ALL)	NOPASSWD: ALL
# 保存退出
:wq!
  • 修改静态 IP
# 编辑该文件
sudo vi /etc/sysconfig/network-scripts/ifcfg-ens160
# 修改参考如下，具体的在安装虚拟机的时候有展示，
BOOTPROTO=static
GATEWAY="192.168.104.2"
IPADDR="192.168.104.101"
NETMASK="255.255.255.0"
DNS1="8.8.8.8"
DNS2="114.114.114.114"
# 重启网络
sudo systemctl restart network
  • 修改 yum 源
    • 这里用的是阿里云的 yum 源
# 先下载 wget
sudo yum -y install wget
# 修改阿里云的配置
sudo wget http://mirrors.aliyun.com/repo/Centos-altarch-7.repo -O /etc/yum.repos.d/CentOS-Base.repo
# 清理软件源
yum clean all
# 元数据缓存
yum makecache
# 测试
sudo yum -y install vim
  • 修改 hostname
# 根据实际修改
vim /etc/hostname
# 重启
reboot
  • 关闭防火墙
sudo systemctl stop firewalld
sudo systemctl disable firewalld
  • 修改域名映射
sudo vim /etc/hosts
  • 配置机器间免密登陆
# 输入后三次回车
ssh-keygen -t rsa
# 配置节点
ssh-copy-id hybrid01

在这里插入图片描述

  • 配置时间同步
sudo yum -y install ntpdate
sudo ntpdate ntp1.aliyun.com
# 可选，也可以配置自动执行时间同步，根据自己需求来
crontab -e */1 * * * * sudo /usr/sbin/ntpdate ntp1.aliyun.com

三、语言环境配置

3.1 Java 环境安装

  • 准备好 ARM 64 的 Java 包
# 使用 rz -be 上传文件，没有的先下载，或者使用其他工具上传
sudo yum -y install lrzsz
# 上传，选择本地下载好的位置
rz -be
# 解压 Java 包
tar -zxvf jdk-8u361-linux-aarch64.tar.gz -C ../program/
# 配置环境变量
vim ~/.bash_profile
# 添加下面两条
export JAVA_HOME=/xx/xx
export PATH=$JAVA_HOME/bin:$PATH
# 更新环境
source ~/.bash_profile
# 测试
java -version
# 传给其他节点并配置环境变量即可
scp -r jdk1.8.0_361/ ac_cluster@hybrid02:$PWD

在这里插入图片描述

3.2 Python 环境安装

  • 下载好源码包，可以使用 wget 下载
# 下载 Python 源码包
wget https://www.python.org/ftp/python/3.9.6/Python-3.9.6.tgz
# 解压
tar -zxvf Python-3.9.6.tgz
# 安装依赖环境
sudo yum -y install unzip net-tools bzip2 zlib-devel bzip2-devel openssl-devel ncurses-devel sqlite-devel readline-devel tk-devel gdbm-devel libpcap-devel xz-devel libglvnd-glx gcc gcc-c++ make
# 预配置
./configure --prefix=/home/ac_cluster/program/python3.9.6 
# 编译安装
make && make install
# 配置环境变量或者软链接到 /usr/bin 中
sudo ln -s /home/ac_cluster/program/python3.9.6/bin/python3.9 /usr/bin/python3
sudo ln -s /home/ac_cluster/program/python3.9.6/bin/pip3.9 /usr/bin/pip3
# 测试
python3 --version

3.3 Scala 环境安装

  • 下载好相关包
# 上传，也可以使用其他方式上传到虚拟机
rz -be
# 解压
tar -zxvf scala-2.12.10.tgz -C ../program/
# 配置环境
vim ~/.bash_profile
# 添加下面两条
export SCALA_HOME=/home/ac_cluster/program/scala-2.12.10
export PATH=$PATH:$SCALA_HOME/bin
# 更新环境
source ~/.bash_profile
# 测试
scala -version

在这里插入图片描述

四、大数据组件安装

4.1 Hadoop 集群安装

  • 下载相关包并上传虚拟机
# 上传
rz -be
# 解压
tar -zxvf hadoop-3.2.1.tar.gz -C ../program/
# 进入配置目录
cd ../program/hadoop-3.2.1/etc/hadoop
# 修改 hadoop-env.sh，添加下面的内容
export JAVA_HOME=/home/ac_cluster/program/jdk1.8.0_361
  • 修改 core-site.xml
<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://hybrid01:9000</value>
    </property>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/home/ac_cluster/runtime/hadoop_repo</value>
    </property>
</configuration>
  • 修改 hdfs-site.xml
<configuration>
    <property>
        <name>dfs.replication</name>
        <value>2</value>
    </property>
    <property>
        <name>dfs.namenode.secondary.http-address</name>
        <value>hybrid01:50090</value>
    </property>
</configuration>
  • 修改 mapred-site.xml
<configuration>
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
</configuration>
  • 修改 yarn-site.xml
<configuration>
  <property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
  </property>
  <property>
    <name>yarn.nodemanager.env-whitelist</name>
    <value>JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_MAPRED_HOME</value>
  </property>
  <property>
    <name>yarn.resourcemanager.hostname</name>
    <value>hybrid02</value>
  </property>
</configuration>
  • 修改 workers
    • 添加相关 datanode 节点主机名
  • 修改 hdfs、yarn 启动脚本
# start-dfs.sh、stop-dfs.sh
HDFS_DATANODE_USER=root
HDFS_DATANODE_SECURE_USER=hdfs
HDFS_NAMENODE_USER=root
HDFS_SECONDARYNAMENODE_USER=root
# start-yarn.sh、stop-yarn.sh
YARN_RESOURCEMANAGER_USER=root
HADOOP_SECURE_DN_USER=yarn
YARN_NODEMANAGER_USER=root
  • 环境配置
# 根据实际情况修改配置文件
vim ~/.bash_profile
# 添加下面的配置
export HADOOP_HOME=/home/ac_cluster/program/hadoop-3.2.1
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
export HADOOP_CONF_DIR=${HADOOP_HOME}/etc/hadoop
export HADOOP_CLASSPATH=`hadoop classpath`
# 更新环境
source ~/.bash_profile
  • 剩余操作
# 分发各节点，根据自己实际情况操作
scp -r hadoop-3.2.1/ ac_cluster@hybrid02:$PWD
scp -r hadoop-3.2.1/ ac_cluster@hybrid03:$PWD
# 格式化 namenode
hdfs namenode -format
# hdfs 启动
start-dfs.sh
# yarn 启动（进入部署 resourcemanager 的节点进行部署）
start-yarn.sh

在这里插入图片描述
在这里插入图片描述

4.2 Docker 安装

# 依赖安装
sudo yum -y install yum-utils device-mapper-persistent-data lvm2
# 配置 docker yum 源
sudo yum-config-manager --add-repo https://download.docker.com/linux/centos/docker-ce.repo
# 下载 docker
sudo yum -y install docker-ce docker-ce-cli containerd.io
# 启动 docker
sudo service docker start
# 如果直接用不了，需要 sudo 的话可以直接去掉
sudo gpasswd -a ac_cluster(你的用户名) docker
newgrp docker

4.3 MySQL 安装

  • MySQL 安装的是 5.7 版本，基于 docker 进行安装
    • 目前看只有 8 以上支持 ARM 64
    • 提前准备好挂载的目录 conf、data
      在这里插入图片描述
# 拉取镜像
docker pull mysql:8
# 启动容器
docker run -d --name=mysql -p 3306:3306 --restart=always --privileged=true -v /home/ac_cluster/docker/mysql/data:/var/lib/mysql -v /home/ac_cluster/docker/mysql/conf:/etc/mysql/conf.d -e MYSQL_ROOT_PASSWORD=123456 mysql:8 --character-set-server=utf8mb4 --collation-server=utf8mb4_unicode_ci
# 下载驱动留着备用
wget http://ftp.ntu.edu.tw/MySQL/Downloads/Connector-J/mysql-connector-java-8.0.26.tar.gz

4.4 Hive 安装

  • 下载相关包并上传
# 上传
rz -be
# 解压
tar -zxvf apache-hive-3.1.3-bin.tar.gz -C ../program/
# 进入配置目录
cd ../program/apache-hive-3.1.3-bin/conf/
# 修改 hive-env.sh
cp hive-env.sh.template hive-env.sh
vim hive-env.sh
# 添加下面的内容
HADOOP_HOME=/home/ac_cluster/program/hadoop-3.2.1
export HIVE_CONF_DIR=/home/ac_cluster/program/apache-hive-3.1.3-bin/conf
# 修改 hive-site.xml
vim hive-site.xml
  • hive-site.xml 配置
<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<configuration>
  <!-- jdbc 连接的 URL -->
  <property>
    <name>javax.jdo.option.ConnectionURL</name>
    <value>jdbc:mysql://hybrid03:3306/hive?createDatabaseIfNotExist=true&amp;useSSL=false</value>
  </property>
  <!-- jdbc 连接的 Driver-->
  <property>
    <name>javax.jdo.option.ConnectionDriverName</name>
    <value>com.mysql.cj.jdbc.Driver</value>
  </property>
  <!-- jdbc 连接的 username-->
  <property>
    <name>javax.jdo.option.ConnectionUserName</name>
    <value>root</value>
  </property>
  <!-- jdbc 连接的 password -->
  <property>
    <name>javax.jdo.option.ConnectionPassword</name>
    <value>123456</value>
  </property>
  <!-- Hive 默认在 HDFS 的工作目录 -->
  <property>
    <name>hive.metastore.warehouse.dir</name>
    <value>/user/hive/warehouse</value>
  </property>
  <!-- 指定存储元数据要连接的地址 -->
  <property>
    <name>hive.metastore.uris</name>
    <value>thrift://hybrid03:9083</value>
  </property>
</configuration>
  • 其他操作
# 进入 hive 目录
cd ~/program/apache-hive-3.1.3-bin
# 将 MySQL 启动复制一份到 lib 下
cp ~/package/mysql-connector-java-8.0.26/mysql-connector-java-8.0.26.jar ./lib/
# guava 包问题，将 Hadoop 下的 guava 包复制到 lib 下
cp ~/program/hadoop-3.2.1/share/hadoop/common/lib/guava-27.0-jre.jar ./lib/
# 备份
mv ./lib/guava-19.0.jar ./lib/guava-19.0.jar.bak
# 初始化数据库
bin/schematool -dbType mysql -initSchema
# 配置环境
vim ~/.bash_profile
# 添加下面的配置
export HIVE_HOME=/home/ac_cluster/program/apache-hive-3.1.3-bin
export PATH=$PATH:$HIVE_HOME/bin
# 刷新环境
source ~/.bash_profile
# 启动服务
nohup hive --service metastore &
# 启动交互
hive

4.5 Spark 安装

  • 平常习惯 Spark 是基于 Yarn 跑任务，这里只是简单解压，不安装集群
# 上传
rz -be
# 解压
tar -zxvf spark-3.1.2-bin-hadoop3.2.tgz -C ../program/
# 配置环境
vim ~/.bash_profile
# 添加下面配置
export SPARK_HOME=/home/ac_cluster/program/spark-3.1.2-bin-hadoop3.2
export PATH=$PATH:$SPARK_HOME/bin
# 刷新
source ~/.bash_profile
  • 测试样例 yarn 提交
    • 在 Hadoop Yarn 的 8088 端口页面中可以看到相关信息
# 进入样例 jar 包所在位置
cd ~/program/spark-3.1.2-bin-hadoop3.2/examples/jars
# 提交任务
spark-submit --master yarn --class org.apache.spark.examples.SparkPi spark-examples_2.12-3.1.2.jar 100

在这里插入图片描述
在这里插入图片描述

  • 配置 Hive 环境
    • 将 Hive 的 hive-site.xml 放到 Spark 的 conf 下
    • 将 MySQL 的驱动放到 Spark 的 jars 里
    • 测试
      • spark-shell
      • spark.sql(“show databases”).show()

在这里插入图片描述

4.6 Flink 安装

  • Flink 和 Spark 一样基于 Yarn 运行，不安装集群
  • 下载相关包并上传
# 上传
rz -be
# 解压
tar -zxvf flink-1.13.1-bin-scala_2.12.tgz -C ../program/
# 配置环境
vim ~/.bash_profile
# 添加下面的配置
export FLINK_HOME=/home/ac_cluster/program/flink-1.13.1
export PATH=$PATH:$FLINK_HOME/bin
# 刷新环境
source ~/.bash_profile
  • 测试样例 yarn 提交
    • 在 Hadoop Yarn 的 8088 端口页面中可以看到相关信息
# 进入样例目录
cd ~/program/flink-1.13.1/examples/batch
# 提交任务
flink run -m yarn-cluster WordCount.jar

在这里插入图片描述
在这里插入图片描述

4.7 Zookeeper 安装

  • 下载相应的包上传
# 上传
rz -be
# 解压
tar -zxvf apache-zookeeper-3.8.0-bin.tar.gz -C ../program/
# 创建数据目录和日志目录（所有节点都要操作）
mkdir -p ~/runtime/zookeeper/data ~/runtime/zookeeper/logs
# 进入配置目录
cd ~/program/apache-zookeeper-3.8.0-bin/conf
# 修改 zoo.cfg
cp zoo_sample.cfg zoo.cfg
vim zoo.cfg
# 修改下面的配置
dataDir=/home/ac_cluster/runtime/zookeeper/data
dataLogDir=/home/ac_cluster/runtime/zookeeper/logs
server.1=hybrid01:2888:3888
server.2=hybrid02:2888:3888
server.3=hybrid03:2888:3888
# 分发节点
scp -r apache-zookeeper-3.8.0-bin/ ac_cluster@hybrid02:$PWD
# 在 dataDir 目录下添加 myid 并赋值，其他节点同样操作，不同 id
echo 1 > ~/runtime/zookeeper/data/myid
# 配置环境（三个节点都要配）
vim ~/.bash_profile
# 添加下面的配置
export ZOOKEEPER_HOME=/home/ac_cluster/program/apache-zookeeper-3.8.0-bin
export PATH=$PATH:$ZOOKEEPER_HOME/bin
# 刷新
source ~/.bash_profile
# 三个节点逐个启动
zkServer.sh start
# 查看状态
zkServer.sh status

4.8 Kafka 安装

  • 下载相应的包并上传
# 上传
rz -be
# 解压
tar -zxvf kafka_2.12-3.2.0.tgz -C ../program/
# 创建 log 目录
mkdir -p ~/runtime/kafka/logs
# 进入 conf 目录修改 server.properties
cd ~/program/kafka_2.12-3.2.0/config/
vim server.properties
# 查看并修改下面的配置，id 必须唯一，传给其他节点需要修改
broker.id=0
log.dirs=/home/ac_cluster/runtime/kafka/logs
zookeeper.connect=hybrido1:2181,hybrid02:2181,hybrid03:2181
listeners=PLAINTEXT://192.168.104.101:9092
advertised.listeners=PLAINTEXT://192.168.104.101:9092
# 配置环境
vim ~/.bash_profile
# 添加下面的配置
export KAFKA_HOME=/home/ac_cluster/program/kafka_2.12-3.2.0
export PATH=$PATH:$KAFKA_HOME/bin
# 刷新
source ~/.bash_profile
# 分发节点，并修改相关配置，配置环境变量
scp -r kafka_2.12-3.2.0/ ac_cluster@hybrid02:$PWD
scp -r kafka_2.12-3.2.0/ ac_cluster@hybrid03:$PWD
# 逐个启动节点，如果有报错，查看下方解决方案
nohup kafka-server-start.sh $KAFKA_HOME/config/server.properties > ~/runtime/kafka/logs/nohup.log 2>&1 &

4.9 Nginx 安装

  • 下载相应的包并上传，也可以使用 wget 下载
# 环境依赖安装
sudo yum -y install gcc zlib zlib-devel pcre-devel openssl openssl-devel
# wget 下载包
wget https://nginx.org/download/nginx-1.22.1.tar.gz
# 解压
tar -zxvf nginx-1.22.1.tar.gz
# 创建配置目录
mkdir ~/program/nginx-1.22.1
# 预编译，一般只需要配置 --prefix，其他的可选安装
./configure --prefix=/home/ac_cluster/program/nginx-1.22.1 --with-http_stub_status_module --with-http_ssl_module --with-http_realip_module --with-stream --with-http_auth_request_module
# 编译安装
make && make install
# 配置环境
vim ~/.bash_profile
# 添加下面的配置
export NGINX_HOME=/home/ac_cluster/program/nginx-1.22.1
export PATH=$PATH:$NGINX_HOME/sbin
# 刷新
source ~/.bash_profile
# 启动，启动报错查看下方解决方案
nginx

在这里插入图片描述

4.10 Node 安装

  • 下载相关包并上传
# 使用 wget 下载
wget https://nodejs.org/dist/v17.9.1/node-v17.9.1-linux-arm64.tar.gz
# 解压
tar -zxvf node-v17.9.1-linux-arm64.tar.gz -C ../program/
# 配置环境变量
vim ~/.bash_profile
# 添加下面的配置
export NODE_HOME=/home/ac_cluster/program/node-v17.9.1-linux-arm64
export PATH=$PATH:$NODE_HOME/bin
# 刷新
source ~/.bash_profile
# 查看版本
node -v
npm -v
# 安装淘宝镜像
npm install -g cnpm --registry=https://registry.npm.taobao.org
# 查看
cnpm -v
# 安装 vue-cli 脚手架
cnpm install -g vue-cli
# 查看
vue -V

在这里插入图片描述

4.11 Doris 安装

持续更新中～～～

五、问题解决

5.1 环境配置错误，丢失命令

  • 添加临时命令
export PATH=/usr/local/sbin:/usr/local/bin:/sbin:/bin:/usr/sbin:/usr/bin

5.2 start-yarn.sh 无法启动 resourcemanager

  • 查看日志报错 java.net.BindException: Port in use: hybrid02:8088
  • 解决：进入 resourcemanager 部署的节点进行启动
    - start-yarn.sh

5.3 mysql 远程连接报错 Public Key Retrieval is not allowed

  • 我使用的是 DBeaver，在驱动属性里面修改配置为 true 即可

在这里插入图片描述

5.4 Flink 提交任务报错 classloader.check-leaked-classloader

Exception in thread “Thread-5” java.lang.IllegalStateException: Trying to access closed classloader. Please check if you store classloaders directly or indirectly in static fields. If the stacktrace suggests that the leak occurs in a third party library and cannot be fixed immediately, you can disable this check with the configuration ‘classloader.check-leaked-classloader’.
在这里插入图片描述

  • 解决
    • 编辑在 flink 目录 conf 下的 flink-conf.yaml
      • 添加：classloader.check-leaked-classloader: false

5.5 Kafka 启动报错 UseG1GC

VM option ‘UseG1GC’ is experimental and must be enabled via -XX:+UnlockExperimentalVMOptions
在这里插入图片描述

  • 解决
    • 进入 Kafka 安装目录下的 bin 目录，修改 kafka-run-class.sh，删除下图中的配置，重新启动

在这里插入图片描述

5.6 Nginx 启动报错 Permission denied

nginx: [emerg] bind() to 0.0.0.0:80 failed (13: Permission denied)
sudo: nginx：找不到命令
在这里插入图片描述

  • 普通用户启动 Nginx 没有权限启动 80 端口，sudo 后找不到命令
    • 解决方案：直接去到目录下使用 sudo 启动
      • sudo sbin/nginx

5.7 Nginx 403 Forbidden

在这里插入图片描述- 浏览器访问 nginx 的时候报 403
- 解决：修改 nginx.conf 配置文件，添加 user root 配置
- 保存后重新加载配置 sudo sbin/nginx -s reload

在这里插入图片描述

5.8 Node 报错 GLIBC_2.27 not found

node: /lib64/libm.so.6: version ‘GLIBC_2.27’ not found (required by node)
node: /lib64/libc.so.6: version ‘GLIBC_2.28’ not found (required by node)
…

  • Node 18 版本之后 GLIBC 提高到了 2.28 or later
    • 解决：降低 Node 版本或者提高 GLIBC 版本，推荐是降低 Node 版本到 17 版本，GLIBC 不好弄

在这里插入图片描述

左瞧瞧右看看
关注
专栏目录
大数据重点面试知识点总结
weixin_44961626的博客
02-15 1372
Linux 1、常见命令 2、linux的启动顺序 通电后读取ROM的BIOS程序进行硬件自检，自检成功后把计算机控制权交给BIOS中BOOTsequence中的下一个有效设备，读取该设备MBR找到操作系统，载入linux的bootloader，一般是grub。之后载入kernel，执行 /etc/rc.d/sysinit ，开启其他组件（/etc/modules.conf），执行运行级别，执行/...
ARM Linux 安装Hadoop3.3.5（需要对应的arrch安装包，与x86不兼容）
yuwen_810485419的博客
07-11 1875
hadoop的安装可以在Windows上也可以在linux上，本次是安装在linux上，linux的操作系统为centos7
ARM多核心集群服务器
bassersai的专栏
10-08 3079
方案背景 移动互联应用的快速发展和云计算、大数据应用的拓展和深化，数据中心已由传统的x86架构的大型机、小型机逐步转移到ARM架构服务器，而随着人们对服务器工作负载模式的新需求，越来越多的智能场景需要小型服务器来部署。 方案简介 Firefly ARM多核心集群服务器，以多块核心板的组合方式，提供标准的软硬件接口，支持分布式AI运算，可用于桌面虚拟化、云手机、在线视频服务器、数据中...
就服务器而言，ARM架构与X86架构有什么区别？各自的优势在哪里？
最新发布
D404234的博客
09-09 6671
在数字化时代，服务器架构至关重要。服务器是网络核心节点，存储、处理和提供数据与服务，是企业和组织信息化、数字化的关键基础设施。ARM 和 x86 架构为服务器领域两大主要架构，x86 架构服务器在市场占主导，有强大处理能力和广泛软件兼容性，广泛用于企业数据中心。ARM 架构服务器近年崛起，凭借低功耗、高效能优势在云计算和微服务领域及嵌入式系统和物联网设备中有广泛应用。总之，两种架构各有优势，满足不同用户需求，且在不断演进和创新。
基于arm架构单片机的hadoop服务器尝试
weixin_34356138的博客
03-28 232
之前听说了百度用arm服务器搭建了webserver和网盘之类的东西，然后又看到有人用android电视棒里面装ubuntu，于是就有了用arm尝试做hadoop服务器的想法。但是目前arm 64位的cpu还没有出货，所以这只是个前奏性质的尝试。 从淘宝上面买了一个arm的单片机，上面有一颗基于ARMv7架构的单核cpu，1G内存，4G存储。但是最主要的，是上面有网卡接口，虽然是100M的，但这...
arm云教室服务器_苹果自研ARM，红姐ARM虚拟化架构，傻傻分不清楚?
weixin_39761491的博客
11-21 353
今天凌晨1点，苹果WWDC20正式开幕。要说WWDC20苹果最重磅的发布是什么？那一定是苹果自研ARM芯片。在发布会的尾声阶段，苹果CEO库克亲自揭秘了One More Thing，苹果自研处理器的Mac，也就是传闻中的ARM On Mac。能让苹果狠心放下十五年合作伙伴英特尔，ARM芯片到底有什么神奇的地方？其实，早在18年就一直有消息声称苹果将放弃英特尔，使用自己的ARM芯片。更换ARM芯片后...
树莓派开始玩转linux pdf_用树莓派构建 Kubernetes 集群 | Linux 中国
weixin_39641463的博客
12-05 239
将 Kubernetes 安装在多个树莓派上，实现自己的“家庭私有云”容器服务。• 来源：linux.cn • 作者：Chris Collins • 译者：Xingyu.Wang •(本文字数：14330，阅读时长大约：18 分钟)将 Kubernetes 安装在多个树莓派上，实现自己的“家庭私有云”容器服务。Kubernetes 从一开始就被设计为云原生的企业级容器编排系统。它已经成长为事实上的...
arm集群服务器_【首发】微众银行首创银行业基于ARM架构的分布式存储集群
weixin_42365141的博客
12-29 411
原标题：【首发】微众银行首创银行业基于ARM架构的分布式存储集群近年来，受制于发达国家价格高昂的核心组件乃至对华的高科技出口封锁，我们深刻认识到掌握核心组件研发能力的重要性。存储服务器是金融行业信息安全的重要组成部分，其全面国产化实践可进一步降低银行信息科技管理和安全的外部环境风险，加之全自主知识产权的银行核心系统和外围系统，共同打造安全可控的银行信息科技竞争力。作为中国首家民营银行、互联网科技银...
大数据Hadoop、Hive、Kafka、Hbase、Spark等框架面经
m0_46689661的博客
12-05 9873
大数据Hadoop、Hive、Kafka、Hbase、Spark等框架面经
Hadoop生态圈 大数据文档
BigData_XiaoBai的博客
12-01 838
文档基于介绍基于Hadoop的大数据生态圈。介绍下图每一个组件的使用场景及使用方法，同时还对每一个组件有更深入的介绍。 ..
数据平台架构优化：提升系统性能与稳定性
AI天才研究院
02-12 128
数据平台架构优化旨在解决数据规模增长、业务需求变化、技术架构老化等问题带来的挑战，提升数据平台的性能、稳定性、可扩展性、高可用性和安全性，为企业提供更强大的数据处理和分析能力。阐述数据平台架构优化的背景、目的、范围和预期读者。介绍数据平台架构的核心概念，并使用 Mermaid 流程图展示其相互关系。详细分析提升数据平台性能和稳定性的关键策略，包括数据存储优化、数据处理优化、架构设计优化等。结合实际案例，使用代码示例演示如何进行数据平台架构优化。探讨数据平台架构优化在不同行业和业务场景下的应用。
hadoop-2.7.3.tar.gz arm
07-17
Hadoop-2.7.3 arm平台麒麟操作系统部署，已编译支持snappy lz4压缩 Hadoop国产化部署 Linux version 4.19.90-vhulk2001.1.0.0026.ns7.15.aarch64 (root@mockbuild) (gcc version 4.8.5 20150623 (NeoKylin 4.8.5-36) (GCC))
Java分布式系统架构设计：高并发与大数据挑战的应对之道
[Java分布式系统架构设计：高并发与大数据挑战的应对之道](https://sunteco.vn/wp-content/uploads/2023/11/Container-orchestration-giai-thich-va-tam0quan-trong-trong-so-quan-ly-ung-dung-1-1024x538.png) ...
arm集群服务器_百度云智峰会发布ARM私有云新品，加速企业在移动端上的数字化转型...
weixin_39928993的博客
12-30 354
2020年12月17日百云智峰会在北京中国大饭店举行，探讨在产业智能化大潮正席卷而来时，企业如何才能紧跟时代步伐，快速与云计算、人工智能等新技术融合，从而实现竞争力重塑。在其中的智能计算分论坛中，百度智能云ARM云业务部总经理沈鹏飞以“百度ARM云的生态布局”为题，深入浅出的解析了产业变革下ARM云的趋势与优势，并发布了重磅产品——ARM私有云一体机与ARM私有容器云一体机。自2012年...
高密度ARM集群服务器的应用场景
ARM服务器及云计算
11-25 1157
1 什么是高密度ARM集群服务器 ARM集群服务器，是在一个机箱内设计N个高性能ARM处理器，每个ARM处理器配置独立的内存及存储，所有的处理器通过高速网络（千兆或万兆网络）进行相互之间以及对外通信的一种设备。 ARM处理器的个数N称为密度，N可以是2以上的任意数字。高密度是指N比较大，如64，96，128等。密度越大，系统算力越强。当然，系统的复杂性就越高，稳定性要求越高，对设计团队的软硬件设计能力要求也就越高。 凌点科技团队的高密度ARM集群服务器MARS3000，采用可热插拔的刀片式结构，可按照8的
arm集群服务器_AWS“芯”事：从Nitro“神卡”到ARM服务器芯片
weixin_31874327的博客
12-30 452
点击上方“蓝字”，欢迎关注！云厂商(超大规模数据中心)是服务器厂商又爱又恨的客户，早在几年前，云厂商要求定制化服务器，去掉不用的组件，因为采购规模很大，所以还可以进一步压价，这使得部分强调高价值的服务器厂商直接放弃了这部分市场。而现在，随着规模的增长，考虑到规模经济效应，越来越多的厂商开始考虑定制芯片，甚至自己研发芯片，这其中，亚马逊云服务(AWS)绝对是先锋式的存在，自研芯片不仅降低了...
高密度ARM集群（阵列）服务器-随录
ARM服务器及云计算
07-06 1970
这里写自定义目录标题欢迎使用Markdown编辑器新的改变功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入 欢迎使用Markdown编辑器 你好！ 这是你第一次使用 Markdown编辑器 所展示的欢迎页。如果你想学习如何使用Mar
arm版Linux下安装大数据集群各种组件
qq_38220334的博客
04-19 653
仔细看上面的报错，没有连接上zookeeper，那就安装一个zookeeper试试，安装并且启动zookeeper后发现kafka正常启动了。编辑bin/kafka-run-class.sh，删除-XX:+UseG1GC 这个地方，然后重启启动。下载地址：https://kafka.apache.org/downloads。解决方案：安装一个jdk，然后再启动命令，发现jdk的报错解决了。–执行kafka的启动命令。报错原因：没有找到jdk。
SOC集群算力服务器-也叫(ARM架构阵列服务器)-应用于：云手机-云游戏-云视频渲染等领域
parker0116的博客
06-11 1318
随着AI大模型的发展-训练-成熟和人民对视觉效果的追求，慢慢的我们的手机和PC等相关消费电子配置越来越高，成本也在蹭蹭蹭的往上涨，很多旗舰手机都已经在5K往上了，其实大部分人都不需要那么高的配置，只有在游戏-刷视频等高频使用时才会需要高配置和AI加速处理，那么怎么去解决这个低成本又满足大部分人的各种需求呢。大家都知道随着智能手机的发展，我们几年前购买的电脑电视机基本上都放在家里面吃灰了，只有需要做个文档什么的才会去用他的，其他的基本上都是在手机上完成，电视机也一样，感觉开电视机都成了光污染了。
评论 7
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值