花两天手撸海纳嗨数数据分析系统，实现数据分析自给自足

liyayunwxc

已于 2024-07-03 20:09:27 修改

阅读量472

点赞数 24

文章标签：数据分析数据挖掘

于 2024-07-03 17:47:09 首次发布

本文链接：https://blog.csdn.net/liyayunwxc/article/details/140158073

版权

我发现一款超好用的数据分析营销系统，且支持免费私有化部署。

机器准备

机器	角色	配置
10.0.21.85	主	8核，12G，100G，Centos7.9
10.0.221.51	辅	8核，12G，100G，Centos7.9
10.0.221.55	辅	8核，12G，100G，Centos7.9

以上配置足以启动私有化系统，但生产建议增大配置，硬盘至少要500G以上。

下载安装包

mkdir -p /data/deploy-hina-cloud 
cd /data/deploy-hina-cloud 
chmod 777 /data/*
# 离线下载，避免客户端网络中断情况，文件较大13G
nohup wget https://s3-model.hinadt.com/HaishuuSoftware/1.0.0/Hina_Haishuu-1.0.0.tar.gz &

环境准备

关闭 swap 分区

当先检查是否已经关闭swap，如未关闭，请参考如下内容：

Centos 7 中关闭 swap

删除 swap 区所有内容

swapoff -a

删除 swap 挂载，这样系统下次启动不会再挂载 swap

# 注释 swap 行
vim /etc/fstab

重启系统，测试

reboot
free -h

swap 一行应该全部是 0

              total        used        free      shared  buff/cache   available
Mem:           3.7G        203M        3.1G        8.5M        384M        3.3G
Swap:            0B          0B          0B

时钟同步

参考：CentOS 7同步时间的2种方法 - 小z博客

设置时区（CentOS 7）

先执行命令，查看当前时区，如果不是中国时区（Asia/Shanghai），则需要先设置为中国时区，否则时区不同会存在时差。

timedatectl status|grep 'Time zone'

#已经是Asia/Shanghai，则无需设置
[root@xiaoz shadowsocks]# timedatectl status|grep 'Time zone'
       Time zone: Asia/Shanghai (CST, +0800)

执行下面的命令设置时区

#设置硬件时钟调整为与本地时钟一致
timedatectl set-local-rtc 1
#设置时区为上海
timedatectl set-timezone Asia/Shanghai

使用ntpdate同步时间

目前比较常用的做法就是使用ntpdate命令来同步时间，使用方法如下：

#安装ntpdate
yum -y install ntpdate
#同步时间
ntpdate -u  pool.ntp.org
#同步完成后,date命令查看时间是否正确
date

另外再分享下几个常用的ntp server，如果需要更多可以前往：全球可用的NTP服务器列表与解析服务 - ntp.org.cn & ntpdate.net获取

#中国
cn.ntp.org.cn
#中国香港
hk.ntp.org.cn
#美国
us.ntp.org.cn

同步时间后可能部分服务器过一段时间又会出现偏差，因此最好设置crontab来定时同步时间，方法如下：

#安装crontab
yum -y install crontab
#创建crontab任务
crontab -e
#添加定时任务
*/20 * * * * /usr/sbin/ntpdate pool.ntp.org > /dev/null 2>&1
#重启crontab
service crond reload

上面的计划任务会在每20分钟进行一次时间同步，注意/usr/sbin/ntpdate为ntpdate命令所在的绝对路径，不同的服务器可能路径不一样，可以使用which命令来找到绝对路径，方法如下：

[root@xiaoz ~]# which ntpdate
/usr/sbin/ntpdate

设置系统最大打开文件句柄数

vim /etc/security/limits.conf
* soft nofile 65535
* hard nofile 65535

echo "* soft nofile 65535" >> /etc/security/limits.conf
echo "* hard nofile 65535" >> /etc/security/limits.conf

sed -i "s/nofile.[0-9]*$/nofile 65535/g" /etc/security/limits.conf

#重启后，验证
ulimit -n

参考华为云：修改最大文件句柄数_云容器引擎 CCE

修改虚拟内存区域

在 CentOS 7 中永久修改 vm.max_map_count 并立即应用更改，你可以使用以下脚本：

#!/bin/bash
# 定义新的 vm.max_map_count 值
NEW_VM_MAX_MAP_COUNT=2000000

# 检查是否以 root 权限运行
if [ "$(id -u)" -ne 0 ]; then
  echo "该脚本需要以 root 权限运行" >&2
  exit 1
fi

# 编辑 /etc/sysctl.conf 文件，设置 vm.max_map_count
echo "vm.max_map_count = $NEW_VM_MAX_MAP_COUNT" | sudo tee -a /etc/sysctl.conf > /dev/null

# 应用更改
sudo sysctl -p

# 输出结果
if [ $? -eq 0 ]; then
  echo "vm.max_map_count 设置成功，当前值为: $(sysctl vm.max_map_count)"
else
  echo "vm.max_map_count 设置失败" >&2
fi

将上述脚本保存为一个文件，例如 set_vm_max_map_count.sh。然后，你可以按照以下步骤运行这个脚本：

给脚本执行权限：

chmod +x set_vm_max_map_count.sh

以 root 权限运行脚本：

sudo ./set_vm_max_map_count.sh

这个脚本首先检查是否以 root 权限运行，然后向 /etc/sysctl.conf 文件追加新的 vm.max_map_count 设置，接着应用更改，并根据应用的结果输出相应的信息。如果设置成功，它会显示当前的 vm.max_map_count 值；如果失败，则会输出错误信息。

关闭透明大页

#!/bin/bash

# 关闭单个Linux系统上的透明大页

# 步骤1: 修改/sys/kernel/mm/transparent_hugepage/enabled 和 /sys/kernel/mm/transparent_hugepage/defrag
echo never > /sys/kernel/mm/transparent_hugepage/enabled
echo never > /sys/kernel/mm/transparent_hugepage/defrag

# 步骤2: 将设置永久化，追加到 /etc/rc.d/rc.local 中
echo 'echo never > /sys/kernel/mm/transparent_hugepage/defrag' >> /etc/rc.d/rc.local
echo 'echo never > /sys/kernel/mm/transparent_hugepage/enabled' >> /etc/rc.d/rc.local

# 步骤3: 验证是否关闭了透明大页
grep Huge /proc/meminfo
cat /proc/sys/vm/nr_hugepages

添加新用户【可选】

在 CentOS 7 上添加新用户 hncloud 并授予其 root 权限的步骤如下：

1. 添加新用户

使用 useradd 命令添加新用户 hncloud：

sudo useradd hncloud

2. 设置用户密码

为新用户设置密码：

sudo passwd hncloud

系统会提示你输入并确认新用户的密码。

3. 将用户添加到 `wheel` 组

在 CentOS 7 中，wheel 组的成员默认具有 sudo 权限。将新用户添加到 wheel 组：

sudo usermod -aG wheel hncloud

4. 验证 sudo 配置

确认 /etc/sudoers 文件中 wheel 组的配置是正确的。你可以使用 visudo 命令来编辑 /etc/sudoers 文件：

sudo visudo

确保以下行没有被注释（前面没有 #）：

%wheel  ALL=(ALL)       ALL

这行配置表示 wheel 组的成员可以使用 sudo 执行任何命令。

添加 sudo免密码配置【注意】

在打开的 sudoers 文件中，找到或添加以下行：

username ALL=(ALL) NOPASSWD: ALL

将 username 替换为你想要配置的实际用户名。例如，如果你的用户名是 hncloud，那么添加的行应该是：

hncloud ALL=(ALL) NOPASSWD: ALL

5. 验证新用户的权限

切换到新用户并验证其 sudo 权限：

su - hncloud
sudo whoami

输入密码后，应该返回 root，这表示新用户 hncloud 已成功获得 root 权限。

总结

通过以上步骤，你可以在 CentOS 7 上添加新用户 hncloud 并授予其 root 权限。这样，新用户可以使用 sudo 来执行需要 root 权限的命令。

修改配置


cd /data/hina-cloud
sed -i 's|NODE_SSH_PORT=.*|NODE_SSH_PORT=22|g' script/config
sed -i 's|NODE_SSH_USER=.*|NODE_SSH_USER=hncloud|g' script/config
sed -i 's|NODE_SSH_PASSWORD=.*|NODE_SSH_PASSWORD=admin123|g' script/config
sed -i 's|NODE_SSH_PATH=.*|NODE_SSH_PATH=/data/deploy-hina-cloud|g' script/config
cat > script/cluster-nodes-ssh-info << EOF
10.0.21.85
10.0.221.51
10.0.221.55
EOF