- 博客(26)
- 收藏
- 关注
RSS订阅原创 Ubuntu系统中安装Scala(2025)
在你平时放压缩文件的目录上使用这一条命令，下载scala-2.12.17.taz。配置环境变量，在最后面添加以下内容。清理压缩包，这个随意，不清也行。
2025-04-30 21:51:38
363
原创 Hive工具运行
在启动hive之前要先启动Hive MetaStore 服务，启动后Hive MetaStore 服务会持续运行。需要打开另一个命令行页面操作。删除car_sales表。
2025-04-28 09:47:11
249
原创 mysql命令行基础操作
ALTER USER 'root'@'localhost' IDENTIFIED WITH mysql_native_password BY '新密码';sudo systemctl status mysql检查运行。查看数据库下的所有表，要切到数据库。# 设置密码 mysql8.0。这里设置个123456就行。退出 exit;
2025-04-08 15:31:11
126
原创 ubuntu系统的hadoop集群安装教程
export HADOOP_HOME=/opt/hadoop-3.2.4 # 这里要改成你的 Hadoop 实际安装路径。sudo tar -zxvf hadoop-3.2.4.tar.gz -C /opt 解压到opt。export JAVA_HOME=/opt/jdk1.8.0_202 别忘了打掉注释。sudo vim ~/.bashrc 打开配置。# 打开 ~/.bashrc 文件添加以下内容。source ~/.bashrc 更新。
2025-04-07 23:29:42
240
原创 在ubuntu系统安装hive和mysql
tar -zxvf apache-hive-3.1.2-bin.tar.gz解压。mv apache-hive-3.1.2-bin hive-3.1.2重命名。-- 指定hiveserver2连接的host -->-- 指定hiveserver2连接的端口号 -->-- Hive默认在HDFS的工作目录 -->-- jdbc连接的password -->-- jdbc连接的username-->-- jdbc连接的Driver-->-- Hive元数据存储的验证 -->-- jdbc连接的URL -->
2025-04-07 18:21:51
1181
原创 虚拟机VMware的ubuntu系统中的hadoop集群安装全过程
我们需要的硬件有三个：1.VMware2.jdk3.ubuntu3.hadoop。
2025-03-24 20:17:57
772
原创 centos基础命令合集
tar -xjvf file.tar.bz2 解压 tar.bz2。tar -xzvf file.tar.gz 解压tar.gz。tar –xZvf file.tar.Z 解压tar.Z。命令格式：tar -zxvf 压缩文件名.tar.gz。那么解压命令是tar -zxvf liunx.tar。tar –xvf file.tar 解压 tar包。unrar e file.rar 解压rar。unzip file.zip 解压zip。例如文件是liunx.tar。
2023-10-10 09:28:55
141
1
原创 VM虚拟机怎么联网
这个IP是随机的，一般不会变，如果出现了2台设备IP一模一样的情况，那就需要该IP了。systemctl disable NetworkManager 将网络管理禁用。systemctl stop NetworkManager 关闭掉网络管理。# 8.8.8.8为Google提供的免费DNS服务器的IP地址。#ip获取方式，DHCP为自动获取，静态IP为none和static。# 8.8.4.4为Google提供的免费DNS服务器的IP地址。# 网卡设备名，设备名一定要跟文件名一致。
2023-10-08 14:19:13
357
1
原创 Hbase的安装教程
-指定hbase管理页面的端口号-->配置环境变量，进入配置环境变量的文件。--指定hdfs的地址-->内容，这些内容是添加的。
2023-09-05 10:47:27
222
原创 MySQL的安装教程(centos7)
alter user 'root'@'localhost' identified by '你的密码';返回mysql目录m,并复制server文件到mysql目录下。进去bin目录下，并初始化，记下最后的密码。启动mysql，将mysql添加到命令服务。更改root用户密码, 注意语句后的;那么就执行下面这个，然后在初始化。用datagrip连接mysql。移动到自己的文件夹下，并且改名。进入my.cnf，配置核心文件。更改文件的权限到我们的文件夹。输入刚刚初始化时生成的密码。首先要下载mysql文件。
2023-09-05 10:28:35
86
原创 kafka安装教程
echo " --------启动 $i Kafka-------"echo " --------停止 $i Kafka-------"#配置连接Zookeeper集群地址（在zk根目录下创建/kafka，方便管理）# 检查过期数据的时间，默认5分钟检查一次是否数据过期。#broker的全局唯一编号，不能重复，只能是数字。# 每个topic创建时的副本数，默认时1个副本。#每个segment文件的大小，默认最大1G。#topic在当前broker上的分区个数。在其他集群中修改编号，改成1或2或者其他的。
2023-09-05 09:36:51
140
原创 Zookeeper安装教程
echo ---------- zookeeper $i 停止 ------------echo ---------- zookeeper $i 状态 ------------echo ---------- zookeeper $i 启动 ------------前往自己Zookeeper安装的文件。在这个目录下创建zkData文件夹。进入cd /root/bin。里面写上编号，比如1。改名后，打开这个文件。
2023-09-05 08:37:45
93
原创 hadoop安装教程(centos7)
echo " --------------- 关闭 historyserver ---------------"echo " --------------- 启动 hdfs ---------------"echo " --------------- 启动 yarn ---------------"echo " --------------- 关闭 yarn ---------------"echo " --------------- 关闭 hdfs ---------------"
2023-09-04 15:57:28
277
1
原创 如何关闭防火墙服务(CentOS7)
systemctl disable firewalld 关闭防火墙自动启动。systemctl status firewalld 查看防火墙状态。systemctl stop firewalld 关闭防火墙服务。查看防火墙状态是这样就是成功了。
2023-09-04 10:39:58
152
1
原创 数仓项目练习中的一些难题
用更改IP地址，然后重启网卡即可systemctl stop NetworkManager 关闭掉网络管理systemctl disable NetworkManager 将网络管理禁用service network restart 重启网卡。
2023-08-29 09:46:22
103
1
原创 数仓的项目练习(ODS篇02)
- name="全类名"，如下，只打印LoggerController类里面的数据 -->-- 1.定义的一个变量，因为在本地做测试 value路径需window路径 -->打开java -jar gmall2020 -mock-log-2020-12-18.jar。-- 变量引用，如果将下面注释掉只会打印到控制台不会写到文件 -->-- 变量引用，如果将下面注释掉不会打印到控制台只会写到文件 -->-- 2.数据最终输出到app.log文件中 -->-- 定义打印日志方式：打印控制台 -->
2023-08-28 09:44:09
117
1
原创 SSH无密登录配置(centos7)
我们需要配置hadoop101,hadoop102,hadoop103到其他主机的无密登录。在hadoop102,hadoop103也一样，都生成后，然后拷贝到其他机器上。将公钥拷贝到要免密登录的目标机器上。按3次回车，就可以生成私钥和公钥。首先在hadoop101上。在hadoop101中。
2023-08-23 14:43:01
104
原创 数仓的项目练习(ODS篇01)
由于我们并没有准备实际数据，因此我们需要一个模拟数据生成的jar包链接：https://pan.baidu.com/s/1_D94ny4eUCPytQ5VgR2UxQ提取码：7325在centos里运行建立flink_log文件夹将行为数据中的文件复制到flink_log文件里ll使用模拟日志生成器的jar运行。
2023-08-21 13:45:09
106
1
原创 xsync集群分发脚本（Centos7）
输入开始安装rsync，然后进入/root/bin开始编写xsyncvim xsync如果这一步没有成功，检查一下自己是否下载vim在文件中输入，进去后点击 i 就可以输入，点击Esc,然后:wq就可以退出其中#2下面的hadoop101 hadoop102 hadoop103是你的设备名字如果你的设备叫big101 big102 big103那么那里也要改成你设备的名字/bin/bash#1. 判断参数个数thenexit;fi#2. 遍历集群所有机器。
2023-08-18 10:01:35
503
1
原创 Eclipse和JDK安装教程（纯新手向）
由于博主之前已经反反复复安装过许多次这个软件，但是每次安装都或多或少的出现问题，于是遂决定自己写一篇文章来完善教程，以免自己再次出错。所以本次教程主要是自用，当然如果能帮助到其他不懂的同学就更好了。
2023-08-10 15:31:43
2034
3
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人