- 博客(23)
- 收藏
- 关注
RSS订阅
原创 大数据架构选型与设计
大数据架构选型与设计1.1如何构建大数据平台？1.1.1数据库与ER建模1.1.1.1数据库（DataBase）数据库是按照数据结构来组织、存储和管理数据的仓库，是一个长期存储在计算机内的、有组织的、可共享的、统一管理的大量数据的集合。数据库是以一定方式储存在一起、能与多个用户共享、具有尽可能小的冗余度、与应用程序彼此独立的数据集合，可视为电子化的文件柜，存储电子文件的处所，用户可以对文件中的数据进行新增、查询、更新、删除等操作，数据组织主要是面向事务处理任务。1.1.1....
2022-02-16 19:19:22
3647
原创 hive中连续N天登录问题
分析：将所有的登录时间也就是那一天登录的，分组排序，然后向后取值，再通过date_add()函数也将登录时间(具体哪一天)向后取值，最后比较两者的时间是否相等。最后去重即可得到登录连续N天登录问题。语法：lead(colName，N，defautValue)功能：用于从当前数据中基于当前行的数据向后偏移取值。defaultValue：如果取不到返回的默认值。首先需要用到窗口函数的向下取值。colName：取哪一列的值。一般采用开窗函数来实现。
2023-03-10 09:09:35
272
原创 启动hadoop:JAVA_HOME is not set and could not be found.
检查java配置：java -version 检查java环境变量配置：export 检查hadoop/etc/hadoop/hadoop-env.sh中JAVA_HOME配置：找到export JAVA_HOME=进行添加你的java路径，如下：
2022-06-16 18:18:50
1542
原创 hadoop-3.1.0启动hadoop集群时还有可能可能会报如下错误
[root@localhost sbin]# start-all.shStarting namenodes on [hadoop]ERROR: Attempting to operate on hdfs namenode as rootERROR: but there is no HDFS_NAMENODE_USER defined. Aborting operation.Starting datanodesERROR: Attempting to operate on hdfs datanode
2022-06-16 18:12:03
2211
原创 SSH免密登录配置
cat ./id_rsa.pub >> authorized_keys -- 配置自己的密钥。scp id_rsa.pub 172.21.11.2:/tmp --将。ssh-keygen -t rsa -- 生成密钥，一路回车。传输给B服务器的tmp目录。
2022-06-16 17:51:17
203
原创 linux环境安装mysql5.7
一、安装1、更新yum本地缓存yum clean cacheyum makecache2、查看系统中是否已安装mysqlyum list installed | grep mysql3、卸载系统自带的mysql及其依赖（防止冲突）yum -y remove mysql-libs.x86_644、下载wget命令yum install wget -y5、给centos添加rpm源，并且选择比较新的源wget dev.mysql.com/get/mysql-community-rel
2022-06-11 08:15:37
676
原创 linux 集群 脚本
linux 开发的 脚本 xsync.sh 传送其他两台 #!/bin/sh# 获取输入参数个数，如果没有参数，直接退出pcount=$#if((pcount==0)); then echo no args...; exit;fi# 获取文件名称p1=$1fname=`basename $p1`echo fname=$fname# 获取上级目录到绝对路径pdir=`cd -P $(dirname $p1); pwd`echo pdir=$pdi
2022-06-10 09:50:09
143
原创 Kafka 命令
-daemon后台启动启动zookeeperbin/zookeeper-server-start.sh -daemon ../config/zookeeper.properties启动kafka-serverbin/kafka-server-start.sh -daemon ../config/server.properties查看已有主题bin/kafka-topics.sh --list --zookeeper 192.168.181.129:2181删除已有主题bin/kafk...
2022-05-10 07:19:49
85
原创 Linux 命令大全
cat /etc/group passwdps -ef|grep ping 查看进程号rpm -qa|grep mysql 查看有哪些关于mysqlifup ens33 启动网卡ifdown ens33 关闭网卡systemctl status firewalld 查看防火墙systemctl stop firewalld 关闭防火墙systemctl start firewalld 启动防火墙systemctl disable firewalld #禁用防火墙状态（启动系统式...
2022-05-10 07:18:11
258
原创 大数据 hadoop 一些常用的命令
1)创建文件夹hadoop fs -mkdir -p /hdfs路径hadoop fs -mkdir -p /day02/input2) 推送页面(上传文件)hadoop fs -put 本地文件路径 /hdfs路径hadoop fs -put ab.txt /day02/input3)查看文件内容hadoop fs -cat /hdfs路径3.1方式一hdfs dfs -cat /day02/input/ab.txt3.1方式二hadoop fs -cat /d
2022-05-09 20:38:00
420
原创 大数据 shell 脚本 命令
九九乘法表#!/bin/bash for((i=1;i<=9;i++)) do for((j=1;j<=i;j++)) do echo -ne "$j$i=$[$j$i] " done echodone水仙花for((i=100;i<1000;i++)) do g=$[$i%10] s=$[$i/10%10] b=$[$i/100]sum=$[$g*$g*$g+$s*$s*$s+$b**3]if [ $i -eq $sum ]then ec.
2022-05-09 20:35:36
698
原创 linux 集群 ip name 配置
修改ip 地址cd /etc/sysconfig/network-scripts/改名字vim /etc/hostname写入路径vim /etc/hosts
2022-05-09 20:33:25
394
原创 zookeeper 集群配置 kafka ， hbase ，clickhouse 等集群配置
day 第一天1.1 zookeeper 总结安装 1 解压 tar -zxvf zookeeper-3.4.10.tar.gz进入 zookeeper 创建 mkdir data在进入conf 目录下 mv zoo_samle.cfg.zoo.cfg在 vim zoo.cfg 下面加上dataDir=/opt/zookeeper-3.4.10/dataserver.1=hdp1:2888:3888 server.2=hdp2:2888:3888 server.3=hdp
2022-04-20 09:11:03
555
原创 连接 linux 数据库连接不上 解决问题权限
连接 linux 数据库 连接不上 解决问题进入 mysqlmysql -uroot -proot使用数据库use mysql;查看所有表show tables; 找到 user 表进行查询 user 数据select host , user, password from user;// 创建 %create user root identified 'root'；//给root赋值权限grant all privileges on . to root@'%'
2022-03-23 13:52:14
2877
原创 大数据离线sql 练习
创建数据库：建表：create table student(id string,name string,birthday string,sex string) row format delimited fields terminated by ’ ';create table course(id string,name string,tid string) row format delimited fields terminated by ‘\t’;create table teacher(
2022-02-25 15:50:22
313
2
原创 【hadoop】 shell 基本命令
主要内容：1.学习在开启、关闭Hadoop2.学习在Hadoop中创建、修改、查看、删除文件夹及文件3.学习改变文件的权限及文件的拥有者4.学习使用shell命令提交job任务5.Hadoop安全模式的进入与退出1.打开终端模拟器，切换到/apps/hadoop/sbin目录下，启动Hadoopcd /apps/hadoop/sbin./start-all.sh除了直接执行start-all.sh外，还可以分步启动start-dfs.sh和start-yarn.sh。2.执行j
2022-02-25 13:43:48
1375
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人