- 博客(12)
- 收藏
- 关注
RSS订阅原创 windows server 安装显示 sufficient privileges to install
cmd进入，编辑命令gpedit.msc后面依次配置，添加用户即可
2022-01-13 15:40:30
1185
原创 hive相关
外部表一些知识点:外部表在load完数据之后,会将数据也放在当前库所在的目录下面,例如数据文件原始目录:执行完load语句之后load data inpath '/user/hive/warehouse/student/dept.txt' into table dept;数据文件会挪到对应的目录下面如果先有文件,然后再建表的时候指定路径(不到文件级别,到目录级别),那么这个目录下的文件都会加载到表中,例如:删掉原来的表,重新上传两个文件...
2021-08-26 22:31:00
104
原创 一个简单的数据量很大的表查询最新数据的sql思路
现在碰到过这样一个需求：数据表是一张财务流水报告表,表明为 qtty_sheet ，数据量比较大，而且历史不同的报表日期的项目对应的金额数值可能会发生变化，这张表市增量更新的，需要将数据表中的最新数据拿出来进行展示，数据表的数据样式如图：主键id proj_name(项目名称) value(项目对应的金额) report_dt(报表日期) data_dt(数据日期） 0001 营销金额 1000 20210701 20210715 0001
2021-08-04 00:30:13
1403
转载 linux快速定位错误日志文件
使用 Linux 经常会遇到这种情况：只知道文件中包含某些特定的字符串，但是不知道具体的文件名。需要根据“特定的字符串”反向查找文件。示例（路径文件如下）：./miracle/luna/a.txta.txt 文件中的内容如下Hello, World!查找当前目录下，包含“Hello”字符串的所有文件【方式1】（其中，r表示递归，n表示查询结果显示行号）：grep -rn "Hello" ./效果如下：【方式2】find ./ -name...
2021-07-18 22:10:59
1280
原创 MYSQL5.7.28数据库之主从复制+mysql权限管理（数据库级别、表字段级别）
主数据库：192.168.15.102从数据库：192.168.15.103mysql安装版本：Server version: 5.7.28第一步：两台机器安装相同版本的mysql；第二步：检查两台机器的免密登录，防火墙等是否已经关闭；第三步：开始进行主从复制的配置主从配置的主要原理是主库每操作一条DDL或者DML语句，都会向日志写入执行果的sql，从库也不断向日志读取sql执行1-修改 /etc/my.cnf 文件(主库)# 配置主从数据库(主)[mysqld]log..
2021-07-10 16:28:11
658
原创 定时清理日志信息
定时清理日志信息：目录下的单个日志文件： 如 /mnt/zklc/tmp/a.log1- 在家目录下创建一个bin目录，在bin目录里面写上一个脚本 deletelog.sh 内容如下： #!/bin/bash echo '' > /mnt/zklc/tmp/a.log; 添加执行权限：chmod 777 /home/liushuo/bin/deletelog.sh2- 在定时任务里面写一个任务，定时执行这个脚本 进入定时任务编写界面...
2021-07-10 02:07:19
763
原创 hadoop完全分布式安装
安装好MySQL后安装JDK在/opt目录下创建module、software文件夹sudo mkdir modulesudo mkdir software修改module、software文件夹的所有者sudo chown liushuo:liushuo /opt/module /opt/softwareliushuo:liushuo ---前面的是用户,后面的是用户组用户组添加命令 groupadd 用户组名将JDK安装包上传到Linux /opt/software目录下...
2021-06-27 23:41:08
232
原创 mysql linux版本安装
检查当前系统是否安装过Mysql[root@hadoop102 ~]$ rpm -qa|grep mariadb如果存在通过如下命令卸载[root@hadoop102 ~]$ rpm -e --nodeps mariadb-libs //用此命令卸载mariadb在/opt目录下创建module和software目录mkdir module mkdir software将MySQL安装包拷贝到/opt/software目录下(mysql-5.7.28-1.el7.x86_6...
2021-06-27 23:40:06
113
原创 linux最小化安装以及配置host文件
1-最小化安装完成后,执行sudo yum install -y epel-releasesudo yum install -y psmisc nc net-tools rsync vim lrzsz ntp libzstd openssl-static tree iotop安装最小化安装的系统的不存在的命令(yum安装)2-linux添加用户,有root权限添加atguigu用户，并对其设置密码。[root@hadoop101 ~]#useradd liushuo[root@hadoop
2021-06-27 23:39:05
436
原创 Hadoop安装遇到的问题
问题1：[liushuo@hadoop103 ~]$ yarn --daemon start resourcemanagerERROR: Cannot set priority of resourcemanager process 4145解决方法：思路一：查看集群机器的ssh是否都已经互相打通，打通集群机器的ssh免密登录思路二：查看配置文件的环境变量是否正确，配置一下环境变量问题2：使用start-dfs.sh直接启动集群出现以下问题：localhost: mv: 无法将".
2021-06-27 23:13:45
2121
1
原创 spark 相关的rdd操作
一、RDD介绍1、什么是RDDRDD（Resilient Distributed Dataset）叫做弹性分布式数据集，是Spark中最基本的数据抽象。代码中是一个抽象类，它代表一个不可变、可分区、里面的元素可并行计算的集合。2、RDD特性RDD：是不存数据的，partition也是不存数据的（是一系列处理逻辑）RDD五大特性：a、RDD是由一系列partition组成b、算子（函数作用到partition上）c、RDD之间存在依赖关系d、分区器作用在kv格式的RDD上...
2020-09-07 15:27:33
292
原创 linux 常用的各个目录
bin：是Binary的缩写，该目录存放着最常用的命令boot：主要存放linux系统启动时需要的核心文件，包括一些连接文件及镜像文件dev：是Device(设备)的缩写，存放的是linux的外部设备，访问外部设备和访问文件的方式相同etc：所有系统管理所需要的配置文件和子目录home：存放普通用户的主目录，linux中每个用户都有自己的目录，一般是以该用户的账号命名的lib：开机所需最基本的动态连接共享库，其作用类似于Windows里的DLL文件。几乎所有的 应用程序都需要用到共享库lost+
2020-05-17 15:50:11
355
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人