heyianliunian的博客

原创 Microsoft Edge网页视频播放绿屏解决方法（B站）

三.2 点击视频播放下的 “小齿轮”，然后点击“更多播放设置”把播放策略 “默认” 改为“AVC”

原创 DBeaver打开sql脚本中文乱码

DBeaver打开sql脚本中文乱码

原创 db2统计表的数量及每个表的记录数

db2统计表的数量及每个表的记录数

转载 MySQL的两张表的七种Join查询

sql示例：利用union去重将上面的第四、第五种两条sql中间用union连接即可完成；想掌握最基础的三个:left join、right join、inner join。left join 特点是保留A表所有字段，如果没有匹配到连接条件则用null填充。我们都知道数据库在进行表连接即（join）操作的时候，是进行笛卡尔积操作。（不考虑数据真实性）假设如上A、B两张表进行笛卡尔积操作结果就是如下。A表两行记录，B表两行记录。B表：主键id、部门名、部门主管。假设有A表和B表两张表。SQL的语法格式如下。

原创 mysql删除某张表七天前的数据的sql语句

mysql删除某张表七天前的数据的sql语句

原创 MySQL批量修改字段数据类型

MySQL批量修改字段数据类型

原创 MySQL 错误码: 1054 Unknown column ‘**‘ in ‘field list‘问题解决

MySQL 错误码: 1054 Unknown column ‘**‘ in ‘field list‘问题解决

原创 移动MYSQL数据表中某一字段至首列或某字段后

#一假设需要将字段column1移动至字段name之后假设需要将字段column1移动至字段name之后。 MYSQL中移动某字段的语句为：ALTER TABLE <表名> MODIFY <需要移动的字段名> <字段类型> AFTER <参考的字段名>; 并回车。因此，输入：ALTER TABLE tb_dept1 MODIFY column1 VARCHAR(22) AFTER name; 并回车，显示Query OK,，则表示已移动成功。

原创 Notepad++进行数据的行列转换

转换前第一张图转换后第二张图Ctrl +F 选择替换替换目标 ：指定内容替换为 : \r\n替换模式 正则表达式(第二个)https://wk.baidu.com/view/a032aabe52e79b89680203d8ce2f0066f533643a

原创 如何简单的向mysql数据库插入当前时间

-- Mysql中写法：-- 直接调用NOW()函数就能获取当前时间，然后直接执行插入即可-- 例： 2008-11-11 12:45:34 insert into table (id,create_time) values(1,NOW());-- 或者使用CURDATE()，获取的是当前"年-月-日"时间-- 例： 2008-11-11insert into table (id,create_time) values(2,CURDATE());-- 或者使用CURTIME()，获取的

转载 Win7如何显示文件扩展名

有时，我们想知道或者需要修改电脑中某个文件的扩展名，即通常所说的文件格式，但是重命名后发现还是和没改一样。在Windows系统中，这是因为文件的扩展名通常默认是隐藏的，而在此情况下重命名操作修改的只是文件的文件名，不包括扩展名。工具/原料Win7操作系统方法/步骤一打开资源管理器（双击“计算机”即可），随意进入一个有文件的文件夹（方便查看效果）。找到菜单栏，若没有显示，可以依次点击窗口左上角的“组织”→布局→菜单栏，使菜单栏被勾选。二点击菜单栏上的“工具”选项→选择“文件夹选项”。三在

原创 Linux 查找文件位置命令

在linux中，我经常碰到一个问题，就是如何找到某个文件，有时可能是找配置文件，有时是确认软件是否安装等等。精确查找find / -name “文件名” : 在/根目录下按名称查找文件模糊查找find / -name “文件名”： 在/根目录下按名称模糊查找文件当然，-name这个参数也有其他，也就是按特征查找，具体参考https://blog.csdn.net/gray13/article/details/6365654...

原创 MySQL sql语句获取当前日期|时间|时间戳 转

https://writing-bugs.blog.csdn.net/article/details/107483738?spm=1001.2101.3001.6650.3&utm_medium=distribute.wap_relevant.none-task-blog-2%7Edefault%7ECTRLIST%7Edefault-3-107483738-blog-106733179.wap_blog_relevant_default&depth_1-utm_source=distrib

原创 count(1)与count(*)区别

转载 Linux 命令之 split 用法

补充说明split命令 可以将一个大文件分割成很多个小文件，有时需要将文件分割成更小的片段，比如为提高可读性，生成日志等。选项-b：值为每一输出档案的大小，单位为 byte。-C：每一输出档中，单行的最大 byte 数。-d：使用数字作为后缀。-l：值为每一输出档的行数大小。-a：指定后缀长度(默认为2)。实列生成一个大小为100KB的测试文件：[root@localhost split]# dd if=/dev/zero bs=100k count=1 of=date.file1

转载 MySQL 导入数据的几种方法

1、mysql 命令导入使用 mysql 命令导入语法格式为：mysql -u用户名 -p密码 < 要导入的数据库数据(runoob.sql)实例：# mysql -uroot -p123456 < runoob.sql以上命令将将备份的整个数据库 runoob.sql 导入。2、source 命令导入source 命令导入数据库需要先登录到数库终端：mysql> create database abc; # 创建数据库mysql> us

原创 mysql load 文件，以不可见字符十六进制 0x01 为分隔符时怎么做

今天在把数据湖的数据导入到MySQL时，每一列的分隔符，数据湖使用的是 十六进制的 0x01 ,我这边怎么导入都总是把数据导入到一个字段里面，恶心死了问题：## 标题数据导入时总是导入到一个字段原因：列分隔符使用错误解决方法：数据湖那边使用的是十六进制的 0x01我这边分隔符使用fields terminated by x’01’sql导入语句load data local infile '/sdata/ISMS/20220131/imp_p_cust_contact_info

原创 elasticsearch报错:~Invalid initial heap size: -Xms Error: Could not create the Java Virtual Machine.

问题报错:Invalid initial heap size: -XmsError: Could not create the Java Virtual Machine.Error: A fatal exception has occurred. Program will exit.问题原因:elasticsearch 下的config 文件 里面的 jvm.options的文件 这个位置不能有空格 ，下图是吧空格去掉的就正常了...

转载 No execution.target specified in your configuration file.

问题报错:No execution.target specified in your configuration file.问题原因:不要使用new解决方案:StreamExecutionEnvironment senv=new StreamExecutionEnvironment();改成StreamExecutionEnvironment senv = StreamExecutionEnvironment.getExecutionEnvironment();...

转载 2021-10-30~【BUG记录】解决Failure to find (pom/jar) in http://xxx.com was cached in the local repository

问题描述本地仓库有该jar包，但是中央仓库没有该包，mvn编译时一直报如右错误：Failure to find com.sun:jai_codec:jar:1.1.3 in https://repo.maven.apache.org/maven2 was cached in the local repository, resolution will not be reattempted until the update interval of central has elapsed or updates

原创 配置flink的standalone模式启动后只有一个节点起来~2021-10-29

1.问题情况：配置flink的standalone模式启动后只有一个hadoop101节点起来,其他两个节点没起来2.问题原因: flink 下的 conf 的slaves应该改为workers，我没有改，就没启动!3.解决方法: 把slavers改为workers再分发以后启动就好了...

原创 Kafka启动后进程过一段时间自己消失

1.问题：Kafka启动后几秒后自动消失我的Kafka有三个节点，启动kafka后进程过一段时间后会自己消失。解决问题思路如下：由于kafka依赖于zookeeper，启动后要去zookeeper中注册，启动kafka时：先启动zookeeper，保证zookeeper服务正常后，后再启动Kafka。 关闭Kafka时：先关闭kafka，再关闭zookeeper。保证启动和停止无误后，如果kafka启动后，kafka进程过一段时间后消失,解决思路如下：1.删除Kafka的logs，注意这个l

原创 #针对Kafka无法关闭问题解决方法：

1.问题：Kafka无法关闭问题解决方法：问题描述：当Linux程序运行Kafka是输入bin/kafka-server-stop.sh却无法解决问题[hadoop@slave1 config]$ bin/kafka-server-stop.sh-bash: bin/kafka-server-stop.sh: No such file or directory[hadoop@slave1 config]$ jps11845 Kafka19222 HRegionServer20873 Jps

原创 IDEA下使用Spark连接Hive报错~2021-10-21

1.问题：Caused by: org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.security.AccessControlException): Permission denied: user=Admin, access=EXECUTE, inode="/tmp/hive":jinghang:supergroup:drwx------Caused by: org.apache.hadoop.ipc.RemoteException(org.a

原创 idea 错误 Two modules in a project cannot share the same content root~2021-10-21

1.问题:Two modules in a project cannot share the same content root2.原因:两个项目同时引用一个根目录文件导致的。3.解决方法:找到Modules中路径相同的module删除一个即可1.进入 Project structure2找到Modules中路径相同的module删除一个即可...

原创 拼写错误: error: value reduceBykey is not a member of org.apache.spark.rdd.RDD[(String, Int)]~2021-09-07

#今天写了一行代码，感觉很简单啊，怎么报错呢，后来一看是一个超级低级错误， 大小写搞错了,reduceByKey写成了reduceBykey，所以Spark的算子大小写一定不要搞错，有可能会报上面的错误1.问题报错:sc.textFile("input/word.txt").flatMap(_.split(" ")).map((_,1)).reduceBykey(_+_).collect<console>:25: error: value reduceBykey is not a mem

原创 Failed to execute goal net.alchim31.maven:scala-maven-plugin:3.1.0:compile (default) on~ 2021-09-04

解决Failed to execute goal net.alchim31.maven:scala-maven-plugin:3.1.0:compile (default) on project sp1问题详情:用IEDA 的maven打包时出现了这个错误：Failed to execute goal net.alchim31.maven:scala-maven-plugin:3.1.0:compile (default) on project sparksql-train: wrap: org.apa

原创 Exception in thread “main“ java.lang.NoSuchMethodError: scala.Predef$.refArrayOps([Ljava/lang/Object

1.问题情况:Exception in thread “main” java.lang.NoSuchMethodError: scala.Predef$.refArrayOps([Ljava/lang/Object;)Lscala/collection/mutable/ArrayOps;2.问题原因原因是：IDE 里面 pom 文件引入的scala版本和提交的版本不一致3.解决方法解决方案：统一scala的版本就行啦...

原创 Spark启动集群——JAVA_HOME is not set~2021-09-03

一，问题情况二：问题原因spark 的sbin下的spark-config.sh 的最后没有添加JAVA_HOME的路径三：解决方法编辑sbin下的spark-config.sh在最后添加JAVA_HOME的路径分发各节点 ：再次启动：各节点状况

原创 kafka群起群关脚本~2021-08-18

（1）在/root/bin目录下创建脚本kf.shvim kf.sh（2）脚本内容#!/bin/bashcase $1 in "start"){ for i in hadoop101 hadoop102 hadoop103 do echo "============kafka $i启动中==============" ssh $i "source /e

原创 Hbase HRegionServer启动后老是自动关闭~2021-08-14

一.问题描述启动HBASE后，在web 页面上发现只有一个服务端，HBASE无法正常使用二.问题原因查找原因，发现Hregionserver 老是自动关闭然后看到在分布式的情况下，节点上的HRegionServer启动后自动关闭。三.解决方法:同步时间就能解决这个问题。网上同步时间安装ntpdate工具sudo yum install -y ntpdate设置系统时间与网络时间同步sudo ntpdate cn.pool.ntp.org...

原创 Linux下查看文件大小的命令有哪些~2021-08-12

ls -lht 列出当前目录下每个文件大小和创建时间du -sh * 列出当前目录下每个文件大小du -sh /home 列出home目录下每个文件大小ls -lht filename 查看当前目录下文件名为filename的文件大小和创建时间du -sh filename 查看当前目录下文件名为filename的文件大小stat filename 查看当前目录下文件名为filename的文件大小（以Byte大小显示）、创建时间、访问和修改时间、存储位置.

原创 flume netcat从nc命令接受数据 nc报错Ncat: Connection refused. ~2021-08-11

1.问题描述:flume 配置文件写完后，启动netcat 监听hadoop101 4444 端口显示’nc报错Ncat: Connection refused.2.问题原因:检查配置文件中netcat 中的bind参数配置的内容，如果是localhost nc的时候应该用bind的内容，写了locahost就不能主机映射（本机），写了主机映射就不能用localhost,但是IP地址没有测试过发现是bind 指向的主机名不对3.解决方法:修改bind 的主机名为 hadoop101..

转载 flume保存文件到hdfs的时候报错-2021-08-09

flume配置sink向hdfs中写入文件，在启动的时候遇到的报错问题1.Failed to start agent because dependencies were not found in classpath. Error follows.java.lang.NoClassDefFoundError: org/apache/hadoop/io/SequenceFile$CompressionType在这里插入代码片[ERROR - org.apache.flume.node.PollingPr

原创 Hive开窗函数实战2021-08-03-

1.基本语法Function (arg1,..., argn) OVER ([PARTITION BY <...>] [ORDER BY <....>][<window_expression>])Function (arg1,…, argn) 可以是下面的函数：Aggregate Functions: 聚合函数,比如：sum(…)、 max(…)、min(…)、avg(…)等.Sort Functions: 数据排序函数, 比如 ：rank(…)、row_nu

原创 2021-07-07-java.lang.Exception: java.lang.ArrayIndexOutOfBoundsException: 1

问题一直报ArrayIndexOutOfBoundsException问题原因排除其他原因，最后发现是排序的内容最后面有两行空行，无法切割解决原因把排序内容的两行空行删除

原创 2021-07-05 自定义InputFormat案例 处理大量小文件的场景

1.``smallFileInputfromat类看一下整体代码首先我们根据需求。你要定义一个 Fire input format要先继承一个 Fireinputformat。继承 File input format需要你实现一个record read的方法。你把它继承之后，你就需要实现。 Record reader方法。由于我们刚才分析要对小文件进行统一处理，所以我们设置了不可分割。如果他进行分割，他就不能够进行统一处理了，所以我们把它设置成统一处理。然后呢，你这里需要自定义一个 Record

原创 java.lang.Exception: java.io.EOFException-2021-07-02

报错信息：报错原因：是在自定义的类中序列化中的类型写错了另外这里强调一下序列化变量的顺序必须要和反序列化的顺序一致。![在这里插入图片描述](https://img-blog.csdnimg.cn/20210702170757369.png解决方法：...

原创 Error running ‘** [install]‘: No valid Maven installation found. Either set the home director

问题情况IDEA里面Maven无法打包，报这个错Error running ‘** [install]’: No valid Maven installation found. Either set the home director问题原因1.配置mavden的环境变量没配好，2.IDEA里面配置maven路径不对解决方法1第一种解决方法是配置mavden的环境变量：M2_HOME=maven安装路径path添加%M2_HOME%;2.第二种方法是配置maven路径解决步骤:一、打开f

原创 JAVA_HOME is incorrectly set. Please update F:\hadoop\conf\hadoop-env.cmd解决方法

1.报错信息：cmd:输入hadoop versionError: JAVA_HOME is incorrectly set. Please update F:\hadoop\conf\hadoop-env.cmd如果JAVA_HOME环境变量配置也没问题，则说明是错误提示中的配置文件中的JAVA_HOME配置有问题2.错误原因：该目录下的配置文件中的JAVA_HOME目录是：D:\develop\jdk8\jdk3.解决方法：打开hadoop安装的地方，找到etc文件里面的hadoop文