自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(61)
  • 资源 (1)
  • 收藏
  • 关注

原创 安装微软应用商店老是报错哦,咋回事

安装微软应用商店老是报错哦,咋回事。

2024-07-11 15:44:56 310

原创 【windows装机】换新电脑后,如何正确重新安装微软应用商店,就这个倒腾了我大半天,最开始老是报错

换新电脑后,因为优化把微软应用商店(microsoft windows store)给卸载了,现在在部署环境的时候有时需要安装一些软件,但这些软件依赖微软应用商店的后台服务 ,故虽不喜欢微软应用商店,但~又不得不把它装回来 ,对这个微软应用商店真是又爱又恨步骤2下载的时候最好在edge浏览器里下载,其他浏览器可能会被阻止而且还没提醒。

2024-07-11 15:37:57 2181

原创 【大数据技术】换新电脑了,如何快速迁移MySQL到新电脑上(含程序+数据),这样既快速又高效,省去了“各种安装+各种配置+各种迁移数据”带来的麻烦和时间

只要原电脑上是用解压版安装的MySQL,配置文件,数据等都配置在MySQL安装目录下,正常使用的MySQL,在迁移至新电脑时,可使用我这种方法实现快速迁移快速使用重点步骤:1.在新电脑上将复制包的路径添加到环境变量path里;2.在新电脑上安装mysql服务 (mysqld --install )这样既快速又高效,省去了“各种安装+各种配置+各种迁移数据”带来的麻烦和时间。

2024-07-10 15:36:37 1551

原创 这是一篇格式保留贴

这是一篇格式保留贴你好! 这是你第一次使用 Markdown编辑器 所展示的欢迎页。如果你想学习如何使用Markdown编辑器, 可以仔细阅读这篇文章,了解一下Markdown的基本语法知识。我们对Markdown编辑器进行了一些功能拓展与语法支持,除了标准的Markdown编辑器功能,我们增加了如下几点新功能,帮助你用它写博客:撤销:Ctrl/Command + Z重做:Ctrl/Command + Y加粗:Ctrl/Command + B斜体:Ctrl/Command + I标题:Ctrl/Co

2024-04-22 16:37:31 862

原创 纪念我的账号

这个账号注册至今已有六七年,断断续续写了些文章,马马虎虎,后续希望有更多的时间来写写文章。

2024-04-13 11:19:43 119

原创 【大数据技术】记一次MySQL启动失败,[ERROR] [MY-010958] [Server] I/O error reading the header from the binary log.

在使用清理工具清理电脑的时候,把binlog误删,大家以后也要多注意,[ERROR] [MY-010958] [Server] I/O error reading the header from the binary log.

2024-04-13 11:17:19 1203 2

原创 【大数据技术】记一次大数据事故@用了很久的虚拟机环境突然不能联网了

记一次大数据事故@用了很久的虚拟机环境突然不能联网了

2023-11-02 00:45:47 253

原创 spark2.4.5 连接hive3.1.2失败报错ERROR BoneCP: Failed to acquire connection to jdbc:mysql://node1:3306/hive

ERROR BoneCP: Failed to acquire connection to jdbc:mysql://node1:3306/hivemeta?createDatabaseIfNotExist=true&useSSL=false&useUnicode=true&characterEncoding=UTF-8. Sleeping for 7000 ms. Attempts left: 5java.sql.SQLException: No suitable driver found for

2023-07-13 00:25:41 506 3

原创 【大数据技术】Hive on spark 与Spark on hive 的区别与联系

Hive 既作为存储元数据又负责sql的解析优化,遵守HQL语法,执行引擎变成了spark,底层由spark负责RDD操作。Hive只作为存储元数据,Spark负责sql的解析优化,遵守spark sql 语法,底层由spark负责RDD操作。【大数据技术】Hive on spark 与Spark on hive 的区别与联系。

2023-07-11 16:33:31 788

原创 【大数据技术】hive 窗口函数sum range between的详细介绍

【大数据技术】hive 窗口函数sum range between的详细介绍

2023-07-06 15:32:43 799

原创 spark连接MySQL8报错The server time zone value ‘�й���׼ʱ��‘ is > unrecognized or represents more than one

根据报错信息,确定为timezone引起的问题,经查询及百度搜索知在jdbc版本高于6时,须加上serverTimezone参数,用以设置时区。在spark环境连接MySQL读取数据时发现正确配置用户名密码后,依然报错。spark 为2.4.5。

2023-06-28 22:20:22 247

原创 spark代码,诡异的现象

用以前学习用而搭建的local模式spark环境,运行以下代码,则报错,而我很久之前,很清楚的记得这样跑是没有问题的,明明这样写是可以正确读取本地文件的。

2023-06-24 01:32:01 105

原创 【linux技术】记一次虚拟机vmware里 Centos7开机故障:sd 0:0:0:0: [sda] Assuming drive cache: write through

在百度上搜索了很多类似问题,都说是更改grub即可,https://www.cnblogs.com/jeson-lbb/p/9821636.html ,但是我试了很多次,在我电脑上这个方法一直无效。随后进入紧急模式,打开/etc/fstab 一个一个文件对着查找,把df -h命令结果出现的都留着,未出现的都注释掉,然后reboot,奇迹出现,久违的centos7 界面出现,至此问题解决。反复开机试了几次,一直是这个样子无法正常进入系统。

2022-12-24 01:14:11 4020 1

原创 【MySQL】what,mysql8组合索引不满足最左原则也走索引?有点奇怪

【MySQL】what,mysql8组合索引不满足最左原则也走索引?有点奇怪

2022-09-19 16:42:44 891

原创 【数据开发】MySQL explain详解

【数据开发】MySQL explain详解

2022-09-14 21:48:43 249

原创 【大数据技术】搭好的集群使用Spark-SQL连接Hive后,无法再次正常使用hive查询数据

【大数据技术】搭好的集群使用Spark-SQL连接Hive后,无法再次正常使用hive查询数据

2022-08-27 00:49:47 1233

原创 【大数据技术】记一次spark连接MySQL读数据失败的排查,显示“No suitable driver”,但实际是driver已经配置好了

显示“No suitable driver”,但实际是driver已经配置好了

2022-08-15 14:57:14 1387

原创 【大数据技术】Spark-SQL如何连接MySQL并进行读写数据

【大数据技术】spark SQL如何连接MySQL并读取数据

2022-08-13 16:50:37 3095 3

原创 【大数据技术】表连接的三种join方式详解 hash join、merge join、nested loop

【大数据技术】表连接的三种join方式详解 hash join、merge join、nested loop

2022-08-11 00:34:28 660

原创 【大数据技术】AB球队得分流水表,得到连续三次得分的队员名字---某大厂面试题

【大数据技术】AB球队得分流水表,得到连续三次得分的队员名字---某大厂面试题

2022-08-06 19:28:01 338

原创 【大数据技术】多维分析,grouping set的用法及案例详细解析,数据分析师利器

【大数据技术】多维分析,grouping set的用法及案例详细解析,数据分析师利器

2022-08-05 12:08:37 496

原创 【大数据技术】trans_array的用法及示例详解

【大数据技术】trans_array的用法及示例详解,神器

2022-08-05 00:11:23 2350

原创 【大数据技术】hive 跑mapreduce报错

【大数据技术】hive 跑mapreduce报错

2022-08-04 21:57:41 380

原创 【大数据技术】!重要!MySQL里按某字段指定内容顺序排序的几种实现方法

【大数据技术】!重要!MySQL里按某字段指定内容顺序排序的几种实现方法

2022-08-03 23:42:59 2572

原创 【大数据技术】!重要#易错!Hive窗口函数里rows between与range between的区别及详细解析

【大数据技术】Hive窗口函数里rows between与range between的区别及详细解析,重要,且易错

2022-08-03 17:53:10 1108

原创 【大数据技术】hdfs通过网页端不能删除文件时的解决方法

【大数据技术】hdfs通过网页端不能删除文件时的解决方法

2022-07-30 17:04:40 1776

原创 【大数据技术】centos7下配置hive连接mysql,mysql-connector-java-8.0.26-1.el7.noarch.

【大数据技术】centos7下配置hive连接mysql,mysql-connector-java-8.0.26-1.el7.noarch.

2022-07-29 18:33:42 1149

原创 【大数据技术】Hive 侧视图lateral view的几种写法分享

【大数据技术】Hive 侧视图lateral view的几种写法分享

2022-07-29 00:39:57 589

原创 【大数据技术】本质原因之Hive分区表插入数据报错Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.MoveTask

【大数据技术】分区表插入数据报错:Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.MoveTask. Except1、分区表的分区字段内容里最好不用中文;2、若出现上述报错,可考虑修改元数据保存格式问题,我的元数据保存在mysql里,可尝试修改mysql里Metastroe所在库的字符编码(目前正研究中) ;.........

2022-07-28 12:35:49 2686

原创 【大数据技术】hive里求每个班的最高成绩但又需要所有字段时的新解法

【大数据技术】hive里求每个班的最高成绩但又需要所有字段时的新解法,真的不错,神器

2022-07-28 00:54:20 499

原创 【大数据技术】hive中cluster by(clustered by)在建表时使用与在sql中使用的区别及对结果的影响(很细微)

【大数据技术】hive中cluster by(clustered by)在建表时使用与在sql中使用的区别及对结果的影响(很细微)

2022-07-26 11:50:37 2187

原创 【大数据技术】!注意!hive2和hive3 在使用insert overwrite是只会覆盖到它会写数据的分区,对于其他分区不会有任何影响

【大数据技术】!注意!hive2和hive3 在使用insert overwrite是只会覆盖到它会写数据的分区,对于其他分区不会有任何影响

2022-07-25 19:07:54 2537

原创 【大数据技术】hive3建表时报错ParseException line 11:0 missing EOF at ‘comment‘ near ‘‘/xxx‘‘经检查是因为语句顺序不当引起的

【大数据技术】hive3建表是报错ParseException line 11:0 missing EOF at 'comment' near ''/xxx''经检查是因为语句顺序不当引起的,hive建表要按正确的关键字顺序才能建表成功

2022-07-25 13:25:14 4466

原创 【大数据技术】!重要! /etc/my.cnf通过notepad++插件进行远程编辑从而保存成了windows格式导致初始化成功后不能成功启动

【大数据技术】/etc/my.cnf通过notepad++插件进行远程编辑从而保存成了windows格式导致初始化成功后不能成功启动

2022-07-23 22:26:09 300

原创 【大数据技术】Hadoop3.1.3在网页端上传文件失败的解决方法

【大数据技术】Hadoop3.1.3在网页端上传文件失败的解决方法

2022-07-22 19:27:39 908 1

原创 解答一直以来的疑问: 实用Linux (centos 7)经常会遇到一下,但是一直不太明白是啥意义

解答一直以来的疑问:实用Linux (centos 7)经常会遇到一下,但是一直不太明白是啥意义

2022-07-22 17:53:53 88

原创 【postgresql】postgresql round()函数详解

实际日常开发工作中,时时需要按指定格式保留小数位,但有时极易出错,现将使用round函数时的细微差异总结如下:结果可仔细观察代码细微不同所带来的结果不同,在实际开发工作中根据自己需要合理使用round()函数............

2022-06-08 16:30:45 4917

原创 【postgresql】几个系统未自带,但经常需要用的自定义函数

postgresql 自定义函数 验证手机号、验证18位身份证号码CREATE OR REPLACE FUNCTION “public”.“check_idcard”(“a_sfz” varchar)RETURNS “pg_catalog”.“bool” AS

2022-05-27 23:34:17 425

原创 【postgresql】数据类型bpchar,varchar,char,text之间的区别与联系

bpchar,varchar,char的区别与联系

2022-05-12 16:10:13 12123 4

原创 【大数据技术】大数据技术之数仓宽表和窄表的区别

这里写自定义目录标题欢迎使用Markdown编辑器新的改变功能快捷键一级目录二级目录三级目录合理的创建标题,有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能,丰富你的文章UML 图表FLowchart流程图导出与导入导出导入欢迎使用Markdown编辑器你好! 这是你第一次使用 Markdown编辑器 所展示的欢迎页。如

2022-05-05 23:36:05 2958

centos下hive连接mysql驱动 ,mysql-connector-java-8.0.26-1.el7.noarch.

centos 下hive连接mysql驱动 ,mysql-connector-java-8.0.26-1.el7.noarch. 使用方法: 1.下载本rpm文件后,上传至你的服务器(虚拟机) 2. rpm -ivh mysql-connector-java-8.0.26-1.el7.noarch进行安装 3.安装完成后会在 /usr/share/java下会有mysql-connector-java.jar 4.按你的实际需求,将此mysql-connector-java.jar文件复制到你需要的地方,一班是在大数据组件的conf目录,比如hive是/usr/software/hive312/lib/

2022-07-29

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除