- 博客(12)
- 收藏
- 关注
RSS订阅原创 idea 2019配置Flink依赖时，依赖成功但是却无法使用对应的类问题解决方案及汇总
今天在使用ieda配置FLINK相关依赖的时候，反反复复出现一个问题在pom文件里已经添加了对应的正确的依赖</</</</</</</</</</</</</</</</但是在实际运用中无法使用，我反复的去查询答案，反复去检查我的步骤是否有遗漏，但是最后还是不行，话不多说直接说，程序员时间宝贵。这里的配置成功是因为在对应的maven目录下，已经有生成对应的依赖，只是他并没有下载成功，如图：点进去发现：一直处于lastUpdated状态且文件只有1KB**
2024-05-25 20:38:28
414
原创 hive初始化derby报错显示hive初始化时指定了未知版本或者Unknown version specified for initialization: 3.1.0解决方案
先说说这个问题导致原因：我们在删除原本linux的maridb跟mysql的时候，把hive里面的一个名为：mysql的文件夹删除了，导致了后续出现此问题。把包放进去对应位置后，在hive/bin目录下，执行schematool -dbType mysql -initSchema。关于这个问题，我研究了两天，用了好多的方法，也在网上找到了很多资料，还是无法解决这个问题。另外我的hadoop版本为3.1.3,hive版本为3.1.3。希望这个解决方法能解除你目前的困惑。
2023-07-09 20:51:18
470
2
原创 hive导入csv表中文乱码解决办法
我真的服了，我今天想解决这个问题，因为之前有搜寻过想去搜寻复制一下结果搞了半天都找不到，真的服了这网上一堆乱七八糟的东西我只想要解决方案我只要一句话这些文章老是扯东扯西的hive导入csv表中文乱码解决办法如下：alter table 表名 set serdeproperties (‘serialization.encoding’= ‘GBK’);...
2022-03-14 18:32:17
4108
9
转载 spark 指定相关的参数配置 num-executor executor-memory executor-cores
num-executors参数说明：该参数用于设置Spark作业总共要用多少个Executor进程来执行。Driver在向YARN集群管理器申请资源时，YARN集群管理器会尽可能按照你的设置来在集群的各个工作节点上，启动相应数量的Executor进程。这个参数非常之重要，如果不设置的话，默认只会给你启动少量的Executor进程，此时你的Spark作业的运行速度是非常慢的。参数调优建议：每个Spark作业的运行一般设置50~100个左右的Executor进程比较合适，设置太少或太多的Executor进程
2021-03-08 22:23:12
792
原创 mysql同库导数出现 lost connection to mysql server during query如何解决？
mysql同库导数出现 lost connection to mysql server during query如何解决？报错类型：#Lost connection to MySQL server during query#MySQL server has gone away#No connection. Trying to reconnect…解决方法：在my.ini配置文件 mysqld 节点下添加 max_allowed_packet = 500M。（这个500M的话可以根据你的实际情况调整
2021-01-22 19:44:31
1290
原创 关于hive的行转列、列转行的用法
hive 行专列CONCAT() :返回输入字符串连接后的结果，支持任意个输入字符串;CONCAT_WS(_, A, B,…):它是一个特殊形式的 CONCAT()。第一个参数剩余参数间的分隔符。分隔符可以是与剩余参数一样的字符串。如果分隔符是 NULL，返回值也将为 NULL。这个函数会跳过分隔符参数后的任何 NULL 和空字符串。分隔符将被加到被连接的字符串之间;列转行EXPLODE(col)：将hive一列中复杂的array或者map结构拆分成多行LATERAL VIEW：LATERAL V
2021-01-10 17:52:56
269
转载 为什么我们需要配置环境变量
在我们与计算机交互的时候，主要有两种方式：一种是用户图形界面，一种是直接敲命令。现在99.99%的使用情况都是前者，我们使用的各种软件（office，qq，微信，甚至哪怕是写代码的IDE…），哪个不是图形界面呢？而后者是Windows之前的DOS用的方式，不过现在还是有用到，就是win+R键再输入cmd的东西，被大家叫“命令行”。在命令行里可以选择文件进行我们想要的执行。当然了，命令行的运行是有所在路径的，不管你切换路径来切换去，也不可能在真空中运行。如果你想要执行的文件不在当前操作的路径中，计算机自然就
2021-01-03 15:28:01
426
转载 Mysql跟Oracle语法差异
1 数据库mysql可以创建数据库，而oracle没有这个操作，oracle只能创建实例；sql数据库操作：database格式:* create database 数据库名;* create database 数据库名 character set 字符集;CREATE DATABASE j0815_1;CREATE DATABASE j0815_2 CHARACTER SET utf8;-查看数据库SHOW DATABASES;-查看定义的数据库SHOW CREATE DATABAS
2020-12-30 11:18:00
509
转载 hive beeline参数描述
Hive客户端工具后续将使用Beeline 替代HiveCLI ，并且后续版本也会废弃掉HiveCLI 客户端工具,Beeline是 Hive 0.11版本引入的新命令行客户端工具,它是基于SQLLine CLI的JDBC客户端。Beeline支持嵌入模式(embedded mode)和远程模式(remote mode)。在嵌入式模式下，运行嵌入式的Hive(类似Hive CLI)，而远程模式可以通过Thrift连接到独立的HiveServer2进程上。从Hive 0.14版本开始，Beeline使用Hi
2020-12-30 10:37:33
547
转载 Hadoop关于集群的概述
调优概述几乎在很多场景,MapRdeuce或者说分布式架构,都会在IO受限,硬盘或者网络读取数据遇到瓶颈.处理数据瓶颈CPU受限.大量的硬盘读写数据是海量数据分析常见情况.IO受限例子：索引分组数据倒入导出数据移动和转换CPU受限例子：聚类/分类复杂的文本挖掘特征提取用户画像自然语言处理我们需要从硬件规划和软件规划等多方面结合实现性能和效率的提升。异构集群目前Hadoop发展为一个无所不包的数据平台,所以不仅仅是MapReudce使用,多种计算模型可插拔和Hadoop无缝结合,
2020-12-29 16:55:50
343
转载 spark-submit 提交任务及参数说明
./bin/spark-submit \--master spark://localhost:7077 \examples/src/main/python/pi.py
2020-12-29 11:10:09
532
转载 MYSQL之concat、concat_ws、group_concat函数用法和区别
concat、concat_ws、group_concat函数用法和区别：一：concat()函数可以连接一个或者多个字符串 concat(str1,str2,…) 返回结果为所有连接参数产生的一个字符串。如有任何一个参数为NULL ，则返回值NULL。 示例：select concat(‘aa’,‘bb’,‘cc’);结果：aabbcc二：concat_ws(separator,str1,str2,…) 是concat()的特殊形式。第一个参数是其它参数连接的分隔符。分隔符是放在要连接
2020-12-26 19:30:08
441
2
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人