- 博客(14)
- 资源 (3)
- 收藏
- 关注
RSS订阅原创 王道一休的数据结构
数组、链表、树代码题总结——一休如果文档中有什么问题可以找王道班主任或者直接找我。本来我想讲的东西很多，希望能够把所有可能用到的东西都展示给大家（比如引用，如果理解不了，考试中怎么通过其他方法避免使用引用），但是时间紧张，之后会考虑制作对应课程包，不同的同学想听的东西不同，大家有什么建议以及这几次课程的评价都可以填问卷或者直接告诉我或班主任，感谢大家的支持，希望你们能学会这种分析做题的方法，那代码题拿分甚至拿满分都是没问题。数据结构其他部分每一小块我也在做总结，但是这个很难做，你们可以去看一下习题视频里
2022-12-01 10:40:35
1269
1
原创 windows下安装flink并启动
主要记录下bin目录找不到bat脚本的问题，详细流程看文末参考文档1.直接下载scala版本为2.12的bin目录下自带bat脚本2.官网scala版本2.11的bin目录下没有bat脚本，如果要使用scala2.11的直接把bat脚本copy的bin目录即可start-cluster.bat脚本内容::###############################################################################:: Licensed to t
2020-12-04 12:11:59
2990
原创 kafka的基本使用和原理
搭建kafka集群参考：https://blog.csdn.net/qq_39607643/article/details/109806808说明: 索引执行的脚本文件都存放在kafka的bin目录中, 需要先进入bin目录才可以执行cd /export/servers/kafka/bin1脚本文件的使用1)创建一个topic:topic: 指的是话题, 主题的意思, 在消息发送的时候, 我们需要对消息进行分类, 生产者和消费者需要在同一个topic下, 才可以进行发送和接收./
2020-11-19 21:19:09
514
原创 centos6.9搭建kafka2.11集群
1 准备工作1)准备三台服务器, 安装jdk1.8 ,其中每一台虚拟机的hosts文件中都需要配置如下的内容vim /etc/hosts192.168.72.141 node01192.168.72.142 node02192.168.72.143 node032)安装目录安装包存放的目录：/export/software安装程序存放的目录：/export/servers数据目录：/export/data日志目录：/export/logs创建各级目录命令:mkdir -p /
2020-11-19 11:59:38
156
原创 Vmware15.5当中安装centos6.9
一、创建虚拟机选择自定义安装这个界面保持默认即可这里一定要选择稍后安装操作系统选择linux的虚拟机 在“版本”下拉框中选择我们对应的centos的版本为centos6 64点击浏览更换一个路径来存储我们的linux虚拟机，最好不要选c盘避免占用c盘空间保持默认即可为我们虚拟机分配内存，每个人根据自己的电脑内存大小合理分配这里使用NAT方式来联网保持默认选择创建新虚拟磁盘这里磁盘大小可以根据自己需求调整保持默认二、挂载操作系统，开始安装虚拟机上鼠标右键选择设置选
2020-11-12 15:33:57
282
1
原创 User class threw exception: java.lang.UnsupportedOperationException: empty collection
原因：spark代码中有访问这个表：t_sd_xxxx表的生命周期只有十天，然后生命周期把历史的数据清理了这个表里的分区已经没有了20/10/13 20:43:36 ERROR ApplicationMaster: User class threw exception: java.lang.UnsupportedOperationException: empty collectionjava.lang.UnsupportedOperationException: empty collection
2020-10-13 21:34:49
1170
原创 flink集群部署之Standalone模式+HA高可用部署
1.下载flink链接：https://flink.apache.org/downloads.html2.安装1）解压缩tar -zxvf flink-1.7.2-bin-hadoop27-scala _2.11.tgz3.代码编写object StreamWordCount { def main(args: Array[String]): Unit = { //从外部命令获取参数 val params: ParameterTool = ParameterTool.f
2020-09-30 22:11:37
478
原创 windows10安装nc测试flink
1.下载地址：https://eternallybored.org/misc/netcat/2.解压后将nc.exe复制到如图目录下3.测试
2020-09-30 19:12:45
597
原创 FAILED: Execution Error, return code 3 from org.apache.hadoop.hive.ql.exec.mr.MapredLocalTask
报错信息[2020-09-23 19:26:35] hive:Execution log at: /tmp/mqq/mqq_20200923191542_f05d782a-27c8-4e09-a6e2-16fe910f476a.log[2020-09-23 19:26:35] hive:2020-09-23 19:26:35 Starting to launch local task to process map join; maximum memory = 10540810240[2020-09-2
2020-09-23 22:07:26
1230
原创 myslq行转列
原数据-- tablename1 default.testname scorezhangsan;lisi 80zhaoyun ; 60qiansan; 70wangliu; sunwu 50tablename2SQLselect substring_index( substring_index( a.name, ';', b.help_topic_id + 1
2020-09-21 17:25:15
76
原创 【Hive】hive查询支持的函数
更新中…参考Hive语法官网介绍version 0.12.0SHOW FUNCTIONS; DESCRIBE FUNCTION <function_name>;DESCRIBE FUNCTION EXTENDED <function_name>;一、关系运算：1. 等值比较: =语法：A=B操作类型：所有基本类型描述: 如果表达式 A 与表达式 B 相等，则为 TRUE；否则为 FALSE；只要有任意比较项为NULL,均返回 FALSE;举例：hive&g
2020-09-09 16:42:47
785
1
原创 【Hive】Hive查询报错 Malformed ORC file、Invalid postscript、serious problem
报错1：[2020-09-01 20:27:48] hive:Failed with exception java.io.IOException:java.lang.RuntimeException: serious problem[2020-09-01 20:27:48] hive:Time taken: 3.237 seconds[2020-09-01 20:27:50] job失败！报错2：[2020-09-01 21:00:35]-Failed with exception java.i
2020-09-01 21:24:09
1890
原创 【Hive】Hive常见问题排查技巧
一、作业慢或者有问题，先看Yarn链接1.作业Pending问题查看通常是资源问题ACCEPTED: waiting for AM container to be allocated表示AM的资源都没有分配Pending很多，Running很少队列资源用满情况分类队列满了，不一定是vcore满，可能是内存满了，使用不合理都是先把内存用满了解决办法：1.杀作业,停止不重要作业，保障优先级2.加队列资源队列满的情况，有时候是因为用户内存设置太大，建议业务砍内存Config
2020-08-31 20:50:35
2136
原创 【Hive】Hive经典面试题SQL测试题目，待更新...
题目一：学生表(STUDENT)的字段含义：SNO 代表学号，SNAME 代表学生姓名，SAGE 代表学生年龄，SSEX 代表学生性别课程表(COURSE)的字段含义：CNO 代表课程编号，CNAME 代表课程名字，TNO 代表教师编号，成绩表(SC)的字段含义：SNO 代表学号,CNO 代表课程编号,SCORE 代表成绩教师表(TEACHER)的字段含义：TNO 代表教师编号，TNAME 代表教师姓名1. 查询所有学生的学号、姓名、选课数、总成绩、平均成绩、排名2. 查询没学过“悟空”老
2020-08-31 15:23:17
254
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人