- 博客(7)
- 收藏
- 关注
RSS订阅原创 hive删除表超时报错
文章目录删除表报错解决方案问题排查hive 删除大分区表（多级分区）时遇到超时报错；删除表报错metastore.ObjectStore: Falling back to ORM path due to direct SQL failure (this is not an error): Timeout when executing method: drop_table_with_environment_context; 605198ms exceeds 600000ms at org.apache.
2022-04-08 16:40:12
2572
原创 polynote安装使用
文章目录安装polynote一、环境安装1.1 jdk环境安装1.2 gcc编译环境安装1.3 宿主机环境操作二、下载安装三、启动Polynote是一个实验性的多语言笔记本环境。目前，它支持Scala和Python(使用或不使用Spark)、SQL和Vega。目前的笔记本电脑解决方案，如Jupyter和Zeppelin，缺乏一些基本的特点:代码编辑——大多数笔记本工具的代码编辑功能还有很多不足之处。为什么一个笔记本工具不能像你在IDE中找到的那样有现代的编辑功能呢?Polynote提供了有用的自动完成
2020-11-11 17:00:44
1053
1
原创 Linux使用记录汇总
文章目录LinuxLinux1.1 查看Linux 系统版本命令方式：# 如下两种方式cat /etc/issuelsb_release -a1.2 查看系统内核版本cat /proc/versionuname -a1.3 shell 命令行光标操作几个常用命令Ctrl+u 光标位置向前删除所有Ctrl+k 光标位置向后删除所有Ctrl+e 光标移到行末Ctrl+a 光标移到行始1.4 sudo 设置https://blog.csdn.net/weixin_41787
2020-07-10 14:10:09
177
原创 创建日期时间的维度表，以年为维度，以季度为维度，以月为维度，以天为维度，各自创建时间维度hive表
创建日期时间的维度表，以年为维度，以季度为维度，以月为维度，以天为维度，各自创建时间维度hive表，--创建年维度表create table dimension_common.t_dim_year( year_id int comment '年份ID:yyyy', year_name string comment '年份名称,2019年', is_leap_year tinyint...
2019-05-08 14:15:13
4481
原创 记录-安装使用Azkaban遇到的坑
记录-安装使用Azkaban遇到的坑Azkaban官方文档，配置相关信息可以参考，一下我遇到坑的要点： 记录-安装使用Azkaban遇到的坑 Azkaban项目的名称文件夹不能为中文任务执行状态status一直为Preparing内存检查其他备注1. Azkaban项目的名称文件夹不能为中文 这个没什么好说的，在创建项目和flow，job等避免使用中文。2. 任务执行状态statu
2017-11-10 19:15:21
6467
转载 Hadoop计算框架shuffle过程详解
摘出的一段：【下面的参考博客，很不错】假如client设置过Combiner，那么现在就是使用Combiner的时候了。将有相同有相同key的key/value对的value加起来，减少溢写到磁盘的数据量。（reduce1，word1，[8]）。– 当整个map task结束后再对磁盘中这个map task产生的所有临时文件做合并（Merge），对于“word1”就是像这样
2016-10-09 10:47:31
311
转载 如何提升自己的编码水平
论编程技能的提升 建议多看看别人的代码，特别是行业内比较流行的框架或大牛写的开源项目，其中的逻辑思维和写码风格都很值得去学习。“多阅读高质量的代码可以做好笔记，时常看看”。 在电脑上写代码应该是最后的才去做的事了，而更多重要的事将在思考与讨论中完成，在写码之前，你就应该想好你要做些什么，你想要达成怎样的效果，然后通过哪些方法去做，做的更好。而不是在那
2016-07-31 22:43:50
1421
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人