- 博客(15)
- 问答 (1)
- 收藏
- 关注
RSS订阅原创 leetcode 407.接雨水II(超级简单易懂)
大家好，这里是张哈希刷题频道。今天给大家带来一道有意思的题目，"接雨水"。看到好多小伙伴，遇到了面试官想kill -9结束面试，抛出了这个3D接雨水核弹（前些年抛红黑树线段树之类的），接不下来基本上就宣布下线，此时一般可以直接带上简历走人了 ... （开个玩笑，可以继续厚脸皮硬刚，坚持我能赢）这个题目听起来很恐怖，其实是个老派难题。我们从头到尾把这个题目的解决过程讲解一遍。首先来看题目,题目大意是给你一个二维的height map,让你求这个地形能够接的雨水总量。
2024-02-18 00:33:54
1258
3
原创 调用了listFiles(filePath, true)引发的血案
改为listStatus然后自己实现递归读取，每1000个文件100多毫秒就能读完，看源码好像是listLocatedStatus和listStatus的区别，难道这个RemoteIterator迭代器成本很高吗。如代码所示使用Filesystem读文件目录，发现线上读取一个36万个文件的本地目录，任务卡住30分钟都没结束，冷汗下来了...谜底就在谜面上，程序逻辑本意是读一下fileStatus，记录status的文件路径，但断点发现实际还去扫描了文件内容！
2024-01-15 12:38:25
373
原创 【运维相关】检查 NPM 依赖项在 ARM64 架构上的兼容性
检查 NPM 依赖项在 ARM64 架构上的兼容性是迁移应用的重要一步。我们介绍了两种方法：一种是在 ARM64 架构的 Docker 容器中尝试安装依赖项，另一种是通过buildx进入一个node.js on ARM的镜像，在镜像中检测。第一种方法更可靠，但可能较慢，而且要依赖特定的机器环境。第二种方法速度较快，比较吃本地资源。
2023-04-13 21:20:43
531
原创 spark jdbc写数据到Hive
由于spark本身是不支持jdbc写入hive的，我们这里通过byzer做了实现，byzer自带了HiveJdbcDialect，有了这个功能后，我们通过save是可以正常创建表结构的，然后就拷贝hdfs数据，并通过原生的hive load data关联hdfs文件数据。
2023-02-02 11:02:14
1147
2
原创 Byzer 面试必考题 —— 同一用户同一位置停留时长
老张最近在整理面试题的时候，发现一道题目非常具有代表性，几乎数据开发岗位的同学都耳熟能详的一道题，我们下面将演示2种写法，分别看下他们之间的异同。需求现有如下数据文件需要处理，格式：CSV，位置： hdfs://byzerwh/input.csv ，大小：100GB字段名：user_id, location_id, time, duration字段中文名：用户ID，位置ID，开始时间，停留时长（分钟）样例（4行）：UserA,LocationA,2022-01-01 08:00:00,60Us
2022-05-20 18:40:48
333
3
原创 一篇文章了解Byzer的文件系统
一篇文章了解Byzer的文件系统Byzer 是一门面向 Data 和 AI 的新一代编程语言，它支持多种文件类型，例如本地文件系统，HDFS，对象存储：Amazon blob、S3等。[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-S5YLLLct-1652844497984)(https://kyligence.feishu.cn/space/api/box/stream/download/asynccode/?code=NDU0MGE5OTcxNWMwMjNlZmY4N
2022-05-18 12:37:41
1063
原创 【转载】dockerfile-maven-plugin极简教程
> 转载自：dockerfile-maven-plugin极简教程 - Naylor - 博客园一、简介 maven是一个项目依赖管理和构建的工具，dockerfile-maven-plugin是一个maven的插件，主要作用是在项目构建的时候生成基于项目的docker镜像文件。 简而言之，此插https://www.cnblogs.com/Naylor/p/13803532.html目录一、简介 二、概述 三、将spring-boot-app打包成docker镜像 创建示例应用 修
2022-02-23 00:36:17
3124
原创 Byzer 底层原理: SQL 层面的扩展是如何实现的
Why make wheels ？“宇宙的尽头是SQL！”，相信从 MapReduce 时代过渡过来的开发，在第一次接触分布式 SQL 引擎都会惊叹出这句话。低代码化的潮流，让 SQL 语言快速蔓延到更多的基础设施上面。但不得不说，SQL 也存在它的短板，首先它最早为了关系型数据库设计的，适合查询而非 ETL，但是现在人们慢慢把他扩展到 ETL，批流处理，甚至 AI 上，它就有点吃力了。 第二个问题是，他是声明式的，导致缺乏可编程性。“一只通晓万物的白泽诞生”，Byzer 以 DATA+AI 为核心理念
2022-02-22 21:11:54
377
原创 如何提交PR（Pull Request）【转载】
前言本文尽量使用图形工具介绍如何向开源项目提交 Pull Request，一次亲身经历提交 PR1.fork 项目2.克隆本地git clone https://github.com/liangtongzhuo/taro-ui.git3.根据文档创建分支拖进 SourceTree，基于 dev 创建分支4.提交的自己仓库git add . && git commit -m"fix(dos):修正文字 " && git push5.提交 Pull Req
2022-02-11 13:33:50
702
原创 spark添加二方包导致依赖冲突排查
问题描述近期发现了一个线上问题，本地启动byzer服务是正常的，但打好的docker镜像就是抛异常跑不起来，而前几天构建的镜像是正常的，初步定位到时新的发布导致的！于是经过了一系列痛苦的排查。错误堆栈看byzer-lang最近的提交记录都在30天前，显示不会是它的问题，于是根据日志研究。7bafdda4df93] __MMMMMM__ Total jobs: 1 current job:1 job script:load modelList.`` as __output__ 22/02/0
2022-02-10 20:01:36
1548
原创 See apt-secure(8) manpage for repository creation and user configuration报错问题定位
参考了：https://stackoverflow.com/questions/59139453/repository-is-not-signed-in-docker-build我尝试在docker中执行 RUN apt-get update && apt-get install -y openssh-server，但总是得到下面的异常：Get:4 http://archive.ubuntu.com/ubuntu focal-backports InRelease [108 kB
2022-01-13 11:07:31
3658
原创 【Byzer】Python Daemon 暴增的问题排查
python daemon 暴增的问题排查背景https://github.com/byzer-org/byzer-lang/issues/1652后台发现daemon进程增长很快！而正常情况是一个python env 应该只有一个进程。下图可以看到多个daemon：影响范围大致从driver节点的系统资源分析了一下，发现问题比较严重，注意有以下几点：进程常驻，不会自动销毁，会导致创建过多导致cpu过高占用内存较高，切和daemon中任务使用的资源有关大量IDEL进程，实际运行实际很短
2022-01-09 19:32:45
1483
5
原创 使用 mail/sendmail 从终端发送邮件
I have some scripts that need to send mail from the command line. Whilemailworks out of the box, it will not work if your ISP blocks port 25, or if your ISP's network address range is on a blacklist. You could use Mail.app and AppleScript, but that requi..
2021-11-01 21:36:55
387
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人