数据库
Jiede1
专注与数据挖掘和人工智能
Github: https://github.com/Jiede1
展开
-
如何为Spark集群配置–num-executors, – executor-memory和–execuor-cores
前言在我们提交spark进程时,应该如何为Spark集群配置–num-executors, - executor-memory和–execuor-cores 呢?一些资源参数设置的基本知识Hadoop / Yarn / OS Deamons 当我们使用像Yarn这样的集群管理器运行spark应用进程时,会有几个守护进程在后台运行,如NameNode,Secondary NameNod...转载 2020-01-02 09:34:11 · 2397 阅读 · 0 评论 -
Arango入门Java实现读写
Arango是开源的图数据库,笔者最近正在学习,写了一段Java入门代码代码基于arango官网提供的flights,airports数据,即飞机航线的关系图。笔者参考ArangoDB简单实例介绍,实现了数据导入和AQL操作,顺便写了下段代码,实现数据库的读写操作。/** * Title: FirstProject.java* Description: * Copyright:...原创 2019-11-05 23:24:24 · 632 阅读 · 0 评论 -
深入浅出数据库索引原理
看到一篇讲述数据库原理非常好的文章,无耻的转载了。转载地址在文章尾。前段时间,公司一个新上线的网站出现页面响应速度缓慢的问题, 一位负责这个项目的但并不是搞技术的妹子找到我,让我想办法提升网站的访问速度 ,因为已经有很多用户来投诉了。我第一反应觉的是数据库上的问题,假装思索了一下,摆着一副深沉炫酷的模样说:“是不是数据库查询上出问题了, 给表加上索引吧”,然后妹子来了一句:“现在我们网站访...转载 2019-03-09 10:21:52 · 161 阅读 · 0 评论 -
[Python造轮子]从零实现一个类关系型数据库
前言进入IT这一行也有几个年头了,该听闻的技术,大都没有遗漏,所以广度上的扩展,不太急迫了,但深度上的扩展,还有很多要做的工作,所以就觉得从 “造轮子” 这方面切入,慢慢扩展自己的深度了。借助于实现一个数据库,笔者主要的目的有三个:1.深入了解一个数据库的底层原理,以及要从零实现的话,要包含哪些模块,如何实现2.这次实现的数据库是玩具级别的,几乎不需要测试我就能知道其具有非常多的缺陷,性...原创 2019-03-31 12:40:53 · 928 阅读 · 1 评论