大数据
文章平均质量分 79
郑泽洲
IT Veteran
展开
-
PayPal面经
本文记述的是我两年多之前在PayPal的面试记录。最近准备重新回到金融赛道,所以对以往的技术、项目、面试等做一个梳理和总结。PayPal在业内属于一线,具有全球的业务,同时和中国金融监管又比较合,属于大家感兴趣的公司,所以分享经历。原创 2023-09-27 12:59:51 · 282 阅读 · 0 评论 -
FinTech创新系列博客
技术驱动金融革命的年代原创 2023-01-29 13:36:21 · 591 阅读 · 0 评论 -
面经:中国人民银行金融科技研究院
一位对数字人民币感兴趣的金融科技从业人员面试中国人民银行金融科技研究院的面经原创 2022-09-03 22:52:36 · 3988 阅读 · 0 评论 -
救救家长:疫情封控下packetbeat+kafka+ES套件监控青少年上网行为
缘起疫情,不少孩子封控在家,需要上网课,但是老是抑制不住地去打游戏或看视频。朋友圈里面,某位技术大牛这么描述疫情封控期间,他与孩子的居家“战争”原创 2022-05-14 22:38:14 · 1038 阅读 · 0 评论 -
Chrome浏览器及V8引擎概要
背景2020年在eBay大数据团队做可视化项目时,除了后端的spark和java,还需要负责前端数据可视化页面的定制,这就需要前端知识了,包括但不限于:webpack、chrome、js引擎。那时候没什么经验,仅有股热情,按着业务团队需要定制了很多Metrics页面,并痛感浏览器知识的不足,于是去极客时间系统学习了李兵老师的《浏览器工作原理与实践》。李兵老师的课程我都很推荐,条理清晰,层层递进,学习效果好。说句题外的话,教学也是一种专业技能,优秀的老师能把知识以最大的效率传输,也就是学习的“带宽”较高。原创 2022-03-31 22:31:00 · 1484 阅读 · 0 评论 -
花旗银行面经
花旗银行 上海 面经原创 2021-12-24 19:32:49 · 2133 阅读 · 1 评论 -
通过Redash可视化方式监控大数据系统运行
背景Redash是款优秀的大数据可视化开源工具。在我eBay工作的第二年里面,这个Redash是重心的重心。Redash的代码分为两部分:前端和后端。后端的本领之一是“七十二变”,能够将各种数据源整合进来;前端的本领是各种精美的控件,搭配后端数据源,能将枯燥的大数据分析后以图形方式展示。都说数据是21世纪的财富,我觉得光数据本身不能算财富,数据被智慧体分析后产生的洞察insight才是财富。就拿这套系统来说,运营通过可视化,获得更好的洞察,并以洞察来调整资源的运用(在MarkingTech里面主原创 2021-09-11 17:51:50 · 595 阅读 · 0 评论 -
Golang学习路线图及go-starter.md
背景为什么要学习golang最早接触golang是因为对区块链感兴趣,因为golang的并发和内置的网络库还有大公司的支持,先天比较适合区块链,很多著名的框架都是golang写,比如geth再后来,到新加坡Shopee工作,技术栈从Java切换成了golang,更要好好学习golang的语言特性了如下是之前列的一个学习路线图1.数据类型(含struct)每个类型占用多少字节最大值 最小值,有无封装;溢出怎么处理内置的map和slice两个特色的数据类型struct结构如何在原创 2021-08-29 10:48:32 · 2522 阅读 · 0 评论 -
B+树在mysql索引中的应用
知识准备干货:mysql索引的数据结构了解了B树和B+树的区别后,下面给出2张直观的图示来对比。B树B+树uuid之坑(为什么不建议用uuid为主键)了解不同存储引擎的索引实现方式对于正确使用和优化索引都非常有帮助,例如知道了InnoDB的索引实现后,就很容易明白为什么不建议使用过长的字段,比如uuid作为主键理由因为所有辅助索引都引用主索引,过长的主索引会令辅助索引变得过大。再例如,用非单调的字段作为主键在InnoDB中不是个好主意,因为InnoDB数据文件本身是一颗B+Tree原创 2021-05-31 21:12:00 · 208 阅读 · 2 评论 -
啦啦啦,我是一个自动写代码的机器人
文章目录前言理论知识:各人工智能算法之间的关系实战操作:训练过程对结果的具体分析前言几年前看过《雨果》这部蒸汽朋克风格的电影,其中一个情节“小男孩的噩梦”给我留下了深刻印象,主角小男孩是个寡言而聪明的孩子,在身为工程师的唯一亲人父亲工伤去世后,接替亡父维护钟楼,整体和各种机械打交道,一天夜里,半梦半醒间,他发现自己胸膛可以打开,打开后里面是运转的齿轮和曲轴,原来自己是个机器人!!我也有同样的梦境,屏幕上的代码奔涌而出,看似是机器自动写的,亦或是我就是一个自动写代码的机器人??–咳咳咳,扯远了,回到现原创 2021-02-21 23:40:04 · 979 阅读 · 0 评论 -
使用/proc探测解决批量机上僵死java进程
背景都12月份了,怎么还有11月初的进程在运行??是不是僵死??但是!容器里面没有ps命令,怎么办?proc目录解决问题cd /proc/19890/fd/然后cat 1 --看有无输出在work1上 cat 1是有输出(不过好像和控制台输出有点不一样,但是无论怎么样,都是证明了进程正在运行)ls -l /proc | grep 19890 看时间,完全可以代替ps -ef当然,这个动作前提是我root登录如下几条确认了是僵尸进程EventDate异常(从业务角度证明了肯定不是这几原创 2020-12-04 12:18:50 · 210 阅读 · 0 评论 -
Leetcode120三角形最小路径:深度优先搜索.md
DFS深度优先搜索DFS我之前一直掌握的不好的,我喜欢BFS广度优先的搜索,因为更有整体观,符合人类习惯。但是实际上,DFS更是计算机的写法。去年去新浪面试,题目是社交圈遍历,人家推荐是深度优先搜索,而不是广度优先。有些场景下,深度性能更好,比如占用的内存更少,具体看树的形状,深度优先算法需要缓存访问路径,如果深度很深,这个缓存占用大。题目给定一个三角形,找出自顶向下的最小路径和。每一步只能移动到下一行中相邻的结点上。相邻的结点 在这里指的是 下标 与 上一层结点下标 相同或者等于 上一层结点下原创 2020-11-10 11:49:45 · 112 阅读 · 0 评论 -
管中窥豹--通过专利分析DCEP的整体设计概要
背景央行数字货币已经是确定的事情,而且已经在试点,但是其技术方案并没有公布,于是通过研读央行组织下直接参与开发的公司的专利,管中窥豹,分析其技术特点相关专利索引号:CN201911012186-数字货币钱包开通的方法及装置和电子设备CN201911012289-基于数字货币的交易处理方法及装置和电子设备CN201911012908-数字货币交易的执行方法及装置和电子设备CN201911...原创 2020-04-19 11:24:27 · 947 阅读 · 0 评论 -
Spark DataFrame日期格式问题
背景US和UK的5日之后的PLA数据都没有存入ES,后来发现是日期格式不符合。读取的时候,已经是timestamp类型了(见如下dataFrame.printSchema)现在关键是DataFrame和CSV的格式转换问题看来要显示转换比较靠谱 val userBiddingResultSchema = FbUserBiddingResultPojo.structType ......原创 2020-04-04 12:11:03 · 4422 阅读 · 0 评论 -
Spark RDD专题.md
Spark RDD专题.md背景RDD是Spark中被广泛使用的概念,是Spark的基础。RDD概念来源于2012伯克利最佳论文,啥都不说了,直接读论文原文:(说句题目的,总结了2019年学习后,我就觉得首要是加强一手学习,比如对原始论文的学习,反正我英文还不错;减少二手学习,比如对良莠不齐的中文博客)https://amplab.cs.berkeley.edu/publication/r...原创 2020-01-23 15:34:10 · 220 阅读 · 0 评论