![](https://img-blog.csdnimg.cn/20201014180756916.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
spark
张老湿
这个作者很懒,什么都没留下…
展开
-
spark 通过ip地址查询所在地(JAVA版)
spark streaming 通过ip地址查询所在地(JAVA版)spark streaming 通过ip地址查询所在地JAVA版前言 准备工作代码时间下载链接参考代码前言 最近项目有一个用户地域分析的需求,现在知道ip字段,需要在spark中通过用户的ip查找归属地,我们这里将ip直接转换成对应城市的字符串首先我们需要一份ip库,字段格式如下:1.0.1.0|1.0.3.25原创 2017-12-08 17:17:15 · 1086 阅读 · 0 评论 -
spark利用maven profile不同环境下配置不同的依赖
因为在日常测试和生产中因为某些问题,需要配置很多不同包的依赖来对应不同的环境,java的maven的profile可以很好地帮我们解决这一问题以spark 的kafka包为例这里有两个环境,一个local,一个product.我这里需要将不同的依赖导入profiles> profile> id>localid>原创 2017-12-27 18:36:52 · 2473 阅读 · 0 评论 -
记一次CDH集群被下矿机
今天一上线看到集群cpu跑到100%,心里也是一跳,该不会是被下矿机了吧 top一下,果不其然有个占进程占了大部分的cpuPID USER PR NI VIRT RES SHR S %CPU %MEM TIME+ COMMAND 23429 yarn 20 0 4121432 985.4m 39116 S 1226.7 1.5 ...原创 2018-05-04 17:01:46 · 2951 阅读 · 1 评论 -
upsert在mysql中的实现(附spark应用)
upsert概述以及在mysql中的实现spark写入mysql使用upsert总结upsert概述以及在mysql中的实现 upsert是update和insert的合体,这里暂时不对其具体的语义进行探讨,简单对其做一个定义,基本功能为:存在时更新,不存在时插入,简单的解释就是,当某种条件成立时使用update,条件不成立时使用insert。 在很多场景下,我们少不了使用...原创 2018-10-18 09:06:01 · 1843 阅读 · 2 评论