- 博客(10)
- 资源 (1)
- 收藏
- 关注
原创 scrapy中运行一段时间报错pymysql.err.InterfaceError: (0, '')
今天早上一起来,发现两三个节点的scrapy疯狂报错,错误信息为: 2019-07-12 21:48:44 [twisted] CRITICAL: Rollback failedTraceback (most recent call last): File "/home/anaconda3/envs/python36/lib/python3.6/site-packages/twiste...
2019-07-13 10:51:15 1437 4
原创 pymysql.err.DataError: (1406, "Data too long for column 'url' at row 1")
今天把一个超级长的url存入mysql中出了点问题,报了下面这个错误,然后把varchar设置成了text和blob也没有卵用。pymysql.err.DataError: (1406, "Data too long for column 'url' at row 1")然后在stackoverflow找到了这个:https://stackoverflow.com/questions/159...
2018-11-01 11:12:12 11770
原创 upsert在mysql中的实现(附spark应用)
upsert概述以及在mysql中的实现spark写入mysql使用upsert总结upsert概述以及在mysql中的实现 upsert是update和insert的合体,这里暂时不对其具体的语义进行探讨,简单对其做一个定义,基本功能为:存在时更新,不存在时插入,简单的解释就是,当某种条件成立时使用update,条件不成立时使用insert。 在很多场景下,我们少不了使用...
2018-10-18 09:06:01 1871 2
原创 记一次CDH集群被下矿机
今天一上线看到集群cpu跑到100%,心里也是一跳,该不会是被下矿机了吧 top一下,果不其然有个占进程占了大部分的cpuPID USER PR NI VIRT RES SHR S %CPU %MEM TIME+ COMMAND 23429 yarn 20 0 4121432 985.4m 39116 S 1226.7 1.5 ...
2018-05-04 17:01:46 2971 1
原创 spring 通过maven profile配置不同的环境
spring 通过maven profile配置不同的环境多环境的配置,网上看到的都太繁琐,后来自己配置了一个简单的,供大家参考首先配置profile环境profiles> profile> id>localid> properties> dev.environment>localdev.environment>
2018-01-11 17:46:18 1117 1
原创 spark利用maven profile不同环境下配置不同的依赖
因为在日常测试和生产中因为某些问题,需要配置很多不同包的依赖来对应不同的环境,java的maven的profile可以很好地帮我们解决这一问题以spark 的kafka包为例这里有两个环境,一个local,一个product.我这里需要将不同的依赖导入profiles> profile> id>localid>
2017-12-27 18:36:52 2498
原创 spark 通过ip地址查询所在地(JAVA版)
spark streaming 通过ip地址查询所在地(JAVA版)spark streaming 通过ip地址查询所在地JAVA版前言 准备工作代码时间下载链接参考代码前言 最近项目有一个用户地域分析的需求,现在知道ip字段,需要在spark中通过用户的ip查找归属地,我们这里将ip直接转换成对应城市的字符串首先我们需要一份ip库,字段格式如下:1.0.1.0|1.0.3.25
2017-12-08 17:17:15 1101
原创 CentOS7下Cloudera ManagerCDH-5.11安装配置详解
最近一直在研究spark的实时计算,公司说最近可能会用CDH来替代Apache的hadoop,于是研究了一下怎么使用Cloudera Manager来安装CDH(以前一直都是手动安装的,不得不说Cloudera Manager实在是方便了很多),最方便的是不用考虑各种hadoop生态圈的版本问题,大赞在网上看到了一些安装教程都太老旧了,按照上面的配置,自己安装的时候还出了不少岔子,于是自己写了
2017-05-10 16:34:32 2563 2
原创 Method createStream([class org.apache.spark.streaming.api.java.JavaStreamingContext, class java.uti
最近spark编程时遇到的一个错误:py4j.Py4JException: Method createStream([class org.apache.spark.streaming.api.java.JavaStreamingContext, class java.util.ArrayList, class java.util.ArrayList, class org.apache.spark.s
2017-05-08 16:12:26 1213
原创 将Centos7的yum配置为阿里云的镜像(完美解决yum下载太慢的问题)
最近在研究一些深度学习框架和大数据可视化的应用,经常会编译一些文件,而yum的默认地址下载太慢,所以用国内比较稳定的阿里云源。参考http://mirrors.aliyun.com/help/centos?spm=5176.bbsr150321.0.0.d6ykiD话不多说,上命令1、备份mv /etc/yum.repos.d/CentO
2017-02-17 16:02:30 22949 3
ip库,国内外均有,2017
2017-12-08
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人