- 博客(27)
- 收藏
- 关注
原创 mongodb 实现group by 多个key having count(*) >1
db.sysRequestWrapper.aggregate( {"$group": {_id:{card:"$card",account:"$account"}, "count": { "$sum": 1 } } }, {"$match": {"_id" :{ "$ne" : null } , "count" : {"$gt": 1} } })
2017-08-31 15:35:46
5505
原创 ieda 怎么解决引入版本过多导致的no class found(因为它蒙圈了)
需求背景:一个用spring旧的版本写的项目中接入了新的版本写的日志监控平台,引入了其他版本的写的自定义脱敏依赖包,导致了项目现在启动不起来,爆出的错误如下:java.lang.NoSuchMethodError: org.springframework.expression.spel.SpelParserConfiguration.然后双击shift键搜索SpelPars
2017-08-16 16:58:26
864
原创 hadoop 二次排序join的实现
需求背景:提供一批卡号,去提取这批卡号的流水(lzo格式的交易流水)模拟实现逻辑:大致流程图配置文件如下:#!/bin/bashhadoop fs -rmr card_match_2/outputhadoop jar ~/koulb/softjar/hadoop-streaming-2.0.0-mr1-cdh4.7.0.jar
2017-08-16 09:49:11
655
原创 spark 中map 和flatmap 的区别
需求背景:统计相邻两个单词出现的次数。val s="A;B;C;D;B;D;C;B;D;A;E;D;C;A;B"s: String = A;B;C;D;B;D;C;B;D;A;E;D;C;A;B val data=sc.parallelize(Seq(s))data.collect()res0: Array[String] = Array(A;B;C
2017-08-16 09:45:33
580
原创 apache http ssl模块NoC…
需求背景:项目中有链接https接口的请求所以使用了,apache的httpcomponents中的httpclient,但是启动测试的时候报错,NoClassDefFoundError:org/apache/http/ssl/TrustStrategy ,然后找了下该类竟然出现在三个版本的包中,使用mvndependency:tree >temp,找到了dubbo、disconf中也有出现,
2017-08-16 09:32:21
316
原创 shell在指定行插入文本
需求背景:在指定行插入特定文本sed -i '第几行i文本内容' 文件会直接编辑文件。特殊用法:插入一个只有一个空格的空行在第三行sed -i '3i\ ' a
2017-08-16 09:32:19
4789
原创 git commit 怎么撤销
需求背景:当你不小心提交错某个文件或者或者多提交了某些文件,并且还没有push,这时,可以使用如下步骤来回退到提交前的状态(ps:每次提交先stash,pull,stashpop 然后再commit,push)git log 会打印出所有的提交历史。然后定位到自己想要回退到的对应版本,找到其hash值。commit 0c17bf55de2054ffd6bd67714c75c0861618
2017-08-16 09:32:16
1667
原创 ubantu16.04怎么彻底移除mysql
sudo apt purge mysql-*sudo rm -rf /etc/mysql/ /var/lib/mysqlsudo apt autoremove
2017-08-16 09:32:13
318
原创 java 请求Hbase时报错NoClassDefFoundError: org/apache/htrace/Trace
需求背景:使用,但是启动的时候报错Caused by: java.lang.NoClassDefFoundError: org/apache/htrace/Trace问题分析:client解析连接的是3.0.4版本的htrace,而真正需要的是3.1.0-incubating这个版本的导致找不到,我们所需要做的就是单独再引入一次htrace,配置如下,放在pom配置的最上面:org.ap
2017-08-16 09:32:10
2092
原创 gnome连接mysql workbench时…
在Store inKeychain时出现了gnome-keyring-daemon错误,不能保存密码,也就连不上数据库。修改/usr/bin/mysql-bench。将#WB_NO_GNOME_KEYRING=1改成exportWB_NO_GNOME_KEYRING=1,保存并重启应用,就可以保存密码,并正确连接数据库。
2017-08-16 09:32:07
310
原创 spark 项目启动的时候报出如下错误
解决错误“class "javax.servlet.FilterRegistration"'s signer informationdoes not match signer information of other classes in the samepackage”从字面意思可以看出是因为pom中有多个jar包中出现了该类,在程序中或者依赖的程序去使用该类的时候导致无法唯一确定ja
2017-08-16 09:32:04
956
原创 跨平台的电子书阅读神器(最主要是…
虽然像亚马逊Kindle 这样的电子书阅读器在购买和阅读上体验都比较出色,但很多时候,我们电脑上还会收集有很多网上下载的电子书的,如果数量较多,加上格式各异的话,管理起来还是比较麻烦的。Calibre是一款开源免费的跨平台全能电子书阅读、格式转换与管理工具,它支持打开阅读各种主流格式的电子书,支持众多格式转换、支持编辑图书属性数据(书名、作者、出版商等)、调整字体大小、检测章节目录、插入图
2017-08-16 09:32:02
2220
原创 如何在ubantu中设置任务栏和菜单中…
一些应用程序(例如很多.sh程序)如果想在Ubuntu中添加到Dashhome中进行快速的启动,则需要找到/usr/share/applications这个目录,其中存放的全部是dash中的启动器,将你需要的程序xxx添加其中即可。具体操作步骤为:命令行操作内容:cd /usr/share/applicationssudo gedit xxx.desktop打开需要编辑的文本
2017-08-16 09:31:59
544
原创 awk 按照某个key分发文件的妙用
需求背景:本来的需求是提取一个月的数据,但是出来以后产品又要拆分为每天的量,本来打算使用pythonfor去解决,但是想到以前用过awk处理过类似的问题,乍一看日期后面还有时分秒,必然又用到了substr,妙的是awk也支持,脚本如下:awk -F ',' '{print $3 >substr($2,1,10)".csv"}' sy*.txt;完美的解决了我的问题,第二列是时间(带有
2017-08-16 09:31:56
338
原创 shell 获取上个月或者上一年…
lastMonth=`date -d "1 month ago" +%Y_%m`lastYear=`date -d "1 year ago" +%Y_%m`
2017-08-16 09:31:50
3211
1
原创 aws s3 递归上传和下载
上传aws s3 cp MyFolder s3://bucket-name -- recursive [--regionus-west-2]下载aws s3 cp s3://bucket-name [--region us-west-2] localfilePath --recursive
2017-08-16 09:31:48
2713
原创 python 怎么随机生成15位随机数字
需求背景:需要生成一批idfa设备号"".join(random.choice("0123456789") for i in range(15))手机号:random.choice(['139','188','185','136','158','151'])+"".join(random.choice("0123456789")for i in range(8))
2017-08-16 09:31:45
5772
原创 ubantu 下chrome 崩溃的解决办法
公司昨天晚上断电,电脑没有关掉,早上过来,重启电脑,chrome插件各种崩溃,提示重启应用可以点击了没有任何反应和启动的迹象。处理方式:rm -rf~/.config/google-chrome/然后又是一个赞新的浏览器页面出现可以用了。
2017-08-16 09:31:42
2105
1
原创 kafka初步认知
kafka:分布式消息系统,由linkedin使用scala编写,用于活动流以及运营数据处理管道的基础支持,具有高水平扩展和高吞吐量的优势。kafka的使用场景:作为数据管道或者消息系统来使用与其他几种mq的对比:组成部分概述:一些概念:topic:类似于新闻板块中的体育,财经,娱乐之类的分类概念,实际业务中通常是一个业务对应一个主题。分区(partition):一个topi
2017-08-16 09:31:39
271
原创 hadoop 建立多级目录 报错误…
需求背景:在shell脚本想建立多层hdfs目录时,报错。在HDFS中创建多级目录,然而总是报错:mkdir:`/user/a/bb': No such file or directory。 在StackOverflow上面某牛说是命令本身有问题,应该是$HADOOP_HOME/bin/hadoop fs -mkdir -p/user/hive/warehouse,使用该命令,不再报错
2017-08-16 09:31:36
1051
原创 scrapy 入门
最近在自学python中的scrapy爬虫模块,以下是一些我的理解:scrapy有自己的模块组成,入门" TITLE="scrapy 入门" />流程:自定义的spider通过请求链接访问,scheduler模块负责封装url请求的一些参数然后带着封装好的request对象去请求下载保存链接返回的资源(middlewares控制下载时候的参数:eg:设置代理),然后将Response交
2017-08-16 09:31:33
311
原创 spring jpa no pro…
触发原因:一般爆出这种错误,会明显提示那个持久化类和那个实体类,也会告诉你那个实体类中的字段未找到,触发错误的关键在于,你已经从实体类中删除了某个字段映射,但是在持久化类中还有用到包含该字段的方法,从而导致方法解析到sql语句时,找不到对应的数据库表字段(实际情况可能到不了这一步)。解决办法:检查是否存在以上描述的问题,并删除或者注释掉引发该问题的方法块,重启项目,正常运行,不报错。
2017-08-16 09:31:30
241
原创 python 填坑之旅
今天帮同事调试一个脚本,同事用的是Python中uuid这个模块,但是输出的时候使用uuid.uuid1(),一直提示uuid模块中没有uuid1这个方法,查了api用法没错,但是我试了下脚本也是一样,后来发现是命名的问题,他把脚本名称也写为uuid了,因为Python中模块名称都是以py结尾,这样同名称的使用结果是把uuid模块污染,当在脚本中调用的时候调用的是自身(uuid.pyc),找不到这
2017-08-16 09:31:18
359
转载 腾讯云免流搭建教程免流服务…
原文地址:腾讯云免流搭建教程免流服务器搭建教程流控搭建自动安装作者:免流搭建-免流服务器搭建看本教程前先确保你的服务器上已经用最新适配centos7.0的一键脚本搭建了云免服务器推荐使用 阿里云或腾讯云现在适配某汪的一键云免搭建脚本 现在可用的是网易蜂巢Docker(Centos7.0 效果同6.7)和Centos7.0综合脚本然后用 xhell 连接你的服务器 软件可以去百度下载
2017-08-16 09:31:13
40928
2
转载 Myeclipse断点调试
最基本的操作是: 1, 首先在一个java文件中设断点,然后运行,当程序走到断点处就会转到debug视图下, 2, F5键与F6键均为单步调试,F5是step into,也就是进入本行代码中执行,F6是step over, 也就是执行本行代码,跳到下一行, 3,F7是跳出函数 step return 4,F8是执行到最后。========================
2014-01-12 21:49:55
503
转载 weblogic显示原来ip怎么修改到新的ip
Weblogic 9 的默认IP是本地localhost, 默认端口为7001,修改它们,需要进入Weblogic 9的安装目录下的user_projects\domains\base_domain\config\找到config.xml 即可,打开之后查找标签,对其进行相应的修改就OK啦。
2014-01-08 18:01:34
6553
转载 如何用PLSQL从ORACLE中导入导出数据
如何使用PLSQL Developer从oracle数据库 导入导出数据 用pl/sql developer导出表的数据时有三种方式:Oracle Export,Sql Insert,pl/sql developer 只有“Oracle Export”方式导出再导入后,表结构和索引结构没有发生变化,另两种方式都改变了索引类型。另外 Sql Insert的那个可以
2014-01-08 12:36:13
703
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人