koulingbo5156的专栏

db.sysRequestWrapper.aggregate(    {"$group": {_id:{card:"$card",account:"$account"}, "count": { "$sum": 1 } } },    {"$match": {"_id" :{ "$ne" : null } , "count" : {"$gt": 1} } })

需求背景:一个用spring旧的版本写的项目中接入了新的版本写的日志监控平台，引入了其他版本的写的自定义脱敏依赖包，导致了项目现在启动不起来，爆出的错误如下:java.lang.NoSuchMethodError: org.springframework.expression.spel.SpelParserConfiguration.然后双击shift键搜索SpelPars

需求背景：提供一批卡号，去提取这批卡号的流水(lzo格式的交易流水)模拟实现逻辑：大致流程图​配置文件如下：#!/bin/bashhadoop fs -rmr card_match_2/outputhadoop jar ~/koulb/softjar/hadoop-streaming-2.0.0-mr1-cdh4.7.0.jar

需求背景：统计相邻两个单词出现的次数。val s="A;B;C;D;B;D;C;B;D;A;E;D;C;A;B"s: String = A;B;C;D;B;D;C;B;D;A;E;D;C;A;B val data=sc.parallelize(Seq(s))data.collect()res0: Array[String] = Array(A;B;C

需求背景:项目中有链接https接口的请求所以使用了,apache的httpcomponents中的httpclient,但是启动测试的时候报错，NoClassDefFoundError:org/apache/http/ssl/TrustStrategy ，然后找了下该类竟然出现在三个版本的包中，使用mvndependency:tree >temp,找到了dubbo、disconf中也有出现，

需求背景:在指定行插入特定文本sed -i '第几行i文本内容' 文件会直接编辑文件。特殊用法：插入一个只有一个空格的空行在第三行sed -i '3i\ ' a

需求背景:当你不小心提交错某个文件或者或者多提交了某些文件，并且还没有push，这时，可以使用如下步骤来回退到提交前的状态（ps:每次提交先stash,pull,stashpop 然后再commit,push）git log 会打印出所有的提交历史。然后定位到自己想要回退到的对应版本,找到其hash值。commit 0c17bf55de2054ffd6bd67714c75c0861618

sudo apt purge mysql-*sudo rm -rf /etc/mysql/ /var/lib/mysqlsudo apt autoremove

需求背景:使用，但是启动的时候报错Caused by: java.lang.NoClassDefFoundError: org/apache/htrace/Trace问题分析：client解析连接的是3.0.4版本的htrace，而真正需要的是3.1.0-incubating这个版本的导致找不到，我们所需要做的就是单独再引入一次htrace,配置如下,放在pom配置的最上面:org.ap

在Store inKeychain时出现了gnome-keyring-daemon错误，不能保存密码，也就连不上数据库。修改/usr/bin/mysql-bench。将#WB_NO_GNOME_KEYRING=1改成exportWB_NO_GNOME_KEYRING=1，保存并重启应用，就可以保存密码，并正确连接数据库。

解决错误“class "javax.servlet.FilterRegistration"'s signer informationdoes not match signer information of other classes in the samepackage”从字面意思可以看出是因为ｐｏｍ中有多个jar包中出现了该类，在程序中或者依赖的程序去使用该类的时候导致无法唯一确定ja

虽然像亚马逊Kindle 这样的电子书阅读器在购买和阅读上体验都比较出色，但很多时候，我们电脑上还会收集有很多网上下载的电子书的，如果数量较多，加上格式各异的话，管理起来还是比较麻烦的。Calibre是一款开源免费的跨平台全能电子书阅读、格式转换与管理工具，它支持打开阅读各种主流格式的电子书，支持众多格式转换、支持编辑图书属性数据(书名、作者、出版商等)、调整字体大小、检测章节目录、插入图

一些应用程序（例如很多.sh程序）如果想在Ubuntu中添加到Dashhome中进行快速的启动，则需要找到/usr/share/applications这个目录，其中存放的全部是dash中的启动器，将你需要的程序xxx添加其中即可。具体操作步骤为：命令行操作内容：cd /usr/share/applicationssudo gedit xxx.desktop打开需要编辑的文本

需求背景：本来的需求是提取一个月的数据，但是出来以后产品又要拆分为每天的量，本来打算使用pythonfor去解决，但是想到以前用过awk处理过类似的问题，乍一看日期后面还有时分秒，必然又用到了substr，妙的是awk也支持，脚本如下：awk -F ',' '{print $3 >substr($2,1,10)".csv"}' sy*.txt;完美的解决了我的问题，第二列是时间(带有

lastMonth=`date -d "1 month ago" +%Y_%m`lastYear=`date -d "1 year ago" +%Y_%m`

上传aws s3 cp MyFolder s3://bucket-name -- recursive [--regionus-west-2]下载aws s3 cp  s3://bucket-name [--region us-west-2]　localfilePath --recursive

需求背景：需要生成一批idfa设备号"".join(random.choice("0123456789") for i in range(15))手机号:random.choice(['139','188','185','136','158','151'])+"".join(random.choice("0123456789")for i in range(8))

公司昨天晚上断电，电脑没有关掉，早上过来，重启电脑，chrome插件各种崩溃，提示重启应用可以点击了没有任何反应和启动的迹象。处理方式：rm -rf~/.config/google-chrome/然后又是一个赞新的浏览器页面出现可以用了。

kafka：分布式消息系统，由linkedin使用scala编写，用于活动流以及运营数据处理管道的基础支持，具有高水平扩展和高吞吐量的优势。kafka的使用场景：作为数据管道或者消息系统来使用与其他几种mq的对比：组成部分概述：一些概念：topic：类似于新闻板块中的体育，财经，娱乐之类的分类概念，实际业务中通常是一个业务对应一个主题。分区(partition):一个topi

需求背景：在shell脚本想建立多层ｈｄｆｓ目录时，报错。在HDFS中创建多级目录，然而总是报错：mkdir:`/user/a/bb': No such file or directory。 在StackOverflow上面某牛说是命令本身有问题，应该是$HADOOP_HOME/bin/hadoop fs -mkdir -p/user/hive/warehouse，使用该命令，不再报错