yown-CSDN博客

原创 Mongodb pipeline批处理distinct+group by、case when

最近在做一个分享统计，分享记录user_share_log结构如下：使用pipeline统计每个用户分享的文章个数及访问次数（相当于distinct+group by）思路：先获得每个用户每个文章的访问次数，然后再分组统计每个用户分享的文章个数和累计访问次数。这两步统计我们直接使用pipeline进行两个group操作。如下：db.runCommand({ &quot;aggregate&quot;...

2018-11-16 20:25:03 1570

原创 Mongodb aggregate 统计SQL(金额分类、分时统计、left join)

记录一下用到的微信订单统计SQL:- 订单统计：db.orders.aggregate( { $match:{createDay:20180611} }, { $group:{_id:null, recordCount:{$sum:1}, amount:{$sum:&amp;quot;$totalAmount&amp;quot;}, avgValue:{$avg:&amp;quot;$totalAmount&amp;quot;}

2018-06-12 21:15:08 4208

原创健康话语:心悸

作为一个编程十年的老兵，特把发生在自己身上的一些健康问题整理记录下来，以便给大家参考，重视健康。同时也请关注、关心身边这一特殊群体的身心问题。病情：最近好多天发现上下楼梯有些吃力、腿脚有时不灵敏走路不稳、腋窝出现溃烂、早上醒得早、有时觉得心隐隐作痛，难受，头顶好像盖着什么厚布一样、眼睛容易疲劳、身心没有以前那么愉悦。诊断：觉察这些问题于是认为一定是身体出了什么毛病，赶紧找了一家心脑血管医院看病...

2017-08-27 17:08:21 930

转载 SaaS微服务十二要素应用宣言（The Twelve-Factor App）

最近也在做SAAS平台，看到这个设计原则非常具有指导意义，故特转发供学习之用。十二要素应用宣言简介：Heroku是业内知名的云应用平台，从对外提供服务以来，他们已经有上百万应用的托管和运营经验。前不久，创始人Adam Wiggins根据这些经验，发布了一个“十二要素应用宣言（The Twelve-Factor App）”。

2017-08-27 16:07:47 2378

转载 IDEA使用技巧、快捷键一览表

Idea 使用技巧、常用快捷键 1.Ctrl＋E，可以显示最近编辑的文件列表 2.Shift＋Click可以关闭文件 3.Ctrl＋[或]可以跳到大括号的开头结尾 4.Ctrl＋Shift＋Backspace可以跳转到上次编辑的地方 5.Ctrl＋F12，可以显示当前文件的结构 6.Ctrl＋F7可以查询当前元素在当前文件中的引用，然后按F3可以选择 7.Ctrl＋N，可以快速打开类 ...

2017-06-29 10:49:38 1126

原创闪亮的新星--Spark大数据处理平台

时下，大数据概念非常火热，相关处理技术也在各行各业中应用开来，并开始展露头角：如我国已建成的国家级大数据中心，在证券行业兴起的云投顾、交易所大数据监察等等。那作为一名技术人员，如何紧跟发展趋势，学习并掌握大数据处理技术呢? 本文将主要介绍什么是大数据及特点、发展历程、Hadoop简介、着重讲解Spark特点、体系结构、生态、学习路线。（后续将陆续推出实战进阶内容，敬请期待）一、何为“大数据”? 有

2017-06-27 12:14:05 1284

原创开源搜索平台选型：ElasticSearch、Solr

由于系统积累的数据量越来越多（如访问日志、log4j打印的日志等）且散布在各应用的各服务器中，使得日志的查看、存储管理变得非常复杂，不得不去各机器上查找与存储管理。有没有一种平台可以省心地查找并集中存储管理好这些日志呢？经过选型比对，我们最终通过引入搜索平台来查找、管理这些日志数据。搜索平台有许多，但用的比较多的开源系统就属ElasticSearch、Solr，这两个搜索引擎都是基于建立在全文搜索引

2017-05-29 22:38:35 1988

原创 Mongodb语句性能诊断、调优tuning

线上发现查询mongodb中的用户积分变慢（超过2s），mongodb有和mysql类似的慢查询诊断方法，先开启慢查询：连上mongodb控制台，开启慢查询功能**：[root@mongo ~]# mongomncg:PRIMARY> use adminmncg:PRIMARY> db.auth('admin','*****')mncg:PRIMARY> db.getProfilingLev

2017-04-01 12:02:54 2088

原创 Nginx、tomcat访问日志准实时分析统计--goaccess

需求：及时得到线上用户访问日志分析统计结果，以便给开发、测试、运维、运营人员提供决策！找了各种工具，最终还是觉得goaccess不仅图文并茂，而且速度快，每秒8W 的日志记录解析速度，websocket10秒刷新统计数据，站大巨人肩膀上你也会看得更远…先上图：具体方案如下步骤：一、linux上安装goaccess（版本 1.1.1，一般安装在nginx所在机器上的/opt目录） a

2017-02-20 20:49:00 10778

转载 spark与storm比对与选型

大数据实时处理平台市市场上产品众多，本文着重讨论spark与storm的比对，最后结合场景进行选型。主要内容：一、spark与storm的比较二、应用场景分析

2017-02-12 11:42:13 12664 2

原创剖析TCP/IP协议建立和释放连接的三次握手与四次挥手过程

最近在与X公司进行http api联调时积累了一些关于tcp/ip协议建立和释放连接的三次与四次挥手的详细过程，顺便也回顾一下tcp/ip协议方面的知识。本文首先介绍tcp/ip包结构和tcpdump的基本使用方法，到连接建立的三次握手及tcpdump抓包分析，再到连接释放的四次挥手及tcpdump抓包分析。一、先来了解一下tcp/ip的包结构：主要说明一下上图中几个字段：序号：

2016-12-31 23:22:25 1893

原创 Mongodb数据统计分析：group by、count(distinct userId)

最近在做mongodb数据统计查询，需求：统计一段时间内每天的分享次数和分享人数? 查了众多资料，居然未找到好的方案，最终还是自己写函数解决了，现分享出来（若有好的方法请指出）：表t_share_log结构(习惯这么叫，虽mongodb中为collection): 字段名类型说明 id string 记录id gmtCreate date 创建时间 user

2016-12-30 22:31:09 20427

原创大数据学习资源整理

大数据定义与5V特征： “大数据”（Big data）研究机构Gartner定义：是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力来适应海量、高增长率和多样化的信息资产。大数据的5V特点（IBM提出）：Volume（大量）、Velocity（高速）、Variety（多样）、Value（低价值密度）、Veracity（真实性）。大数据国内发展历程：2015年9月，国务院印

2016-11-30 17:34:35 1717

原创 mysql保存不了微信表情符emoji问题解决方案

问题描述：当微信昵称中有emoji表情符时，mysql数据库报更新异常：java.sql.SQLException: Incorrect string value: '\xF0\x9F\x92\x94' for colum n 'nickname' at row 1at com.mysql.jdbc.SQLError.createSQLException(SQLError.java:1073)at

2016-09-22 20:36:48 14940 2

原创 MySQL创建Function时报错误码1418的解决方案

最近在创建function时，系统提示以下错误： This function has none of DETERMINISTIC, NO SQL, or READS SQL DATA in its declaration and binary logging is enabled(you might want to use the less safe log_bin_trust_function

2016-09-12 11:17:55 13690

原创 Scrum敏捷研发体系初探

当下“互联网+” 已深入人心，软件行业也在适应时代变化要求，做出适应性变革：如何接纳并响应变化、加快研发速度、持续交付软件价值乃是当务之急！近年来敏捷研发过程已得越来越多地得到世界各地软件公司特别是中小型创业团队的亲睐，让我们以审视的态度一起来看看敏捷研发到底是怎样的？汲取精华，打造属于我们自己的敏捷研发体系！

2016-07-30 13:24:33 2646

原创 Mongodb高级进阶 MapReduce

当前我们会对一些大量的访问日志、交易记录等存储到Mongodb中(也可以以其它方式存放)，以便进行统计分析，这里举例来说明Mongodb的MapReduce功能(和Hadoop的MapReduce原理相似)。先看一张图：如上图所示：orders订单字段有：客户id(cust_id)、数量(amount)、状态(status)，mapReduce的map处理过程：对状态为A的记录以cust_i

2016-06-23 16:47:05 878

原创 nosql mongodb group分组统计及索引优化

最近在做mongodb的分析统计，发现group分组有多种做法，和sql还真是不太样，需要写点js代码，直接贴示例代码：这是我的collection，名字：t_user_score public class UserScore implements Serializable { … private Integer userId; private BigDecimal userSc

2016-06-20 15:20:30 7202 2

原创 CentOS7安装Docker与使用篇

CentOS7安装Docker与使用篇，介绍了docker的安装、使用过程、docker镜像的上传等

2016-05-28 15:14:34 53985 3

转载 Nosql Mongodb 并发控制之乐观锁

我们知道sql中并发控制采用的乐观锁就是在记录中增加版本号或timestamp，那么mongodb中如何实现呢？Mongodb不善于处理事务，但提供了findAndModify命令。该命令允许对文档进行原子性更新，并在同一次调用中返回：代码如如：db.collection_yown.findAndModify( { query:{"name":"yown"},update:{

2016-05-25 20:11:42 9900

转载 Nosql Mongodb 基本操作说明

成功启动MongoDB后，命令行窗口输入mongo，输入help可以看到基本操作命令： show dbs:显示数据库列表 show collections：显示当前数据库中的集合（类似关系数据库中的表） show users：显示用户use ：切换当前数据库，这和MS-SQL里面的意思一样 db.help()：显示数据库操作命令，里面有很多的命令 db.foo.help()：显示集合操作命

2016-05-25 20:03:40 9086 1

原创常用linux高级命令

- web 访问日志统计(tomcat/apache/nginx)1.根据访问IP统计UV awk ‘{print $1}’ access.log|sort | uniq -c |wc -l2.统计访问URL统计PV awk ‘{print $7}’ access.log|wc -l3.查询访问最频繁的URL awk ‘{print $7}’ access.log|sort | uniq -

2016-05-25 09:42:30 2778

原创 mysql5.7中的一个update order by排名问题解决办法(一条sql搞定排名)

在作排序时，发现update中的orderby 不起作用，业务功能：按照syl字段进行降序排名：在mysql5.6版本中运行的sql如下： UPDATE (SELECT @a := @a + 1 AS rn, id, syl FROM t_user_syl h, (SELECT @a := 0 ) t where h.day=${day}

2016-05-15 20:12:10 7504

转载 SaaS多租户数据隔离的三种方案

SaaS多租户数据隔离的三种方案多租户技术或称多重租赁技术，是一种软件架构技术，是实现如何在多用户环境下共用相同的系统或程序组件，并且可确保各用户间数据的隔离性。在当下云计算时代，多租户技术在共用的数据中心以单一系统架构与服务提供多数客户端相同甚至可定制化的服务，并且仍可以保障客户的数据隔离。目前各种各样的云计算服务就是这类技术范畴，例如阿里云数据库服务（RDS）、阿里云服务器等等。多租户在数据

2016-04-30 23:23:45 45241

原创 Oracle简单易用的表结构导出方法

最近做项目时需要给客户导出数据库表结构文档，库中表名及列已有注释，可是要输出一份表结构文档要借助第三方工具(如powerdesigner)，那有没有更简单的方式呢？当然有，自己做丰衣足食！附代码（将输出的文本存入x.htm，双击查看就行，至于排版可以拷贝页面到word中搞定）：declare i integer; begin i:=1; for tbl in( select

2016-04-30 22:11:18 686

原创 linux ext3 ext4 文件系统 rm -rf删除后数据快速恢复

linux ext3 ext4 文件系统 rm -rf删除后数据快速恢复办法

2015-04-02 20:03:56 6461

原创软考--信息系统项目管理师问答(不断更新整理中)

今天终于查到了2012年参加上半年的信息系统项目管理师的成绩了，从历史分数线来看是过了，但是今年的分数线还没出来，还是有些激动与担忧。不过不论如何，还是值得高兴的，毕竟比上次成绩提高了1/3，完全是自己独立学习哦。已从中国计算机技术职业资格网（www.rkb.gov.cn）证实，合格线为45分，总算有底了，过了！呵呵！从现在开始，我会收集信息系统项目管理师的一些常见问题，以便大家查

2012-07-30 13:21:46 2085 2

转载 java自带的其它分析工具

从java1.6开始就提供了很多内存监控的小工具，除上面介绍的工具外，下面再列举的其它的有用工具　　1：gc日志输出　　在jvm启动参数中加入 -XX:+PrintGC -XX:+PrintGCDetails -XX:+PrintGCTimestamps -XX:+PrintGCApplicationStopedTime，jvm将会按照这些参数顺序输出gc概要信息，详细信息，gc时

2012-07-26 17:28:26 1357

原创 java内存分析（jmap和jhat使用）

以下介绍jdk 1.6自带的内存分析小工具的使用，非常小巧！与jprofiler不一样的效果。举例：对java进程id为16912的进程进行分析1、产生dump文件 c:\>jmap -dump:file=f:\yown\dump.txt 16912Dumping heap to F:\apps\dump.txt ...Heap dump file created

2012-07-26 16:54:00 5537

原创生命不可承受之重, 请关爱过劳人员

今天又看到关于过劳死的报道，希望摘录以下方法，提高工作效率，敢于对长期过度劳累说NO! 浙江大学心理系副教授陈树林对英年早逝工作者感到特别惋惜。他向过劳的媒体人推荐了 “七步法”(而软件开发人员也何尝不是呢?)：1、明确问题——先抛开大命题，找到它背后的小切口；2、哪些方法可以解决——针对小问题，找到小办法；3、头脑风暴——不要把问题都揽在自己身上，请人一起出主意；4

2012-06-28 13:32:35 1217

原创 ORA-00257: archiver error. Connect internal only, until freed 错误的处理方法

archive log 日志已满ORA-00257: archiver error. Connect internal only, until freed 错误的处理方法关键步骤(也可就做这几步):a.查看archivelog状态(第4步)b.对第6步所在文件夹进行备份(可备份最近几天的)c.第10步删除过期的归档 ===========================

2012-06-27 17:20:34 506

原创 linux vsftpd 文件上传服务安装

1.安装vsftpd (selinux)su - rootrpm -ivh vsftpd-2.0.5-16.el5_4.1.x86_64.rpm #使用用户列表 echo "userlist_deny=NO" >> /etc/vsftpd/vsftpd.conf #配置文件上传的权限这里是补码(如022的含义就是755)local_umask=022anon_umas

2012-06-27 16:52:20 706

原创 linux Too many open files解决方法

1.查看哪些进程打开过多文件(第一列为个数,第二列为进程ID)lsof -n |awk '{print $2}'|sort|uniq -c |sort -nr|more2.open files调优(root用户):a. 按照最大打开文件数量的需求设置系统，并且通过检查/proc/sys/fs/file-max文件来确认最大打开文件数已经被正确设置。# cat /proc/sy

2012-06-27 16:47:06 992

原创查看和修改Oracle服务器端字符集

查看和修改Oracle服务器端字符集：如果在安装Oracle10g的时候没有选择字符集，则按照下面的3步进行字符集的修改就可以完全正常的使用Oracle10g 在服务器上以oracle用户登录$sqlplus / as sysdba;1、检查服务器上Oracle数据库的字符集 SQL> col value$ format a40

2012-06-27 16:42:57 835

原创 CentOS 安装Gnome

CentOS 安装Gnome 刚开始装系统的时候，没有选Gnome或者KDE，现在使用yum安装。登录系统，使用yum 安装#yum groupinstall 'X Window System' -y安装GNOME桌面环境#yum groupinstall 'GNOME Desktop Environment' -y如果安装KDE桌面环境#yum groupi

2012-06-27 16:38:45 1197

原创轻松搞定linux端口转发

一从一台机到另一台机端口转发启用网卡转发功能#echo 1 > /proc/sys/net/ipv4/ip_forward举例:从192.168.0.132:21521(新端口)访问192.168.0.211:1521端口a.同一端口转发(192.168.0.132上开通1521端口访问 iptables -A RH-Firewall-1-INPUT -m state --st

2012-06-27 16:34:19 20245

原创程序员不能坐太久哦!终于了断了多年的痔疮困扰! 和大家分享一下经验!

俗话说：＂十人九痔＂，这一点不假，尤其是我们这些成天在电脑面前coding的程序员们！我得的痔疮要算到大学时在学校成天坐着学习忙碌的那段时光了，经常上厕所要上１０来分钟，这不，那个时候就已经有苗头了，记得有时还滴血，幸好那时痔疮还很小；后来工作了，还是成天要坐着，每天仍旧是忙碌着．直到有一天发现大便时有一小注血流出来，怪吓人的，立马请假去医院检查，医生检查后说要马上手术，要

2009-10-14 13:22:00 5480 2

原创 sqlserver 2005 交叉表和层次关系查询

sqlserver2005已经方便提供交叉表和层次关系查询,下面分别举例说明:--交叉表查询create table sales(id int,area nvarchar(20),product_id nvarchar(4))goinsert into salesselect 1,aa,a001 union allselect 2,bb

2009-09-01 16:51:00 1738

原创 OpenFire + jwchat 即时消息最新版安装调试

最近在研究即时通讯,在网上找了许多文章,但大多是老版本的安装而且不全面,下面介绍最新版本的安装: 一.准备jdk1.6 (忽略安装配置)apache2.2 (忽略安装配置)mysql 5(忽略安装配置) openfire_3_6_4.zip (服务器)jwchat-1.0.zip(HTML WEB客户端)jsjac-1.3.2.zip(用于调试jsjac,即WE

2009-07-16 14:44:00 5220 2

原创 java hibernate事务并发控制

在产品上线时发现当用户数量大并发性能差,经常发现数据库死锁,经诊断,是由于设置了不正确的事务隔离,可以做如下优级化(这里我们使用JTA事务):JTA具有的3个接口：UserTransaction接口、TransactionManager接口和Transaction接口，这些接口共享公共的事务操作。UserTransaction能够执行事务划分和基本的事务操作，TransactionManage

2009-07-13 10:06:00 3100 1

阿里java开发规范

空空如也