yown的专栏

最近在做一个分享统计，分享记录user_share_log结构如下：使用pipeline统计每个用户分享的文章个数及访问次数（相当于distinct+group by）思路：先获得每个用户每个文章的访问次数，然后再分组统计每个用户分享的文章个数和累计访问次数。这两步统计我们直接使用pipeline进行两个group操作。如下：db.runCommand({ "aggregate"...

记录一下用到的微信订单统计SQL:- 订单统计：db.orders.aggregate( { $match:{createDay:20180611} }, { $group:{_id:null, recordCount:{$sum:1}, amount:{$sum:"$totalAmount"}, avgValue:{$avg:"$totalAmount"}

作为一个编程十年的老兵，特把发生在自己身上的一些健康问题整理记录下来，以便给大家参考，重视健康。同时也请关注、关心身边这一特殊群体的身心问题。病情：最近好多天发现上下楼梯有些吃力、腿脚有时不灵敏走路不稳、腋窝出现溃烂、早上醒得早、有时觉得心隐隐作痛，难受，头顶好像盖着什么厚布一样、眼睛容易疲劳、身心没有以前那么愉悦。诊断：觉察这些问题于是认为一定是身体出了什么毛病，赶紧找了一家心脑血管医院看病...

最近也在做SAAS平台，看到这个设计原则非常具有指导意义，故特转发供学习之用。十二要素应用宣言简介：Heroku是业内知名的云应用平台，从对外提供服务以来，他们已经有上百万应用的托管和运营经验。前不久，创始人Adam Wiggins根据这些经验，发布了一个“十二要素应用宣言（The Twelve-Factor App）”。

Idea 使用技巧、常用快捷键 1.Ctrl＋E，可以显示最近编辑的文件列表 2.Shift＋Click可以关闭文件 3.Ctrl＋[或]可以跳到大括号的开头结尾 4.Ctrl＋Shift＋Backspace可以跳转到上次编辑的地方 5.Ctrl＋F12，可以显示当前文件的结构 6.Ctrl＋F7可以查询当前元素在当前文件中的引用，然后按F3可以选择 7.Ctrl＋N，可以快速打开类 ...

时下，大数据概念非常火热，相关处理技术也在各行各业中应用开来，并开始展露头角：如我国已建成的国家级大数据中心，在证券行业兴起的云投顾、交易所大数据监察等等。那作为一名技术人员，如何紧跟发展趋势，学习并掌握大数据处理技术呢? 本文将主要介绍什么是大数据及特点、发展历程、Hadoop简介、着重讲解Spark特点、体系结构、生态 、学习路线。（后续将陆续推出实战进阶内容，敬请期待）一、何为“大数据”? 有

由于系统积累的数据量越来越多（如访问日志、log4j打印的日志等）且散布在各应用的各服务器中，使得日志的查看、存储管理变得非常复杂，不得不去各机器上查找与存储管理。有没有一种平台可以省心地查找并集中存储管理好这些日志呢？经过选型比对，我们最终通过引入搜索平台来查找、管理这些日志数据。搜索平台有许多，但用的比较多的开源系统就属ElasticSearch、Solr，这两个搜索引擎都是基于建立在全文搜索引

线上发现查询mongodb中的用户积分变慢（超过2s），mongodb有和mysql类似的慢查询诊断方法，先开启慢查询：连上mongodb控制台，开启慢查询功能**：[root@mongo ~]# mongomncg:PRIMARY> use adminmncg:PRIMARY> db.auth('admin','*****')mncg:PRIMARY> db.getProfilingLev

需求：及时得到线上用户访问日志分析统计结果，以便给开发、测试、运维、运营人员提供决策！找了各种工具，最终还是觉得goaccess不仅图文并茂，而且速度快，每秒8W 的日志记录解析速度，websocket10秒刷新统计数据，站大巨人肩膀上你也会看得更远…先上图： 具体方案如下步骤： 一、linux上安装goaccess（版本 1.1.1，一般安装在nginx所在机器上的/opt目录） a

大数据实时处理平台市市场上产品众多，本文着重讨论spark与storm的比对，最后结合场景进行选型。主要内容：一、spark与storm的比较二、应用场景分析

最近在与X公司进行http api联调时积累了一些关于tcp/ip协议建立和释放连接的三次与四次挥手的详细过程，顺便也回顾一下tcp/ip协议方面的知识。本文首先介绍tcp/ip包结构和tcpdump的基本使用方法，到连接建立的三次握手及tcpdump抓包分析，再到连接释放的四次挥手及tcpdump抓包分析。一、先来了解一下tcp/ip的包结构： 主要说明一下上图中几个字段： 序号：

最近在做mongodb数据统计查询，需求：统计一段时间内每天的分享次数和分享人数? 查了众多资料，居然未找到好的方案，最终还是自己写函数解决了，现分享出来（若有好的方法请指出）：表t_share_log结构(习惯这么叫，虽mongodb中为collection): 字段名 类型 说明 id string 记录id gmtCreate date 创建时间 user

大数据定义与5V特征： “大数据”（Big data）研究机构Gartner定义：是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力来适应海量、高增长率和多样化的信息资产。 大数据的5V特点（IBM提出）：Volume（大量）、Velocity（高速）、Variety（多样）、Value（低价值密度）、Veracity（真实性）。大数据国内发展历程：2015年9月，国务院印

问题描述：当微信昵称中有emoji表情符时，mysql数据库报更新异常：java.sql.SQLException: Incorrect string value: '\xF0\x9F\x92\x94' for colum n 'nickname' at row 1at com.mysql.jdbc.SQLError.createSQLException(SQLError.java:1073)at

最近在创建function时，系统提示以下错误： This function has none of DETERMINISTIC, NO SQL, or READS SQL DATA in its declaration and binary logging is enabled(you might want to use the less safe log_bin_trust_function

当下“互联网+” 已深入人心，软件行业也在适应时代变化要求，做出适应性变革：如何接纳并响应变化、加快研发速度、持续交付软件价值乃是当务之急！近年来敏捷研发过程已得越来越多地得到世界各地软件公司特别是中小型创业团队的亲睐，让我们以审视的态度一起来看看敏捷研发到底是怎样的？汲取精华，打造属于我们自己的敏捷研发体系！

当前我们会对一些大量的访问日志、交易记录等存储到Mongodb中(也可以以其它方式存放)，以便进行统计分析，这里举例来说明Mongodb的MapReduce功能(和Hadoop的MapReduce原理相似)。先看一张图： 如上图所示：orders订单字段有：客户id(cust_id)、数量(amount)、状态(status)，mapReduce的map处理过程：对状态为A的记录以cust_i

最近在做mongodb的分析统计，发现group分组有多种做法，和sql还真是不太样，需要写点js代码，直接贴示例代码：这是我的collection，名字：t_user_score public class UserScore implements Serializable { … private Integer userId; private BigDecimal userSc

CentOS7安装Docker与使用篇，介绍了docker的安装、使用过程、docker镜像的上传等