github_34560747-CSDN博客

原创 kylin query原理剖析

前言最近我们组负责数据建模的同学抱怨kylin的relization选择策略：同一个project下一条查询语句本来期望命中某一个cube的，结果系统却选择了其他cube。之前也有大概翻阅过kylin这块的实现源码，知道如果同一个project下如果有多个满足条件的的实现，会按照成本排序并选择成本最低的那个实现。对于成本这块的度量标准，没有做过多研究，于是带着问题，对这块源码进行了一次梳理。源码剖

2018-01-18 17:46:39 2887

原创手动封装HbaseTemplate mapper类

前言最近因为业务关系，用到了Hbase，因为用的是Spring boot框架，所以自然而然就用到了spring封装的HbaseTemplate工具类。然而HbaseTemplate封装的代码实在比较糟糕，出了一些基本的CRUD操作之外并没有给我们提供太多便利之处。先来看看痛处：痛处一： - 最基本的查询操作(以下只是demo演示)： class UserInfo{ string

2016-09-30 02:39:48 1875

原创 Spring boot 切换配置文件到yaml

最近公司在逐步将线上服务进行拆分，自然而然就使用了Spring 家族殿堂级的微服务框架－－spring boot ，它抛弃了spring 中繁琐的xml配置文件的方式，声明式注解的方法为服务开发提供快速简洁的配置方式。在spring boot 中，我们会发现，我们其实不用做一些基本的配置也能直接运行刚创建好的工程项目，因为它内嵌了很多基本的通用的配置组件而不需要我们自己来做一些重复的配置工作。

2016-08-01 14:54:29 15444 3

原创爬取新浪微博主站大法

最近因为课设的要求，开始了对新浪微博数据的爬取研究，看了不少博客文章，也试了不少方法，原理无非就是模拟登录，但是感觉目前可用的方法太过分散，而且自从微博改版之后，很多以前适用的方法都基本没有用处了。这里总结一下几种可用的方法以及自己研究之后稳定可用的方法(所有的方法都是基于python2.7)： 1、绕过.com域名如果没有爬取主站的刚需，只是对微博相关的数据感兴趣，可以尝试爬取微博cn域名

2016-07-03 19:33:09 951

原创解决Python中使用mysqldb的一些问题

最近在因课设的要求在研究python,在使用python操作数据库时却碰到如下问题： 1、首先pip install 安装mysql-python时出现的mysql.config地址找不到，google之，通过在环境变量中定义如下变量解决问题： PATH="/usr/local/mysql/bin:${PATH}" export PATH export DYLD_LIBRA

2016-05-30 16:18:42 452

原创 NopCommerce按需创建一个计划任务

这段时间一直在倒腾NopCommerce二次开发，最近有个新需求，需要在每天的某时某刻对销售额做一个结算，而我们知道强大的NopCommerce有自己的一套任务管理机制，于是就想着在NopCommerce的基础之上添加一个自定义的计划任务。首先，我们得研究Nop的源码，这段时间下来越来越发现Nop的代码精妙，所用到的技巧也是让我十分佩服，于是自己也越来越喜欢研究源码了。我们先找到任务管理的入口

2016-04-24 17:01:16 1484

原创 Git常用命令

1.安装Git Windows http://msysgit.github.io/ Linux 1.$ apt-get install git 2.$ yum install git-core Mac

2016-04-19 16:12:18 315

翻译一次订单业务问题的排查

HI ALL, 前些天遇到一个切换数据源的问题，分析了下给大家分享下，以防后来人踩同样的坑。 l 【问题】 1. 问题背景提单数据是分库存储的，分库意味着数据需要根据特定的路由规则路由到不同的库，切换数据源不可避免； 2. 问题描述优化版本单品单结，用户订单不能按照路由规则，存储到特定的数据库，而是存储在默认的数据库中，持久层代码如图 l

2016-04-12 10:39:23 546

原创 asp.net mvc中自行搭建实现工厂模式的spring.net+三层架构（一）

首先附上本人托管在Github上的项目https://github.com/lichaojacobs/Tomato 线上地址：www.wanhb.cn 接下来的三层结构都包含了父接口，子接口，父类，子类部分 1、编写数据访问层数据访问层是对数据库的增删改查的操作。首先我们在数据访问层的父接口声明一些通用的对数据库统一处理的方法： 1

2016-04-10 23:46:16 2571 2

原创 asp.net mvc中自行搭建实现工厂模式的spring.net+三层架构（15-4-20）

在之前的文章中，我们已经搭好了三层框架，通过调用业务层的子接口得到实例化的业务子类，通过业务子类来调用数据访问层子接口，由子接口来实例化数据访问层子类。这里我们需要明确把框架搭这么复杂的原因是遵循了设计模式中的开闭原则：对扩展开放，对修改关闭。搭好了框架之后，我们发现这框架并不完善：实例化对象还需要手动实现，并不能实现将对象的实例化托管。所以我们决定引入spring.net框架，

2016-04-10 11:04:47 1796 5

IT白吃男