2017年09月_BabyFish13

12月 11月 10月 09月 08月 07月 06月 05月 04月 03月 02月 01月

原创 Python脚本进行用户信用评分体系计算的案例

项目的目的是根据各影响因子和权重计算出对应用户的信用分值。数据源涉及到库表（Hive&Mysql）的数据、打点的日志数据，数据分别在Hive及Mysql中装载及计算，相对有些复杂。可以借鉴的点：打点日志从oss上获取及日数数据的处理、装载；通过Python在mysql和Hive中进行数据的传输和计算；日期、月份、x天以前日期的获取；数据从hdfs上下载到本地；mysql关联

2017-09-25 19:36:25 3927 8

原创 mysql关联更新update

样式1：update xcs_user_credit_score a1,xcs_user_credit_score a2 set a1.user_currday_score=a1.user_currday_increment_score+a2.user_currday_score where a1.pt_day='2017-09-20' and a2.pt_day='2017-09-1

2017-09-25 10:47:44 41999 2

原创用Python调度数据在Mysql及Hive间进行计算2例(续)-idfa与日志比对进行留存充值数据计算

在本例中，所有的函数，如取周的对应周一、周日日期，目标表建表等函数都在一个python脚本中了，没有进行比较系统的按不同文件存放。脚本要实现的功能是，根据所提供的idfa数据，计算其相应用户对应的uid在当周及接下来的三周的充值情况。/Users/nisj/PycharmProjects/BiDataProc/IdfaQuery/idfaQuery-Wangzq.py# -*- coding...

2017-09-25 09:30:30 484

原创 Hadoop之MapReduce调度：通过Python进行多日期多链接地址的串行跑批统计

1、mp调度配置文件/Users/nisj/PycharmProjects/BiDataProc/hitsStaticAuto/mpConf.py#!/usr/bin/env python# encoding: utf-8UrlList = ['/event/pvp/hero/tutorial/3/info.htm?s_=sy', '/api/discovery.htm']resu

2017-09-11 11:18:40 567

有赞数据仓库元数据系统的演进（有赞Data沙龙）.pdf

有赞数据仓库元数据系统的演进

2021-01-18

DM数据仓库建模

数据仓库建模的有关说明详细的文档及解读的ppt

2019-03-22

NCR逻辑模型设计概览

逻辑模型设计方法论；一些数据仓库建模时的参考，方法等。主要用在数据仓库体系规划、架构设计方面的参考。

2018-01-31

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人