- 博客(11)
- 资源 (6)
- 收藏
- 关注
RSS订阅原创 left join与inner join结果之和与总体不等的思考
测试环境是mysql，但实际上跟数据库环境没有关系，是逻辑上的问题。1、建表及测试数据构造drop tables if exists xxxxx_iqy0708;create table xxxxx_iqy0708(ip varchar(100));drop table if exists xxxxx_chusou0708;create table xxxxx_chusou0708(
2017-07-28 13:58:44
991
原创 用Python将mysql库表结构导成excel
1、将mysql库表结构导出成多个excel/Users/nisj/PycharmProjects/BiDataProc/oldPythonBak/MysqlTabStrc2Excel/mysqlTab2moreExcel.py# -*- coding=utf-8 -*-import xlwtimport MySQLdbimport warningsimport datetime
2017-07-25 15:28:45
2901
原创 Python的任务调度模块APScheduler学习3（作业运行控制-trigger）
add_job的第二个参数是trigger，它管理着作业的调度方式。它可以为date, interval或者cron。对于不同的trigger，对应的参数也不相同。1、 cron定时调度（某一定时时刻执行）(int|str) 表示参数既可以是int类型，也可以是str类型(datetime | str) 表示参数既可以是datetime类型，也可以是str类型year (int|str
2017-07-19 17:39:58
1504
原创 Python的任务调度模块APScheduler学习2（作业操作）
1. 添加作业上文是通过add_job()来添加作业，另外还有一种方式是通过scheduled_job()修饰器来修饰函数import timefrom apscheduler.schedulers.blocking import BlockingSchedulersched = BlockingScheduler()@sched.scheduled_job('interval'
2017-07-19 17:28:32
1534
原创 Python的任务调度模块APScheduler学习1（基本认识）
APScheduler基于Quartz的一个Python定时任务框架，实现了Quartz的所有功能，使用起来十分方便。提供了基于日期、固定时间间隔以及crontab类型的任务，并且可以持久化任务。基于这些功能，我们可以很方便的实现一个python定时任务系统。1、安装利用pip进行安装$ pip install apscheduler2、APScheduler的四种组成部分
2017-07-19 17:11:48
848
原创 用Python将json数据装载到mysql
1、相关说明此脚本可以将json数据解析之后装载到Mysql;暂未进行大批量装载方面的优化处理；由于json的字段定义太灵活，所以暂时未进行太自动化的处理，要装载的表名也需要先手动建好。数据传入参数有：dbConfigName, tabName, jsonPath, fileName。依赖的库有：MySQLdb、json，尤其MySQLdb需要事先安装好。2、Python脚本及
2017-07-12 19:39:13
4831
1
原创 用Python将mysql数据导出成json
1、相关说明此脚本可以将Mysql的数据导出成Json格式，导出的内容可以进行select查询确定。数据传入参数有：dbConfigName, selectSql, jsonPath, fileName。依赖的库有：MySQLdb、json，尤其MySQLdb需要事先安装好。2、Python脚本及测试示例/Users/nisj/PycharmProjects/BiDataP
2017-07-12 19:26:21
3534
原创 用Python将excel文件导出成json
1、相关说明此脚本可以将excel各个sheet中的数据分别导出到不同的json文件中，以原excel文件名+sheet名进行命名。数据传入参数有：excelPath, jsonPath, fileName三个。依赖的库有：xlrd、json、codecs，尤其xlrd需要事先安装好。2、Python脚本及测试示例/Users/nisj/PycharmProjects/Bi
2017-07-12 19:16:35
1925
原创 用Python将mysql数据导出成excel
1、导出示例/Users/nisj/PycharmProjects/BiDataProc/oldPythonBak/mysqlData2excel.py# -*- coding=utf-8 -*-import xlwtimport MySQLdbimport warningsimport datetimeimport timeimport sysreload(sys)sys
2017-07-07 15:25:26
4904
原创 Oracle、Mysql、Hive多行转一列函数实现及异同
1、oracle用wmsys.wm_concatselect u_id, wmsys.wm_concat(goods || '(' || num || '斤)' ) goods_sum from shopping group by u_id ;2、mysql用group_concatSELECT uid,group_concat(concat('name:',name,'-p
2017-07-06 17:16:04
1820
原创 大数据平台下利用Python进行Hql并行数据跑批
此是一个简单的示例，如有类似需求进行些许的改动，即可使用。如有基础数据准备的工作，需要提前准备好；本示例只关注Hql并行跑批方面。1、具体业务处理的脚本/Users/nisj/PycharmProjects/BiDataProc/parallelBatchOnBigData-forHql/business_proc.py# -*- coding=utf-8 -*-import o
2017-07-05 14:27:58
1922
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人