Solutions
文章平均质量分 79
nisjlvhudy
本人稳重、有活力;工作积极主动,认真负责;能吃苦耐劳,勇于克服困难;有团结协作精神及大局观;肯钻研,有较强的实际动手能力
展开
-
根据实体生成数据模型方案
在日常的项目中,常常会遇到根据表结构或实体的属性向数据库中生成表,然后根据数据库中的表结构反向生成数据模型的情况。这种情况如果直接处理会比较麻烦,我们设计了如下根据实体属性反向生成数据模型的方案。1、建表及插入测试数据建表、插入测试数据.sql--1、建存储表结构数据字典表和SQL语句存储表-- Create tablecreate table TAB_STRUCTURE(原创 2012-11-06 11:25:45 · 1350 阅读 · 0 评论 -
一个实现数据批量从mongodb导入Mysql的方案
1、脚本目录路径[spark@Master data_dir]$ pwd/home/spark/opt/data_dir[spark@Master data_dir]$ ls -R /home/spark/opt/data_dir/home/spark/opt/data_dir:weixin_data.sh yemao_log_20151214.csv yemao_log_20原创 2015-12-16 20:47:22 · 6316 阅读 · 0 评论 -
业务系统JSON日志通过python处理并导入Mysql方案
一、环境准备及说明1、程序目录路径[spark@Master Log_Data]$ pwd/home/spark/opt/Log_Data[spark@Master Log_Data]$ ls -LGR.:Py_logproc yemao ymlog_proc_manual.sh ymlog_proc.sh./Py_logproc:date.list db.原创 2015-12-19 11:47:22 · 2789 阅读 · 2 评论 -
Win下Mysql数据每日查询导出发送方案
1、数据处理的存储过程CREATE DEFINER=`datahs`@`%` PROCEDURE `p_kingr_sum_daily`(IN `p_statistics_date` int)BEGINinsert into datatest.kingr1...........................drop table if EXISTS tmp_loan_app_dis原创 2015-12-04 17:56:56 · 586 阅读 · 0 评论 -
用户行为分析业务系统日志处理方案
1、日志要进入的目标表结构信息1.1 Hive库上的目标表结构信息CREATE TABLE `yemao_log`( `id` int, `time` int, `url_from` string, `url_current` string, `url_to` string, `options` string, `uid` int, `原创 2015-12-04 21:04:00 · 4898 阅读 · 3 评论 -
业务系统JSON日志通过python处理并导入Hive方案
首先说明,此方案是一个不可行的方案。与导入Mysql数据库不同,Hive数据库不支持记录级数据插入;即使一些版本支持,插入速度也是奇慢。Hive主要优势在于处理批量数据,数据量越大越能体现出性能优势;数据量小,如记录级数据插入,则没有可用性。所以,对于使用python将json数据解析出来再一条条插入的方法肯定是行不通的。方案记录在此,为通过python连接操作Hive数据库等提供一些参考。一原创 2015-12-25 13:07:51 · 3645 阅读 · 1 评论