2015年12月_nisjlvhudy

原创几个有用的python脚本

1、通过pythony连接Hive执行Hql的脚本[spark@Master Py_logproc]$ cat py2hive.py #!/usr/bin/env pythonimport syssys.path.append('/home/spark/opt/hive-1.2.1/lib/py')from hive_service import ThriftHivefrom hi

2015-12-25 13:30:34 6247 1

原创业务系统JSON日志通过python处理并导入Hive方案

首先说明，此方案是一个不可行的方案。与导入Mysql数据库不同，Hive数据库不支持记录级数据插入；即使一些版本支持，插入速度也是奇慢。Hive主要优势在于处理批量数据，数据量越大越能体现出性能优势；数据量小，如记录级数据插入，则没有可用性。所以，对于使用python将json数据解析出来再一条条插入的方法肯定是行不通的。方案记录在此，为通过python连接操作Hive数据库等提供一些参考。一

2015-12-25 13:07:51 3631 1

原创业务系统JSON日志通过python处理并导入Mysql方案

一、环境准备及说明1、程序目录路径[spark@Master Log_Data]$ pwd/home/spark/opt/Log_Data[spark@Master Log_Data]$ ls -LGR.:Py_logproc yemao ymlog_proc_manual.sh ymlog_proc.sh./Py_logproc:date.list db.

2015-12-19 11:47:22 2777 2

原创 Linux上用于Json数据处理并导入Mysql的几个有用Python脚本

1、环境目录结构[root@localhost python_dir]# pwd/root/python_dir[root@localhost python_dir]# ls -lGR.:total 5148-rw-r--r--. 1 root 604 Dec 17 11:24 db.py-rw-r--r--. 1 root 886 Dec 17 11:54

2015-12-18 17:36:30 2628

原创两个遁环调度Mysql存储过程的SP代码

1、被调用的存储过程编码CREATE DEFINER=`datahs`@`%` PROCEDURE `p_dorm_cnt_daily`(IN `p_statistics_date` int)BEGINdelete from datatest.tmp_dorm_cnt_daily where statistics_date=p_statistics_date;insert into

2015-12-16 21:10:57 952

原创一个实现数据批量从mongodb导入Mysql的方案

1、脚本目录路径[spark@Master data_dir]$ pwd/home/spark/opt/data_dir[spark@Master data_dir]$ ls -R /home/spark/opt/data_dir/home/spark/opt/data_dir:weixin_data.sh yemao_log_20151214.csv yemao_log_20

2015-12-16 20:47:22 6310

原创 oracle sqlplus中copy命令的用法

一、语法首先明确SQL*Plus Copy Command不是一个方法或是函数，也不是一个SQL语句，它是一个命令(command)，这个命令必须在SQL*Plus里运行。SQL*Plus Copy Command的语法：COPY {FROM database | TO database | FROM database TO database} {APPEND|CREATE|INSER

2015-12-09 15:04:00 6915

原创用户行为分析业务系统日志处理方案

1、日志要进入的目标表结构信息1.1 Hive库上的目标表结构信息CREATE TABLE `yemao_log`( `id` int, `time` int, `url_from` string, `url_current` string, `url_to` string, `options` string, `uid` int, `

2015-12-04 21:04:00 4883 3

原创 Win下Mysql数据每日查询导出发送方案

1、数据处理的存储过程CREATE DEFINER=`datahs`@`%` PROCEDURE `p_kingr_sum_daily`(IN `p_statistics_date` int)BEGINinsert into datatest.kingr1...........................drop table if EXISTS tmp_loan_app_dis

2015-12-04 17:56:56 565

原创 linux下svn安装配置

1、yum install subversionroot用户登录，执行yum install subversion。[root@localhost ~]# yum install subversionLoaded plugins: fastestmirror, product-id, subscription-managerThis system is not registered

2015-12-04 15:21:25 2131

原创 MySQL数据导出导入

一、数据导出1.导出全库备份到本地的目录mysqldump -u$USER -p$PASSWD -h127.0.0.1 -P3306 --routines--default-character-set=utf8 --lock-all-tables --add-drop-database -A >db.all.sql 2.导出指定库到本地的目录(例如mysql库)mysqldum

2015-12-03 20:22:51 735

转载 mysql数据备份恢复详述

一、使用infile/outfile来导入导出数据经常会需要将数据库里的部分数据导出再导入到另一个数据库中，使用mysqldump方法很不方便，使用outfile的话就会变的很简单。1.outfile使用，将select出的结果导出为一个文本，不含sql语句，导出时使用的是mysql运行的帐户权限。默认不加路径文件存在data目录的数据库文件夹里。 (注：data目录为数据库文件存储的位置

2015-12-03 19:33:26 968

原创 Centos查看系统最近一次启动时间和运行时间

1.uptime命令 [spark@Master Log_Data]$ uptime 09:18:01 up 20:17, 1 user, load average: 0.13, 0.12, 0.142.查看/proc/uptime文件计算系统启动时间[spark@Master Log_Data]$ cat /proc/uptime73064.44 276161.8

2015-12-03 09:27:41 16381

nisjlvhudy的专栏