- 博客(8)
- 资源 (6)
- 收藏
- 关注
RSS订阅原创 Linux终端不能显示表情符问题
Linux客户端：secureCRT on Mac1、Hive数据直接查看hive> select uid,nickname > from oss_bi_all_user_profile > where pt_day='2018-04-18' and uid in(1133572117,1224160922,1056349348,1259606656,51639...
2018-04-23 10:53:55
3086
原创 shell中多命令执行
shell可以一次执行多个命令，每个命令之间可用'||'、'&&'和';'隔开。 ';' :如，command1 ; command2；是先执行第一个命令,不管第一个命令是否出错都执行下一个命令。'&&':如，command1 && command2；是当第一个命令正确执行完毕后，才执行下一个命令。'||':如，command1 || command...
2018-04-23 09:39:32
808
原创 DataX安装部署及小试
1、下载压缩包下载页面地址：https://github.com/alibaba/DataX不要在【Clone or download】处下载，那里下载的是源码；对于Java不是很在行的人来说，自行编译显得有点困难。而是在：【Quick Start】--->【Download DataX下载地址】进行下载。下载后的包名：datax.tar.gz。解压后{datax}目录下有{bin con...
2018-04-16 19:39:53
13980
原创 Python获取Mysql及Hive数据计算并整合后插入到Mysql数据库
此代码通过将需要的数据分别从多个mysql数据源及hive数据源分别获取后，在python中进行整合合并，然后插入到时mysql数据库中。hive库中本有这些mysql的表，但由于只是用到了hive中的部分数据，在hive巨量数据中查询效率极低；而在mysql中进行其中一小部分的数据查询则能极大的提高查询效率。所以，代码涉及的数据源等处理相对比较复杂。数据本可以在hive中一个查询脚本跑完；也可以...
2018-04-16 14:08:42
1254
原创 Python批量跑Hive数据到本地目录
适用于需要跑多日数据及临时数据需求的时候；Hql代码及目录路径可以随时按需更换；为提高效率采用了并行的方式。/Users/nisj/PycharmProjects/BiDataProc/love/HiveRunData2LocalFile.py# -*- coding=utf-8 -*-import osimport datetimeimport warningsimport timei...
2018-04-16 10:32:08
1903
原创 Python串行及并行Hive数据跑批
以Hive汇总查询结果数据插入Mysql数据库为例，进行数据的串行及并行调度。在这里涉及到Mysql数据的批量插入，并行跑批，数据按日期倒序跑批等。为简便起见，各功能模块都在一个脚本里。1、功能脚本/Users/nisj/PycharmProjects/BiDataProc/love/HiveDataSum2Mysql-0409forzhanwei.py# -*- coding=utf-8 -*-...
2018-04-09 15:51:41
1140
原创 Python获取OS执行结果示例
此处，以获取在OS上执行数据库Hive或Mysql命令"show tables“结果为例；实际上，获取数据库的select结果及常规的Linux命令结果的道理都是一样的。/Users/nisj/PycharmProjects/BiDataProc/love/selectQuery_inHiveMysql.py# -*- coding=utf-8 -*-import osimport red...
2018-04-04 16:46:03
1915
原创 Shell批量获取hive库中的建表语句
这里采用Shell的方法在hive库里面循环执行"show create table“获取其对应的建表语句；两个脚本，分别是两种方式，一个是"show tables"后将表列表生成文件，然后根据读取文件进行建表语句的查询；而第二种是在for条件中直接获取表的列表清单，然后查询建表语句；很明显，后一种方式简单明了。1、第一种方式/home/hadoop/nisj/xx/Yao/hiveTabMeta...
2018-04-04 14:34:20
4639
2
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人