2017年09月_db_guy

12月 11月 10月 09月 08月

原创 Sqoop导入hive数据库NULL值处理

最近用sqoop将mysql的一张表导入到hive中，发现以前is null的字段导入到hive的时候，被转换为了字符串’NULL’或’null’。当导入的时候加上–direct选项的时候，null值导入变成了字符串’NULL’,命令如下：sqoop import \ --connect "jdbc:mysql://${hostname}:3306/${db_name}?useUnic

2017-09-30 12:13:23 11811

原创 Crontab使用

crontab命令crontab –e : 编辑 crontab 文件,与vi使用方式相同 crontab –l : 显示 crontab 文件。 crontab -r : 删除 crontab 文件。 crontab -ir : 删除 crontab 文件前提醒用户。配置crontab文件crontab 文件的格式{minute} {hour} {day-of-month} {month

2017-09-28 15:51:04 374

原创 Python多线程线程池简单使用

对于高IO的程序，使用多线程可以明显提升程序，以下是Python多线程的简单示例：#!/usr/bin/python#coding:utf-8'''author:huhaicool@sina.comdate:2017-09-06version:1.0python:3.xdescription:multi-Process'''from multiprocessing.dummy imp

2017-09-26 15:17:09 614

原创卸载OpenJDK安装Oracle jdk

卸载OpenJDKrpm -e --nodeps `rpm -qa | grep java`安装Oracle JDK解压jdk安装包tar -xvf jdk-8u121-linux-x64.tar.gzmv jdk1.8.0_121/ /usr/local/jdk1.8添加JAVA环境变量，以添加到/etc/profile为例echo "export JAVA...

2017-09-18 10:20:53 783

原创 Python3zip压缩解压简单使用

#!/usr/bin/python#coding:utf-8'''author:huhaicool@sina.comdate 2015-09-06version 1.0python 3.x'''import os,os.pathimport zipfiledef zip_dir(dirname,zipfilename): filelist = [] if os.pat

2017-09-15 17:17:50 6120

原创 Python数据科学家常用package

包名功能 Numpy N维数组，线性代数，傅里叶变换，和随机数的能力 SciPy SciPy是世界上著名的Python开源科学计算库，建立在Numpy之上。它增加的功能包括数值积分、最优化、统计和一些专用函数。 pandas pandas是基于 Numpy 构建的，让以 Numpy 为中心的应用变得更加简单 Matplotlib Matplotlib 是 Pyth

2017-09-15 10:18:19 495