2017年06月_z_xiaozhuT

转载 java类中执行脚本或命令(比如Linux下的脚本命令等)

可以使用java中的ProcessBuilder执行本地命令或脚本等工作：以下是一个简单的使用java调用本地python脚本的例子。从某工程代码中整理出来的，未封装，仅供参考。JAVA 代码：[java] view plain copyList commands=new ArrayList(); commands.add("p

2017-06-23 10:34:36 526

转载 python sys.argv[]用法

sys.argv[]是用来获取命令行参数的，sys.argv[0]表示代码本身文件路径，所以参数从1开始，以下两个例子说明:1、使用sys.argv[]的一简单实例:以下是sample1.py文件：[python] view plain copyimport sys,os print sys.argv os.system(sys

2017-06-22 16:15:13 656

转载关于理解shell中 2>&1 的含义

ls -l > out.file 2>&1 &解释:ls -l > out.file //将ls的输出重定向到文件out.file2>&1 //在shell中,文件描述符通常是:STDIN,STDOUT,STDERR,即:0,1,2,由此可以看出,它将ls -l > out.file在输出过程中产生的错误信息也放在了STDOUT,即:1中,你可以作实验,如果命令产生了错误,那么错误信息

2017-06-22 15:46:05 430

转载 Linux Shell 中的反引号，单引号，双引号的区别

反引号位 (`) 位于键盘的Tab键的上方、1键的左方。注意与单引号(')位于Enter键的左方的区别。在Linux中起着命令替换的作用。命令替换是指shell能够将一个命令的标准输出插在一个命令行中任何位置。如下，shell会执行反引号中的date命令，把结果插入到echo命令显示的内容中。[root@localhost sh]# echo The date is `date`T

2017-06-22 15:17:22 400

转载 Hbase通过BulkLoad的方式快速导入海量数据

摘要加载数据到HBase的方式有多种，通过HBase API导入或命令行导入或使用第三方(如sqoop)来导入或使用MR来批量导入（耗费磁盘I/O，容易在导入的过程使节点宕机），但是这些方式不是慢就是在导入的过程的占用Region资料导致效率低下，今天要讲的就是利用HBase在HDFS存储原理及MapReduce的特性来快速导入海量的数据 HBase数据在HDFS下是如何存

2017-06-21 09:38:51 3975 1

转载 Hbase的region优化

问题描述：线上程序在写Hbase时，hbase有时候会挂掉。问题详细现象：程序写hbase时写压力都集中到某一个region server上。基于以上现象研究了hbase region split机制。在默认情况下hbase会根据自动splitting机制进行region分片。当一个table刚被创建的时候，Hbase默认的分配一个region给table。也就是说这个时候，所有的读写请求

2017-06-20 10:12:17 522

转载 Hive的数据存储及解析

数据存储及解析我们先来看下hive中如何建表，并通过分析建表语句了解hive中数据的存储解析方式 create table tutorial ( name string, //string类型字段namenumber int, //int类型字段numberresource array, //string数组类型字段detail map //字典类型（key为字符串，v

2017-06-19 13:19:59 1076

转载本地yum源制作

1、刨根问底---什么是yum源？yum的工作原理？说到yum源就必须说到linux系统中特有的依赖关系问题，yum就是为了解决依赖关系而存在的。yum源就相当是一个目录项，当我们使用yum机制安装软件时，若需要安装依赖软件，则yum机制就会根据在yum源中定义好的路径查找依赖软件，并将依赖软件安装好。YUM是“Yellow dog Updater, Modified”的缩写，是一个软件包

2017-06-15 13:19:41 527

转载 Hive数据仓库相关操作

一、数据的导入1、使用Load语句执行数据的导入1.语法：其中（中括号中表示可加指令）： LOCAL：表示指定的文件路径是否是本地的，没有则说明是HDFS上的文件路径。 OVERWRITE：表示覆盖表中的已有数据。 PARTITION ()：如果是向分区表中导入数据的话需要指定分区。2.实例： (1).无分区情况：

2017-06-05 13:48:42 847

z_xiaozhuT的博客