- 博客(82)
- 收藏
- 关注
RSS订阅转载 hive --auxpath路径问题
在使用Hive的--auxpath过程中，如果我使用的是相对路径（例如，--auxpath=abc.jar），会产生下面的一个异常：java.lang.IllegalArgumentException: Can not create a Path from an empty string at org.apache.hadoop.fs.Path.checkPathArg(Path.
2014-10-10 13:38:49
2270
原创 sqoop使用记录
sqoop使用Distributor ID: DebianDescription: Debian GNU/Linux 6.0.7 (squeeze)Release: 6.0.7Codename: squeeze双核 内存4ghadoop apache hadoop-1.2.1hbase 0.94.20hive 0.13.1sq
2014-08-10 15:44:50
630
原创 map遍历
public static void main(String[] args) { Map map = new HashMap(); map.put("1", "value1"); map.put("2", "value2"); map.put("3", "value3"); // 第一种：普遍使用，二次取值 System.out.println("
2014-08-07 10:36:40
546
原创 oracle-issue
oracle安装问题：1.undefined reference to `nnfyboot' export ORACLE_HOME=/your/oracle/home cd $ORACLE_HOME/lib ln -s libclient10.a libagtsh.a cd $ORACLE_HOME LD_LIBRARY_PATH=$ORACL
2014-07-31 11:31:29
699
原创 使用java代码提交图片到服务器
import java.io.IOException;import java.net.*;import java.io.*;import java.util.*;import java.util.logging.Level;import java.util.logging.Logger;import javax.imageio.*;import javax.imageio.stre
2014-07-23 17:41:16
677
原创 DBUtils
/** * 测试DbUtil工具包 */import java.sql.Connection;import java.sql.DriverManager;import java.sql.SQLException;import java.util.Iterator;import java.util.List;import org.apache.commons.dbutils.DbUt
2014-07-23 17:41:03
486
原创 spring-rss-atom
mport com.sun.syndication.feed.atom.Feed;import com.sun.syndication.feed.rss.Channel;import org.springframework.stereotype.Controller;import org.springframework.web.bind.annotation.RequestMapping;
2014-07-02 14:54:04
499
原创 oracle-3
查看用户名-默认表空间-临时表空间select username, default_tablespace, temporary_tablespace from dba_users;查看表空间信息select t.* from dba_tablespaces t where t.TABLESPACE_NAME ='USERS'
2014-07-02 10:26:41
442
原创 oracle-2
1. 查看当前用户select user from dual;select * from user_users;2. 查看当前用户拥有的角色和权限：select * from user_role_privs;select * from session_privs;3. 查看表注释select tab.* from user_tab_comments tab where
2014-07-01 14:49:02
461
原创 oracle-1
1. 创建临时表空间 CREATE TEMPORARY TABLESPACE test_temp TEMPFILE 'G:\app\Administrator\oradata\orcl1\test_temp.DBF' SIZE 32M AUTOEXTEND ON NEXT 32M MAXSIZE 2048M EXTENT MANAGEMENT LOCAL;2. 创建表空间
2014-07-01 14:30:57
457
原创 mahout入门
package com.test;import java.io.File;import java.io.IOException;import org.apache.mahout.cf.taste.common.TasteException;import org.apache.mahout.cf.taste.eval.RecommenderBuilder;import org.apach
2014-06-17 17:25:27
932
原创 hive-报错解决方案
1. 报错信息FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask. MetaException(message:javax.jdo.JDODataStoreException: An exception was thrown while adding/validating clas
2014-06-17 10:13:05
1018
原创 spring上传图片
import java.io.BufferedOutputStream;import java.io.FileNotFoundException;import java.io.IOException;import org.springframework.stereotype.Controller;import org.springframework.web.bind.annotation.
2014-06-16 14:31:54
578
原创 javadoc-example
#!/bin/bashjavadoc com.apache.nutch.misc com.apache.nutch.rowfilter com.apache.nutch.utils com.apache.nutch.crawl com.apache.nutch.crawl.indexer com.apache.nutch.crawl.indexer.elastic com.apac
2014-06-16 11:03:04
696
原创 hbase-MR
package hbase.test;import java.io.IOException;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.conf.Configured;import org.apache.hadoop.hbase.HBaseConfiguration;import org.ap
2014-06-13 16:50:30
506
转载 一种基于HBase韵海量图片存储技术
一种基于HBase韵海量图片存储技术针对海量图片存储，已有若干个基于Hadoop的方案被设计出来。这些方案在系统层小文件合并、全局名字空间以及通用性方面存在不足。本文基于HBase提出了一种海量图片存储技术，成功解决了上述问题。本文将介绍基于HBase海量图片存储技术方案，分析其原理及优势，该方案在城市交通监控中得到应用验证。 随着互联网、云计算及
2014-06-13 14:37:53
3778
原创 shell-sed
1. 删除包含xx的行 sed -i '/xx/d' a.txt2. 删除以xx开头的行 sed -i '/^xx/d' a.txt3. 删除前几行 sed -i '1,5d' a.txt4. 删除第N行 sed -i '5d' a.txt
2014-06-13 14:01:39
432
原创 shell-crontab（定时调度）
crontab: usage error: unrecognized optionusage: crontab [-u user] file crontab [ -u user ] [ -i ] { -e | -l | -r } (default operation is replace, per 1003.2) -e (edit user's crontab) -l (list us
2014-06-13 13:52:37
542
原创 shell-进程
#!/bin/bash#HTML存储父母录HTML_DIR_PARENT="/home/xxx/zcreader/temp/"#当前日期字符串CURRENT_DATE=`date +%Y%m%d`#当前日期HTML目录HTML_CURRENT_DIR=${HTML_DIR_PARENT}${CURRENT_DATE}echo '检测目录:'$HTML_CURRENT_DIR#判
2014-06-13 13:41:49
415
原创 hbase存取图片
package hbase.test;import java.io.IOException;import org.apache.commons.io.FileUtils;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.hbase.HBaseConfiguration;import org.apac
2014-06-12 14:20:57
1736
1
原创 mysql存取图片
package com.mycompany.mysql.image;import java.io.*;import java.sql.*;public class Main { public static void main(String[] args) { Main m = new Main();
2014-06-12 14:20:08
781
原创 gora-hbase
package org.apdplat.demo.gora;import java.io.BufferedReader;import java.io.FileInputStream;import java.io.IOException;import java.io.InputStreamReader;import java.text.ParseException;import or
2014-06-11 14:43:47
656
原创 gora-mr
package org.apdplat.demo.gora;import java.io.IOException;import org.apache.avro.util.Utf8;import org.apache.gora.mapreduce.GoraMapper;import org.apache.gora.store.DataStore;import org.apache.go
2014-06-11 14:42:21
538
转载 hbase
数据字典用来存储了系统的元数据。HBase的元数据包括：用户表的定义、表的切分方案、分片的分布情况(即分片分布在哪个regionserver上)、分片对应的数据文件和日志文件。其中，分片和数据文件的映射关系是通过目录映射实现的，即不同的分片的数据文件存储在不同的目录中，其中目录的名称是分片的名称。【对比：在Hypertable中分片与数据文件的映射关系记录在表中】如图3-13所示。HBas
2014-06-09 15:37:30
447
原创 hadoop-fs-java-client-test
package hadoop.test;import java.io.IOException;import java.net.URI;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.BlockLocation;import org.apache.hadoop.fs.FSDataOutputS
2014-06-09 15:19:41
594
原创 hbase-java-client
package hbase.test;import java.io.IOException;import org.apache.avro.generic.GenericData;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.hbase.HBaseConfiguration;import org.
2014-06-09 15:17:50
483
原创 Nutch一次爬取运行结果
zcwangjb@zctechzhjp:~/programs/nutch-1.2$ ./bin/nutch crawl urls/seed.txt -dir localweb -depth 5 -threads 4 -topN 50crawl started in: localwebrootUrlDir = urls/seed.txtthreads = 4depth = 5i
2014-05-23 15:00:49
2025
原创 Nutch入门白话版
不得不说，Nutch的入门官方文档写的真不清晰明了。害的我按照官方文档折腾半天。Nutch现在已经到了2.2.2版本，而且版本1.x已经更新到了1.8，这里以1.7为例，1.8中的部分命令行工具的API有变，入门时不是很容易。#安转运行Nutch#- 下载安装Nutch- 在${NUTCH_HOME}下，mkdir urls- cd urls- to
2014-05-23 09:56:44
713
原创 andriod
[2014-05-21 14:44:26 - helloworld] /home/zcwangjb/programs/adt-bundle-linux-x86_64-20140321/sdk/build-tools/android-4.4.2/aapt: error while loading shared libraries: libz.so.1: cannot open shared obje
2014-05-21 15:13:03
864
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人