键盘上的孤舞者-CSDN博客

转载 hive --auxpath路径问题

在使用Hive的--auxpath过程中，如果我使用的是相对路径（例如，--auxpath=abc.jar），会产生下面的一个异常：java.lang.IllegalArgumentException: Can not create a Path from an empty string at org.apache.hadoop.fs.Path.checkPathArg(Path.

2014-10-10 13:38:49 2364

原创 hadoop-namenode

hadoop重启namenode无法启动解决方案：修改core-site.xml

2014-08-20 10:16:29 823

原创 hadoop

Warning: $HADOOP_HOME is deprecated解决办法：

2014-08-12 09:29:08 548

原创 sqoop使用记录

sqoop使用Distributor ID: DebianDescription: Debian GNU/Linux 6.0.7 (squeeze)Release: 6.0.7Codename: squeeze双核内存4ghadoop apache hadoop-1.2.1hbase 0.94.20hive 0.13.1sq

2014-08-10 15:44:50 663

原创 map遍历

public static void main(String[] args) { Map map = new HashMap(); map.put("1", "value1"); map.put("2", "value2"); map.put("3", "value3"); // 第一种：普遍使用，二次取值 System.out.println("

2014-08-07 10:36:40 576

原创 oracle-issue

oracle安装问题：1.undefined reference to `nnfyboot' export ORACLE_HOME=/your/oracle/home cd $ORACLE_HOME/lib ln -s libclient10.a libagtsh.a cd $ORACLE_HOME LD_LIBRARY_PATH=$ORACL

2014-07-31 11:31:29 722

原创使用java代码提交图片到服务器

import java.io.IOException;import java.net.*;import java.io.*;import java.util.*;import java.util.logging.Level;import java.util.logging.Logger;import javax.imageio.*;import javax.imageio.stre

2014-07-23 17:41:16 707

原创 DBUtils

/** * 测试DbUtil工具包 */import java.sql.Connection;import java.sql.DriverManager;import java.sql.SQLException;import java.util.Iterator;import java.util.List;import org.apache.commons.dbutils.DbUt

2014-07-23 17:41:03 514

原创 JS-URI处理

https://github.com/oncletom/tld.js

2014-07-23 15:13:29 640

原创牛人

http://www.cnblogs.com/jacksu-tencent/

2014-07-04 08:45:14 485

原创 spring-rss-atom

mport com.sun.syndication.feed.atom.Feed;import com.sun.syndication.feed.rss.Channel;import org.springframework.stereotype.Controller;import org.springframework.web.bind.annotation.RequestMapping;

2014-07-02 14:54:04 508

原创 oracle-3

查看用户名-默认表空间-临时表空间select username, default_tablespace, temporary_tablespace from dba_users;查看表空间信息select t.* from dba_tablespaces t where t.TABLESPACE_NAME ='USERS'

2014-07-02 10:26:41 452

原创 oracle-2

1. 查看当前用户select user from dual;select * from user_users;2. 查看当前用户拥有的角色和权限：select * from user_role_privs;select * from session_privs;3. 查看表注释select tab.* from user_tab_comments tab where

2014-07-01 14:49:02 470

原创 oracle-1

1. 创建临时表空间 CREATE TEMPORARY TABLESPACE test_temp TEMPFILE 'G:\app\Administrator\oradata\orcl1\test_temp.DBF' SIZE 32M AUTOEXTEND ON NEXT 32M MAXSIZE 2048M EXTENT MANAGEMENT LOCAL;2. 创建表空间

2014-07-01 14:30:57 470

原创 zookeeper伪集群安装部署

======单机模式======1. 下载zookeeper2.

2014-06-18 11:17:01 641

原创 mahout入门

package com.test;import java.io.File;import java.io.IOException;import org.apache.mahout.cf.taste.common.TasteException;import org.apache.mahout.cf.taste.eval.RecommenderBuilder;import org.apach

2014-06-17 17:25:27 941

原创 phoenix入门

1. 运行hadoop2. 运行hbase3. 下载phonix4.

2014-06-17 14:39:36 915

原创 hive集成hbase

1. 安装hadoop2. 安装运行

2014-06-17 11:24:54 584

原创 hive存储元数据在mysql配置

1. hive运行在hadoop，首先得确保hadoop运行2. 下载hive3. 下

2014-06-17 10:25:29 908

原创 hive-报错解决方案

1. 报错信息FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask. MetaException(message:javax.jdo.JDODataStoreException: An exception was thrown while adding/validating clas

2014-06-17 10:13:05 1037

原创 spring上传图片

import java.io.BufferedOutputStream;import java.io.FileNotFoundException;import java.io.IOException;import org.springframework.stereotype.Controller;import org.springframework.web.bind.annotation.

2014-06-16 14:31:54 588

原创 javadoc-example

#!/bin/bashjavadoc com.apache.nutch.misc com.apache.nutch.rowfilter com.apache.nutch.utils com.apache.nutch.crawl com.apache.nutch.crawl.indexer com.apache.nutch.crawl.indexer.elastic com.apac

2014-06-16 11:03:04 705

原创 hbase-MR

package hbase.test;import java.io.IOException;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.conf.Configured;import org.apache.hadoop.hbase.HBaseConfiguration;import org.ap

2014-06-13 16:50:30 535

转载一种基于HBase韵海量图片存储技术

一种基于HBase韵海量图片存储技术针对海量图片存储，已有若干个基于Hadoop的方案被设计出来。这些方案在系统层小文件合并、全局名字空间以及通用性方面存在不足。本文基于HBase提出了一种海量图片存储技术，成功解决了上述问题。本文将介绍基于HBase海量图片存储技术方案，分析其原理及优势，该方案在城市交通监控中得到应用验证。随着互联网、云计算及

2014-06-13 14:37:53 3810

原创 shell-sed

1. 删除包含xx的行 sed -i '/xx/d' a.txt2. 删除以xx开头的行 sed -i '/^xx/d' a.txt3. 删除前几行 sed -i '1,5d' a.txt4. 删除第N行 sed -i '5d' a.txt

2014-06-13 14:01:39 462

原创 shell-crontab（定时调度）

crontab: usage error: unrecognized optionusage: crontab [-u user] file crontab [ -u user ] [ -i ] { -e | -l | -r } (default operation is replace, per 1003.2) -e (edit user's crontab) -l (list us

2014-06-13 13:52:37 570

原创 shell-进程

#!/bin/bash#HTML存储父母录HTML_DIR_PARENT="/home/xxx/zcreader/temp/"#当前日期字符串CURRENT_DATE=`date +%Y%m%d`#当前日期HTML目录HTML_CURRENT_DIR=${HTML_DIR_PARENT}${CURRENT_DATE}echo '检测目录:'$HTML_CURRENT_DIR#判

2014-06-13 13:41:49 432

原创 hbase存取图片

package hbase.test;import java.io.IOException;import org.apache.commons.io.FileUtils;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.hbase.HBaseConfiguration;import org.apac

2014-06-12 14:20:57 1773 1

原创 mysql存取图片

package com.mycompany.mysql.image;import java.io.*;import java.sql.*;public class Main { public static void main(String[] args) { Main m = new Main();

2014-06-12 14:20:08 800

原创 gora-hbase

package org.apdplat.demo.gora;import java.io.BufferedReader;import java.io.FileInputStream;import java.io.IOException;import java.io.InputStreamReader;import java.text.ParseException;import or

2014-06-11 14:43:47 670

原创 gora-mr

package org.apdplat.demo.gora;import java.io.IOException;import org.apache.avro.util.Utf8;import org.apache.gora.mapreduce.GoraMapper;import org.apache.gora.store.DataStore;import org.apache.go

2014-06-11 14:42:21 546

转载 hbase

数据字典用来存储了系统的元数据。HBase的元数据包括：用户表的定义、表的切分方案、分片的分布情况(即分片分布在哪个regionserver上)、分片对应的数据文件和日志文件。其中，分片和数据文件的映射关系是通过目录映射实现的，即不同的分片的数据文件存储在不同的目录中，其中目录的名称是分片的名称。【对比：在Hypertable中分片与数据文件的映射关系记录在表中】如图3-13所示。HBas

2014-06-09 15:37:30 456

原创 hadoop-fs-java-client-test

package hadoop.test;import java.io.IOException;import java.net.URI;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.BlockLocation;import org.apache.hadoop.fs.FSDataOutputS

2014-06-09 15:19:41 619

原创 hbase-java-client

package hbase.test;import java.io.IOException;import org.apache.avro.generic.GenericData;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.hbase.HBaseConfiguration;import org.

2014-06-09 15:17:50 502

原创 Nutch爬虫运行流程分析

前一篇中，记录了一次爬取的日志信息，这一篇根据日志

2014-05-23 15:03:33 889

原创 Nutch一次爬取运行结果

zcwangjb@zctechzhjp:~/programs/nutch-1.2$ ./bin/nutch crawl urls/seed.txt -dir localweb -depth 5 -threads 4 -topN 50crawl started in: localwebrootUrlDir = urls/seed.txtthreads = 4depth = 5i

2014-05-23 15:00:49 2079

原创 Nutch入门白话版

不得不说，Nutch的入门官方文档写的真不清晰明了。害的我按照官方文档折腾半天。Nutch现在已经到了2.2.2版本，而且版本1.x已经更新到了1.8，这里以1.7为例，1.8中的部分命令行工具的API有变，入门时不是很容易。#安转运行Nutch#- 下载安装Nutch- 在${NUTCH_HOME}下，mkdir urls- cd urls- to

2014-05-23 09:56:44 728

[2014-05-21 14:44:26 - helloworld] /home/zcwangjb/programs/adt-bundle-linux-x86_64-20140321/sdk/build-tools/android-4.4.2/aapt: error while loading shared libraries: libz.so.1: cannot open shared obje

2014-05-21 15:13:03 873

空空如也

空空如也