lbxhappy-CSDN博客

原创 apache+wsgi+django 部署django程序

1、配置 /etc/httpd/conf.d/vhost.confNameVirtualHost 172.16.12.61:7778 #指定部署该应用的端口Listen 7778<VirtualHost 172.16.12.61:7778> ServerName 172.16.12.61 Alias /nvd3/ /opt/testDjango/jsDemo...

2013-12-12 16:45:00 229

JAV 数组二叉树实现

package com.data.struct.tree.binaryTree; public class ArrayBinTree<T extends Comparable<T>> {/* 树高度 */private int deepth = 0;/* 存储树结构数据 */private Object[] arr ;/* 数组大小 */p...

2013-08-30 17:29:08 681

原创 shell 遍历目录文件并根据文件名和日期匹配度删除文件

shell 遍历目录文件并根据文件名和日期匹配度删除文件#!/bin/sh basedir="/data/nginx/logs"logdir="${basedir}/app"datestr=`date -d -1day +%Y%m%d`tmpdir="${basedir}/bak/app/${datestr}" echo $tmpdir if [ ! -...

2013-08-29 22:11:23 1499

原创 hive 安装运行权限错误Permission denied: user=hive, access=WRITE,

在安装hive过程中遇到了hive权限错误： : Error in metadata: MetaException(message:Got exception: org.apache.hadoop.security.AccessControlException Permission denied: user=hive, access=WRITE, inode="/":hdfs:hadoo...

2013-07-24 17:10:56 2563 1

原创 hadoop 源码编译导入eclipse

hadoop 源码编译导入eclipse hadoop2版本出来后，突然心血来潮想编译下hadoop2的代码并导入eclipse，以备以后有时间了进行代码研究用，现在总结了下编译过程以及如何导入到elipse。一下是必备条件hadoop版本：hadoop的尝鲜版release-2.0.3-alpha，svn地址：http://svn.apache.org/repos/as...

2013-04-25 18:23:24 199

原创 hive null 和空值

hive的数据源是基于hdfs的数据文件，如果文件的某一个字段是空值，那么hive查询出来是什么值呢，具体动手实验了下数据：2458，24723，1698，226，，如果在表中字段定义是字符类型，那么查询出的是空值如果在表中字段定义是数字类型，那么查询出的是NULL值...

2013-02-28 09:46:01 300

一、下载，这里使用绿色解压缩版网上搜索mysql绿色免安装版下载即可二、配置MySQL的参数1、解压缩绿色版软件到E:\Program Files\mysql-5.1.32设置系统环境变量MYSQL_HOME=E:\Program Files\mysql-5.1.32在Path中添加 %MYSQL_HOME%\bin;2、修改E:\Program Files\mysql-5.1.32\my-...

2013-01-07 16:07:26 145

原创 Maven 3 入门 -- 安装与配置

Maven以及其Eclipse插件m2eclipse的安装（本文参考了Maven实战）检查JDK的安装以及环境变量的配置打开cmdecho %Java_Home%java -version 如下图下载Mavenhttp://maven.apache.org/download.html 我这里安装时最新的3.03版本 ...

2013-01-06 22:15:42 95

原创 mahout中bayes分类分析—2

2、模型以上训练部分的四个job执行完毕后，整个bayes模型就建立完毕了，总共生成并保存三个目录文件：trainer-tfIdftrainer-weightstrainer-thetaNormalizer我们可以将模型从分布式上Sequence文件导成本地的txt文件进行查看。3、测试调用类：Test...

2012-11-27 17:40:13 117

原创 mahout中bayes分类分析—1

根据http://blog.163.com/jiayouweijiewj@126/blog/static/17123217720113115027394/进行了bayes学习分析，部分内容做了更改：首先解释下 TFIDF原理：　TF-IDF（term frequency–inverse document frequency）是一种用于资讯检索与资讯探勘的常用加权技术。TF-IDF是一种...

2012-11-26 14:57:42 116

原创谷歌开源 Supersonic 查询引擎

谷歌近日开源了其Supersonic项目。据谷歌描述，Supersonic是一个超快速的、针对列存储数据库（Column-oriented DBMS）的查询引擎库，使用C++编写。Supersonic提供了一组大量使用缓存相关算法、SIMD指令和矢量化操作的转换原语，并可以利用现代的超线程CPU的优势。Supersonic主要被用来作为各种数据仓库项目的后端。它的主要特性包括：1....

2012-11-21 11:25:41 353

原创 Cloudera Impala：基于Hadoop的实时查询开源项目

摘要：号外！Cloudera发布了实时查询开源项目Impala！多款产品实测表明，比原来基于MapReduce的Hive SQL查询速度提升3～90倍。Impala是Google Dremel的模仿，但在SQL功能上青出于蓝胜于蓝。CSDN报道文/刘江正在纽约进行的大数据技术会议Strata Conference + Hadoop World传来消息，Cloudera发布了实时查询开...

2012-11-13 11:08:34 123

原创 hadoop 运行任务超时

在默认指定的10分钟或具体在配置文件指定的时间内没有报告状态，会出现任务超时的异常，最好的解决办法： 1、设置更长的等待时间 mapred.task.timeout设置该属性 2、增加计数器的值 3、...

2012-08-29 15:08:46 530

Task process exit with nonzero status of 1.

在平时跑mapReduce程序时，经常会遇到这样的错误，网上也有好多针对该错误的解决办法，但是我遇到的并不是因为hadoop环境配置出的错，错误可能会是自己的代码或hadoop资源紧张导致的该错误。我有次log4.xml配置文件有问题也报这个错误，这个问题挺二的，希望有遇到这种错误的把解决方案奉献下！！！！！java.lang.Throwable: Child Error at org....

2012-08-28 11:08:36 154

原创 mahout中bayes分类分析—1

引用：http://blog.163.com/jiayouweijiewj@126/blog/static/17123217720113115027394/实现包括三部分：The Trainer（训练器）、The Model（模型）、The Classifier（分类器）1、训练首先，要对输入数据进行预处理，转化成Bayes M/R job读入数据要求的格式，即训练器输入的数据...

2012-08-21 16:18:14 98

原创导出excel2007 poi3.8

poi3.8默认情况下，用到的临时目录是系统自带的临时目录，在本次项目中遇到临时目录超限，所以需要修改源代码指定需要设置的临时目录需要修改的类为：GZIPSheetDataWriter，SheetDataWriter GZIPSheetDataWriter压缩时候用到，如在构造workbook时：wokbook = new SXSSFWorkbook(new XSSFWorkbook...

2012-07-27 19:17:11 193

hbase 导出 excel报表 jxl

package sina.hive.vipfaninfo;import java.io.File;import java.util.Iterator;import jxl.Workbook;import jxl.write.Label;import jxl.write.WritableSheet;import jxl.write.WritableWorkbook;...

2012-07-27 18:58:19 232

原创 hbase 导入导出

[b]hbase导入导出第一方案：[/b]hbase已经自带了这个命令，下面就说一下怎么使用这个命令(一)设置环境变量在hadoop-0.20.2/conf/hadoop-env.sh 中添加export HBASE_HOME=/home/rain/hbase/hbase-0.90.0export HADOOP_CLASSPATH=$HBASE_HOME/hba...

2012-07-12 19:17:10 168

原创 hive函数大全

1.内置运算符1.1关系运算符运算符类型说明A = B 所有原始类型如果A与B相等,返回TRUE,否则返回FALSEA == B 无失败，因为无效的语法。 SQL使用”=”，不使用”==”。A B 所有原始类型如果A不等于B返回TRUE,否则返回FALSE。如果A或B值为”NULL”，结果返回”NULL”。A < B 所有原始类型如果A小于...

2012-06-29 19:14:55 283

原创 JVM配置详解及调优

堆大小设置JVM 中最大堆大小有三方面限制:相关操作系统的数据模型(32-bt还是64-bit)限制;系统的可用虚拟内存限制;系统的可用物理内存限制.32位系统下,一般限制在1.5G~2G;64为操作系统对内存无限制.我在Windows Server 2003 系统,3.5G物理内存,JDK5.0下测试,最大可设置为1478m.典型设置:java -Xmx3550m -Xms3550m...

2012-06-21 14:13:31 182

原创 Hadoop Job Scheduler作业调度器

Hadoop Job SchedulerHadoop的作业调度器，可以以插件的方式加载，常见的作业调度器有三种：默认调度算法FIFO计算能力调度算法Capacity Scheduler(Yahoo!开发)公平份额调度算法Fair Scheduler(Facebook开发)默认调度算法FIFO简介:最早的Hadoop Map/Reduce计算架构中，JobTracke...

2012-06-21 11:46:04 128

关于hadoop2.0自定义计数器

最近写了个mapReduce进行数据分析，发现数据不合理，想写一个计数器对某些发生异常的记录进行计数，但是查看了《hadoop权威指南》后发现使用的API是1点几，在网上搜到的也是1点几的例子，都用到了reporter，但是现在2.0后已经不用他，map 和reduce也是从mapReuce.Mapper或mapReduce.Reducer来继承，一下是使用计数器的例子，map方法内部分代码：...

2012-06-07 11:38:01 88

原创 hadoop Text编码问题

Hadoop写map/reduce作业开始，就遇到了输入数据是GBK编码的问题，hadoop的writable默认是以utf-8进行编码，如果输入数据时GBK编码的话，则进行转码操作如：String line=new String(value.getBytes(),0,value.getLength(),"GBK");String line=value.toString();之所以会把GB...

2012-06-01 17:33:15 246

原创 WABACUS框架介绍

== WABACUS框架 ==使用Wabacus（The Terminator Of SSH）框架，可以不用编程或极少编程即可实现复杂的数据展示，数据编辑，表单处理等功能，可以将您的开发效率提高5倍以上，代码减少60%以上。　　注：　　1、Wabacus框架是一个JAVA开发框...

2012-05-17 10:07:08 221

原创百度MAP API使用步骤及说明

? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? 关于利用百度地图API的使用说明通过百度MAP API，能实现地图位置的标注、区域搜索、范围搜索、附近搜索、公交导航、驾车导航等服务，一下是实现各服务的具体步骤：1、引用地图API的js文件? ? ? ?v代表版本号，v=1.2代表1.2版本，目前最新是1.3? ? ? ?s...

2012-05-17 09:13:14 272

原创 jqgrid使用步骤及说明

jqgrid使用说明 jqGrid 是一个用来显示网格数据的jQuery插件，可以动态的对数据网格的数据进行添加、删除、修改、查询、排序、拖拽等操作，数据源可以是json、xml 官网下载地址：http://www.trirand.com/blog/?page_id=6官网文档：http://ww...

2012-05-17 09:08:15 436

原创 JAVA开发性能调优

下面是参考网络资源总结的一些在Java编程中尽可能要做到的一些地方。1. 尽量在合适的场合使用单例使用单例可以减轻加载的负担，缩短加载的时间，提高加载的效率，但并不是所有地方都适用于单例，简单来说，单例主要适用于以下三个方面：第一，控制资源的使用，通过线程同步来控制资源的并发访问；第二，控制实例的产生，以达到节约资源的目的；第三，控制数据共享，在不建立直接关联的条件...

2012-05-09 11:41:14 90

原创使用WFetch查看HTTP请求、响应报文

WFetch界面比较简陋，但是已经满足我的一般需求了。想起之前在 Telnet 窗口下边实验边学习用 JavaMail 软件包收发邮件的过程，确实是挺麻烦的。用文本编辑器来来回回查看生成的 .eml文件，还在命令行提示符窗口中等待 SMTP 服务器响应报文… 现在有了这个 WFetch ，可是轻松许多了。当然它也支持连接localhost，而且是默认的。WFetch可以让我们选择各种请求...

2012-05-07 10:36:36 167

原创 BI以及ETL工具简介

一、什么是BI 首先，在网上搜了一下，BI的范围有点大，下面就自己整理一下：1.商业智能不是一种新技术，而是技术的组合达到一种目的，提供一种解决方案，以帮助企业决策为目的技术及其应用。2.构成：数据仓库（或数据集市）、查询报表、数据分析、数据挖掘、数据备份和恢复等部分组成。3.涉及的领域：数据仓库、联机分析处理（OLAP）工具和数据挖掘等。 OLAP工具。提供多维...

2012-03-26 14:06:24 529

原创 linux基础命令

(一)ubuntu 基本命令一： 1、帮助 --help简单的帮助 help command 较详细的帮助 man command 最详细的帮助2、ls 命令 ls -a 显示全部的文件及文件夹，包括隐藏的文件或文件夹 ls -l 显示较全的文件信息，包括权限、用户、用户组等。 ls --color...

2012-03-09 13:15:45 101

原创 java命令行指定JDK运行环境

set path=C:/Program Files/Java/jdk1.6.0_10/bin set classpath=C:/Program Files/Java/jdk1.6.0_10/jre/lib java -Xms256m -Xmx256m -classpath D:/workspace/Test/classes;D:/workspace/T...

2011-12-14 22:05:10 1235

原创 oracle csv存储过程

CREATE OR REPLACE PROCEDURE SQL_TO_CSV ( P_QUERY IN VARCHAR2, -- PLSQL文 P_DIR IN VARCHAR2, ...

2011-11-29 22:46:03 173

原创 sqlplus Set常用设置

SqlPlus Set常用设置 SQL>set colsep' ';　　　　 //-域输出分隔符SQL>set echo off;　　　　 //显示start启动的脚本中的每个sql命令，缺省为onSQL> set echo on //设置运行命令是是否显示语句SQL> set feedback on; ...

2011-11-29 22:37:49 135

原创 sqlplus 导出CSV

1、首先连接数据库： sqlplus sys/pass123@orcl as sysdba 2、然后设置环境变量：set head on; --显示标题set feed off;set trimspool on; --set linesize 32767; --行大小set pagesize 32767;--总记录大小set colsep "," --以...

2011-11-29 22:35:40 1266

原创 oracle sql*plus登录方式

sqlplus登陆方式sqlplus有几种登陆方式比如：1.C: > sqlplus "/as sysdba" --以操作系统权限认证的oracle sys管理员登陆2.C: > sqlplus /nolog --不在cmd或者terminal当中暴露密码的登陆方式SQL> conn /as sysdba...

2011-11-23 16:09:07 105

原创 oracle相关网站

国内ORACLE相关站点Oracle中国公司 http://www.oracle.com/cn 提供最新的产品及服务介绍。中国Oracle用户组 http://www.cnoug.org/ ORACLE爱好者之家 http://www.oraclefan.net/ Jonson Huo 免费ORACLE入门 http://fengyu.china.com/ 余枫...

2011-11-14 12:41:29 199

原创 jQuery常用的元素查找方法总结

jQuery常用的元素查找方法总结$("#myELement") 选择id值等于myElement的元素，id值不能重复在文档中只能有一个id值是myElement所以得到的是唯一的元素 $("div") 选择所有的div标签元素，返回div元素数组 $(".myClass") 选择使用myClass类的css...

2011-07-20 11:13:09 80

原创 jquery 插件大全

http://51jsp.cn/html/javascriptkj/20100303/6734.html

2011-05-06 00:35:00 80

原创 Jquery ThickBox的使用

Jquery ThickBox的使用 thickbox是jQuery的一个插件，其作用是弹出对话框、网页框，使用户体验度更加愉悦，下面就来简单介绍它的几种用法。声明一下：这只是个人的总结记载而已。准备工作：你需要三个文件：thickbox.js、thickbox.css、jquery.js，网上到处可下具体使用：第一步：将这三个文件引入到你要使用thickbox的页面<!--&lt...

2011-05-06 00:10:31 90

原创 ibaitis 级联查询

使用iBatis开发已经有一年了，这一年来不管愿意不愿意，喜欢不喜欢，都得用，想用Hibernate不行。随着对iBatis的熟悉，渐渐发现初次接触的人因为不能很好的掌握iBatis使用的方法而对其有一些偏激的看法。 1、iBatis的是用来自由写SQL的，对SQL语句的简单的封装，相当于在JDBC上加了层外壳。我认为，iBatis的目标是简化JDBC的操作，对SQL的查询结...

2011-04-12 13:10:18 147