nucheima-CSDN博客

Hbase模型与框架分享(2)—Hbase简介

（1）定义： HBase ： Hadoop Database，是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统。利用HBase技术可在廉价PC Server上搭建起大规模结构化存储集群。（2）HBase是Google Bigtable的开源实现 BigTableHBase...

2014-12-16 21:44:02 289

Hbase模型与框架分享(1)—互联网思维

第一，用户思维“独孤九剑”第一招是总诀式，意思是第一招学不会，后面的招数就很难领悟。互联网思维也一样。互联网思维，第一个，也是最重要的，就是用户思维。用户思维，是互联网思维的核心。其他思维都是围绕用户思维在不同层面的展开。没有用户思维，也就谈不上其他思维。用户思维，是指在价值链各个环节中都要“以用户为中心”去考虑问题。以用户为中心，不是刚刚冒出来的概念，很多传统品牌厂商都在叫嚷着“以...

2014-12-16 21:35:54 757

sqoop1.4.5的安装

1.下载安装包及解压 sqoop-1.4.5.bin__hadoop-1.0.0.tar.gz 2.配置环境变量和配置文件cd %SQOOP_HOME%cp conf/sqoop-env-template.sh /conf/sqoop-env.sh在sqoop-env.sh中添加如下代码：export HADOOP_COMMON_HOME=/home/ha...

2014-11-27 09:14:38 253

hive学习总结系列—目录导航

hive学习总结(1)—Hive几种数据导入方式hive学习总结(2)—Hive几种导出数据方式hive学习总结(3)—从文件中加载执行语句hive学习总结(4)—hive中所有joinhive学习总结(5)—分区、分桶和索引hive学习总结(6)—hive参数设置方法hive学习总结(7)—hive性能调优hive学习总结(8)—hive注意点hive学习总结...

2014-11-25 23:06:50 649

hive学习总结(9)—数据库创建、表创建、加载数据

--创建数据库create database if not exists sopdmcomment ‘this is test database’with dbproperties(‘creator’=’gxw’,’date’=’2014-11-12’) --数据库键值对属性信息location ‘/my/preferred/directory’; --查...

2014-11-25 23:00:24 400

hive学习总结(8)—hive注意点

--自动补全功能：tab键 --可以把“设置系统属性变量，增加hadoop分布式内存，自定义hive扩展的jar包”放在“$HOME/.hiverc”文件中 --在hive的CLI中执行bash shell命令,只要在命令前加上!，并且以分号(;)结尾就可以! /bin/echo “what up dog”; --在hive中使用hadoop的dfs...

2014-11-24 19:41:04 279

hive学习总结(7)—hive性能调优

limit限制调整--因为使用limit语句时候，是先执行整个查询语句，然后再返回部分结果的set hive.limit.optimize.enable=true;set hive.limit.row.max.size=10000;set hive.limit.optimize.limit.file=10; 2.JOIN优化。。。 3. 本地模式--h...

2014-11-24 19:35:31 962

hive学习总结(6)—hive参数设置方法

1. 参数声明：在hive的CTL环境中设置（临时）比如：set hive.fetch.task.conversion=more; 2.命令行设置：使用hadoop命令设置（临时）hive --hiveconf hive.fetch.task.conversion=more; 3.配置文件：--${HIVE_HOME}/conf/hive-site.xml里面加入以下配...

2014-11-23 00:29:06 337

hive学习总结(5)—分区、分桶和索引

1.分区分区是以字段的形式在表结构中存在，通过describe table命令可以查看到字段存在，但是该字段不存放实际的数据内容，仅仅是分区的表示（伪列）。（1）静态分区create table if not exists sopdm.wyp2(id int,name string,tel string)partitioned by(age int)row fo...

2014-11-23 00:27:08 382

hive学习总结(4)—hive中所有join

1. 内连接：inner join --join优化：在进行join的时候，大表放在最后面 --但是使用 /*+streamtable(大表名称)*/ 来标记大表，那么大表放在什么位置都行了 select /*+streamtable(s)*/ s.ymd,d.dividend from stocks s inner join dividends d on s...

2014-11-21 11:26:35 839

hive学习总结(3)—从文件中加载执行语句

1. 从文件中执行hql语句 hive -f test.hql; 2. 在hive shell中使用source执行脚本 source test.hql; 注：hive执行语句的文件通常使用.hql或.q为后缀名，但不是必须的。...

2014-11-21 11:18:24 282

hive学习总结(2)—Hive几种导出数据方式

1.拷贝文件如果数据文件恰好是用户需要的格式，那么只需要拷贝文件或文件夹就可以。hadoop fs –cp source_path target_path 2.导出到本地文件系统 --不能使用insert into local directory来导出数据，会报错--只能使用insert overwrite local directory来导出数据...

2014-11-20 15:04:51 528

hive学习总结(1)—Hive几种数据导入方式

1.从本地文件系统中导入数据到hive表（1）数据准备（/home/sopdm/test.dat）： 1,wyp,25,13188888888 2,test,30,13899999999 3,zs,34,89931412 （2）首先创建表use sopdm;drop table if exists sopdm.wyp;create tabl...

2014-11-20 14:56:53 813

StringUtils工具类的常用方法

StringUtils工具类的常用方法StringUtils 方法的操作对象是 java.lang.String 类型的对象，是 JDK 提供的 String 类型操作方法的补充，并且是 null 安全的(即如果输入参数 String为 null 则不会抛出 NullPointerException ，而是做了相应处理，例如，如果输入为 null 则返回也是 null 等，具体可以查看源代...

2014-08-22 16:45:41 153

原创 DB2的Sequence 对象(2)

1、create CREATE SEQUENCE <sequence-name> AS data-type 默认 As Integer START WITH <numeric-constant> INCREMENT BY...

2014-08-22 16:37:27 234

DB2的Sequence 对象(1)

数字生成问题过去的许多应用程序都需要能够生成序号（例如获取下一个可用的帐号）。问题是该工作通常是通过用单个控制表存储这些数字，然后用可重复读（Repeatable Read）的 SELECT MAX 在随后的 INSERT 中检索并使用该数字来完成的。常常有多个事务需要使用该表，而这就导致了应用程序中无法解决的单点竞争。这是由于每次只有一个事务可以检索下一值，因为事务必须锁定该表以使数...

2014-07-10 15:13:35 320

jQuery load()方法用法总结

调用load方法的完整格式是：load( url, [data], [callback] ),其中url：是指要导入文件的地址。data：可选参数；因为Load不仅仅可以导入静态的html文件，还可以导入动态脚本，例如PHP文件，所以要导入的是动态文件时，我们可以把要传递的参数放在这里。callback：可选参数；是指调用load方法并得到服务器响应后，再执行的另外一个函数。...

2014-07-10 10:47:46 303

Tomcat内存溢出总结(2)

如果JVM里运行的程序, 它的内存堆和持久存储区域的都满了，这个时候程序还想创建对象实例的话，垃圾收集器就会启动，试图释放足够的内存来创建这个对象。这个时候如果垃圾收集器没有能力释放出足够的内存，它就会抛出OutOfMemoryError内存溢出错误。 SUN JVM的内存管理方式：　　SUN的JVM是类似人类家族，也就是在一个地方创建对象，在它长期占据空间之前给它多次死亡的机会，SUN...

2014-07-07 23:14:04 170

Tomcat内存溢出总结(1)

对于新接触tomcat的人来说，可能在开发过程中会遇到内存溢出的问题，下面来个总结：　　OutOfMemory 常见错误有以下几种：　　1.tomcat:java.lang.OutOfMemoryError: PermGen space　　2.tomcat:java.lang.OutOfMemoryError: Java heap space　　3.weblogic:Root ...

2014-07-07 23:10:38 153

Fiddler系列（2）——FiddlerHook配置

The FiddlerHook Firefox add-on points Firefox at Fiddler, avoiding the need for manual configuration or restarting Firefox.Enable FiddlerHookIn most cases, the FiddlerHook Firefox add-on should ...

2014-06-18 12:41:33 1362

Fiddler系列（1）——Fiddler教程

Fiddler是最强大最好用的Web调试工具之一，它能记录所有客户端和服务器的http和https请求，允许你监视，设置断点，甚至修改输入输出数据. 使用Fiddler无论对开发还是测试来说，都有很大的帮助。阅读目录Fiddler的基本介绍Fiddler的工作原理同类的其它工具Fiddler如何捕获Firefox的会话Firefox 中使用Fiddler插件...

2014-06-18 12:38:03 216

Web前端开发和JS面向对象编程分享

Web前端开发和JS面向对象编程分享一、前端开发的重要性1. Web2.0、AJAX、JSON、用户体验2. HTML5、微网、移动互联网3. 前端MVC框架：Backbone.js4. 服务器端Javascript：Node.js5. Node.js + Jquery Mobile + HTML5 、CSS3 + MongDB...

2014-06-09 12:56:05 275

Firebug系列(2)--Firebug控制台详解

控制台（Console）是Firebug的第一个面板，也是最重要的面板，主要作用是显示网页加载过程中产生各类信息。一、显示信息的命令Firebug内置一个console对象，提供5种方法，用来显示信息。最简单的方法是console.log()，可以用来取代alert()或document.write()。比如，在网页脚本中使用console.log("Hello World")，...

2014-06-08 20:27:05 164

Firebug系列(1)--Firebug入门指南

目录一、安装Firebug二、打开和关闭Firebug三、Firebug窗口概览四、随时编辑页面五、用Firebug处理CSS六、盒状模型七、评估下载速度八、DOM九、Javascript调试十、AJAX十一、附注一、安装FirebugFirebug在Firefox浏览器中运行。另外有一个Firebug lite版本，可以通过javascript调用，包含在页面中，从而在...

2014-06-08 20:23:04 164

texterea在各大浏览器中用jquery取值和赋值问题总结

测试浏览器：IETester、IE、Firefox、Chrome、Opera和Safari，五大主流浏览器。场景一：从textarea中取值，不经过数据库，直接存到另外一个textarea中。 (对于从textarea中取值，放在div中不在讨论范围之内) 解决办法： <textarea id="mytextarea1"></textar...

2014-05-07 22:07:58 338

Spring学习细节(1)——org.springframework.web.context.ContextLoaderListener

ContextLoaderListener的作用就是启动Web容器时，自动装配ApplicationContext的配置信息。因为它实现了 ServletContextListener这个接口，在web.xml配置这个监听器，启动容器时，就会默认执行它实现的方法。至于 ApplicationContext.xml这个配置文件部署在哪，如何配置多个xml文件，书上都没怎么详细说明。现在的...

2014-05-06 10:46:06 115

Hadoop家族安装系列(4)——pig0.12安装

在Hadoop1.2.1分布式集群环境下安装pig0.12 ● 前言：1. 大家最好通读一遍过后，在理解的基础上再按照步骤搭建。2. 之前写过几篇文章是关于Hadoop家族安装系列的，后续还会有其它内容，敬请期待！3. 好记性不如烂笔头，最近突然想把自己学习的东西整理出来，一则服务大众，二则以后好查阅。由于水平有限，难免有错误，请多谅解并指正，如有什么问题可以留言咨询。一...

2014-03-09 11:31:16 186

原创 Hadoop家族安装系列(3)——hive0.12安装

在Hadoop1.2.1分布式集群环境下安装hive0.12 ● 前言：1. 大家最好通读一遍过后，在理解的基础上再按照步骤搭建。2. 之前写过两篇<<在VMware下安装Ubuntu并部署Hadoop1.2.1分布式环境>>、《在Hadoop1.2.1分布式集群环境下安装Mahout0.9框架》都是Hadoop家族一系列的，后续还会有其它内容，敬请期待！...

2014-03-08 22:30:03 218

Hadoop家族安装系列(2)——安装Mahout0.9框架

在Hadoop1.2.1分布式集群环境下安装Mahout0.9框架友情提醒：大家最好通读一遍过后，在理解的基础上按照步骤一步一步设置，因为后面的会对前面的有所启示。一、前提条件Hadoop1.2.1分布式集群环境搭建成功，并且Hadoop集群服务器正常运行。二、所需环境和软件1. Hadoop分布式集群环境：见《在VMware下安装Ubuntu并部署Hadoop1....

2014-03-07 19:21:29 207

原创 Hadoop家族安装系列(1)——Hadoop1.2.1分布式安装

在VMware下安装Ubuntu并部署Hadoop1.2.1分布式环境友情提醒：大家最好通读一遍过后，在理解的基础上安装步骤一步一步设置，因为后面的步骤会对前面的步骤有所启示。一、所需环境与软件1. 操作系统：Windows 7 64位、Windows 8 64位2. 内存：4G以上3. VMware Workstation 10：VMware-workstation...

2014-03-07 11:54:48 183

原创 Hadoop技术内幕_深入解析Hadoop Common和HDFS架构设计与实现原理——读书笔记(2)

第2章 Hadoop配置信息处理2.1 配置文件简介 1. windows 操作系统的配置文件：后缀为 ini java解析 ini 配置文件第三方API有： (1) JCom包：下载JCom-2.2.0-1.jar (2) Apache Commons 工具集：下载commons-configuration-1.1...

2014-01-24 12:50:58 248

原创 Hadoop技术内幕_深入解析Hadoop Common和HDFS架构设计与实现原理——读书笔记(1)

第1章源代码环境准备 1.1 Hadoop生态系统 (a). Hadoop Common：为Hadoop的其它项目提供一些常用工具，主要包括系统配置工具Configuration、远程过程调用RPC、序列化机制和Hadoop抽象文件系统FieSystem等。 (b). Avro：是一个数据序列化系统。可以将数据结构或者对象转换成便...

2014-01-24 09:51:19 342

css样式归纳(四) ——之css hack

css hack - 基本解释点击查看大图什么是CSS hack由于不同的浏览器，比如Internet Explorer 6, Internet Explorer 7 ,Mozilla Firefox等，对CSS的解析认识不一样，因此会导致生成的页面效果不一样，得不到我们所需要的页面效果。这个时候我们就需要针对不同的浏览器去写不同的CS...

2012-05-18 14:59:23 109

css样式归纳(三)——之样式布局

一、如何设定文字字体、颜色、大小 — 使用font　　font-style设定斜体，比如font-style: italic;　　font-weight设定文字粗细，比如font-weight: bold;　　font-size设定文字大小，比如font-size: 12px;(或者9pt，不同单位显示问题参考CSS手册)　　line-height设定行距，比如line-he...

2012-05-17 23:00:16 152

css样式归纳(二)——之总结

1、选择器声明选择器集体声明用逗号隔开（例如：h1,h2,p,#one{}）；全局声明用*；选择器嵌套用空格隔开（例如：p b{}意思是p下的b样式，.mycss li{}意思是class值是mycss下的li，#idcss li{}意思是id的值是idcss里面的li）注意：p.mycss和p mycss的区别，一个是p中class值为mycss，最后的是p包含的元素中class...

2012-05-17 22:26:35 157

css样式归纳(一)——之常见特效

1、只有下划线的文本框：<input style="border:0;border-bottom:1 solid black;background:;"> 2、软件序列号式的输入框：<script for="T" event="onkeyup">if(value.length==3)document.all[event.srcElement.sou...

2012-05-17 22:08:18 249

2012年Web设计和开发的15个趋势

CraigGrannell访问了行业的精英们关于2012年Web设计和开发的趋势。 2012看来注定是有趣的一年。经济的下滑继续广泛地打击行业，看不到结束的尽头。政府极力审查网络，否认公民的基本权利，支撑摇摇欲坠的媒体公司。对网页设计和开发，2012还是比较混乱的一年。我们处于很多小矛盾当中：移动贪婪地占领市场份额；原生App威胁开放的互联网；收费墙阻碍曾经免...

2012-05-10 09:21:40 255

windows任务定时重启tomcat

注：以下批处理是针对tomcat安装版，或者在windows服务中有tomcat服务的解决方案。定时重启TOMCAT批处理命令:@echo off net stop tomcat6ping 127.0.0.1 -n 20 net start tomcat6（注：这里的tomcat6根据tomcat在安装时的服务名确定，如tomcat...

2012-05-09 14:24:21 706

深入Struts2的配置文件

本部分主要介绍struts.xml的常用配置。1.1. 包配置：Struts2框架中核心组件就是Action、拦截器等，Struts2框架使用包来管理Action和拦截器等。每个包就是多个Action、多个拦截器、多个拦截器引用的集合。在struts.xml文件中package元素用于定义包配置，每个package元素定义了一个包配置。它的常用属性有：...

2012-05-08 09:33:49 102

There is no Action mapped for action name *的解决方案

使用myeclipse+tomcat6开发struts2项目已经习惯的程序员，可能在使用eclipse+tomcat6开发strtus2项目时候，可能会遇到一些问题。比如会出现“There is no Action mapped for action name *这样的异常，其原因是：struts.xml文件不在WEB-INF/classes下面（虽然你把struts.xml文件放...

2012-05-06 23:59:25 1403