- 博客(4626)
- 资源 (7)
- 收藏
- 关注
RSS订阅转载 Hadoop Hive sql语法详解3--DML 操作:元数据存储
hive增删改查与传统数据的区别是什么？hive不支持用insert语句一条一条的进行插入操作，也不支持update操作。数据是以load的方式加载到建立好的表中。数据一旦导入就不可以修改。DML包括：INSERT插入、UPDATE更新、DELETE删除•向数据表内加载文件•将查询结果插入到Hive表中•0.8新特性 insert into向数据
2016-10-26 11:43:51
958
转载 Hive 基础之：分区、桶、Sort Merge Bucket Join
Hive 已是目前业界最为通用、廉价的构建大数据时代数据仓库的解决方案了，虽然也有 Impala 等后起之秀，但目前从功能、稳定性等方面来说，Hive 的地位尚不可撼动。其实这篇博文主要是想聊聊 SMB join 的，Join 是整个 MR/Hive 最为核心的部分之一，是每个 Hadoop/Hive/DW RD 必须掌握的部分，之前也有几篇文章聊到过 MR/Hive 中的 joi
2016-10-26 11:40:20
1386
转载 Hadoop Hive sql语法详解2-修改表结构
hive同样也面对传统数据库的一些操作，那么hive1.如何增加分区、删除分区？2.如何重命名表?3.如何修改列的名字、类型、位置、注释?4.如何增加/更新列?5.如何增加表的元数据信息?表添加一列 ：hive> ALTER TABLE pokes ADD COLUMNS (new_col INT);复制代码添加一列并增加列字
2016-10-26 11:04:10
1263
转载 Hadoop Hive sql语法详解1-认识hive及DDL操作
hive或许我们有一个整体的认识，可以转换为mapreduce，那么具体是如何做的那？1.编写的mapreduce能否成为hive插件那？2.hive如何创建？3.hive是如何查询数据的？1.认识hive： Hive 是基于Hadoop 构建的一套数据仓库分析系统，它提供了丰富的SQL查询方式来分析存储在Hadoop 分布式文件系统中的数据，可以将结构化的数据
2016-10-26 10:25:43
1565
转载 hive实例讲解实现in和not in子句
目前hive不支持 in或not in 中包含查询子句的语法，所以只能通过left join实现。假设有一个登陆表login(当天登陆记录,只有一个uid),和一个用户注册表regusers(当天注册用户，字段只有一个uid)，这两个表都包含一个字段,uid。 in查询如果要查询当天登陆的注册用户，需要用in查询，hive sql如下:select logi
2016-10-26 10:22:13
3984
转载 Spring中你不知道的注入方式
摘要: 在实际的应用中，某个实例的属性值可以是某个方法的返回值，或者类的Field值，或者属性值，Spring同样支持这种非常规的注入方式。本文将逐一介绍。部分内容来自书籍。前言 在Spring配置文件中使用XML文件进行配置，实际上是让Spring执行了相应的代码，例如：使用元素，实际上是让Spring执行无参或有参构造器使用元素，实际上是让Spring
2016-10-25 18:43:04
838
转载 spymemcached和spring的整合
1.配置web.xml、applicationContext.xml和servletmvc.xml 2.Java后台代码 3.测试目录结构:1.配置web.xml、applicationContext.xml和servletmvc.xmlweb.xmlweb-app version="3.0" xmlns="http://java.sun.com/
2016-10-25 18:29:04
2551
转载 memcached client -- spymemcached使用
spymemcached是一个memcached的客户端http://code.google.com/p/spymemcached/ 测试代码如下：1.SpyMemcachedConstants[java] view plain copyimport java.util.concurrent.TimeUnit; pu
2016-10-25 18:24:32
2971
转载 spymemcached和xmemcached的性能对比
Memcached 客户端程序 Memcached的java客户端已经存在三种了： ? 官方提供的基于传统阻塞io由Greg Whalin维护的客户端 ? Dustin Sallings实现的基于java nio的Spymemcached ? XMemcached 1. 三种API比较 1) memcached
2016-10-25 18:22:51
4056
2
转载 MemCache超详细解读（一致性hash）
转载地址：http://www.cnblogs.com/xrq730/p/4948707.htmlMemCache是什么MemCache是一个自由、源码开放、高性能、分布式的分布式内存对象缓存系统，用于动态Web应用以减轻数据库的负载。它通过在内存中缓存数据和对象来减少读取数据库的次数，从而提高了网站访问的速度。MemCaChe是一个存储键值对的HashMap，在内存中对任意的数据
2016-10-25 18:19:31
4308
1
转载 使用Log4j2打印Mybatis SQL语句以及结果集
配置log4j2.xml实现用Log4j2来打印Mybatis的SQL很简单,先配置一个name为consolePrint的附加器,指定输出格式 然后在loggers下配置一个logger,name指向项目持久层接口的package,也就是和Mybatis配置文件对应的接口包,再定义输出方式就可以了
2016-10-25 18:02:23
16393
1
转载 Log4j2 JDBCAppender的使用
一.缘由最近打算重新整理一下项目的日志系统,将系统日志和业务日志区分开,然后采用文件或是数据库来存储日志,于是上网查了一下log4j的相关配置,并将系统日志写入了数据库,但是发生了一个bug:当写入的信息里存在单引号时,数据库就会报错ORA-00917: 缺失逗号查了一些资料,发现log4j已经很古老了,它对SQL基本没有做任何处理就执行存储操作,这样SQL里可能存在的一些特殊字符并没
2016-10-25 17:59:33
7039
转载 Log4j2记录日志到数据库(MySQL&MongoDB)
【摘要】 本文主要介绍Log4j2记录日志到MySQL和MongoDB数据库，用简单的例子来讲解，并解决了一些官方配置可能出现的错误。具体内容可参见官方文档：http://logging.apache.org/log4j/2.x/manual/appenders.html左侧导航栏的Appenders->JDBC和Appenders->NoSQL两项【引用】 L
2016-10-25 17:56:27
5278
转载 httpclient4.X 设置代理请求（包含账号密码）
最近需要使用Httpclient做后台请求，使用的是httpclient4.3版本，apache网站上有，我这里就不提供下载链接了，搜一下就可以了，废话少说，直接上代码：Java代码 import java.util.ArrayList; import java.util.List; import org.apache.http.HttpEntit
2016-10-25 17:09:40
10573
转载 HttpClient4.5.1简单封装
摘要: HttpClient的简单封装，主要是方便自己在开发小工具的时候是使用。1、maven依赖：dependency> groupId>org.apache.httpcomponentsgroupId> artifactId>httpclientartifactId> version>4.5.1version>dependency>dependency> group
2016-10-25 17:04:47
2743
转载 HttpClient4.x使用中出现的几个问题及解决方法
最近才开始接触这个工具包，官网上目前已经更新到HttpClient4.5.2了。google的时候看到HttpClient从4.0版本改了底层，因此使用时会出现一些方法不再适用的问题，这里记录出现的一些问题以及相应替代的方法。1、 创建HttpClient时使用下面的语句，会出现org.apache.http.impl.client.DefaultHttpClient' is deprec
2016-10-25 17:01:23
6224
转载 Memcached常用命令及使用说明
一、存储命令存储命令的格式：12<command name> <data block>参数说明如下：set/add/replace查找关键字客户机使用它存储关于键值对的额外信息
2016-10-25 15:59:32
1739
转载 Memcached的CAS机制的实现
转载自：http://1.simpcl.sinaapp.com/?p=1CAS，又称Compare-and-Swap，代表一种原子操作。Memcached的CAS机制解决的问题及其原理：1. 实现了Check-and-Set原子操作功能；2. 其使用方式为：首先使用gets指令一个key-value及key对应value的版本号；其次操作产生新的valu
2016-10-25 11:35:37
1803
转载 Memcache CAS协议介绍及使用
1.什么是CAS所谓CAS，check and set，在写操作时，先检查是否被别的线程修改过。基本原理非常简单，一言以蔽之，就是“版本号”。每个存储的数据对象，多有一个版本号。我们可以从下面的例子来理解：如果不采用CAS，则有如下的情景：第一步，A取出数据对象X；第二步，B取出数据对象X；第三步，B修改数据对象X，并将其放入缓存；第四步，A修改数据对象X，并将其放入缓
2016-10-25 11:30:21
2625
转载 Redis与Memcached的区别
转自：http://gnucto.blog.51cto.com/3391516/998509传统MySQL+ Memcached架构遇到的问题 实际MySQL是适合进行海量数据存储的，通过Memcached将热点数据加载到cache，加速访问，很多公司都曾经使用过这样的架构，但随着业务数据量的不断增加，和访问量的持续增长，我们遇到了很多问题： 1.MySQL需要不断
2016-10-25 10:59:48
1141
转载 IO多路复用
作者：罗志宇链接：https://www.zhihu.com/question/32163005/answer/55772739来源：知乎著作权归作者所有，转载请联系作者获得授权。这个还是很好说清楚的。假设你是一个机场的空管， 你需要管理到你机场的所有的航线， 包括进港，出港， 有些航班需要放到停机坪等待，有些航班需要去登机口接乘客。你会怎么做?最简单的
2016-10-24 16:32:34
1234
转载 Promise模式简介(Future) --- Java实现异步
Promise模式简介Promise模式是一种异步编程模式 。它使得我们可以先开始一个任务的执行，并得到一个用于获取该任务执行结果的凭据对象，而不必等待该任务执行完毕就可以继续执行其他操作。等到我们需要该任务的执行结果时，再调用凭据对象的相关方法来获取。这样就避免了不必要的等待，增加了系统的并发性。这好比我们去小吃店，同时点了鸭血粉丝汤和生煎包。当我们点餐付完款后，我们拿到手的其实只是一张
2016-10-24 15:26:28
2473
转载 java并发编程-Executor框架+Future
Executor框架是指java 5中引入的一系列并发库中与executor相关的一些功能类，其中包括线程池，Executor，Executors，ExecutorService，CompletionService，Future，Callable等。他们的关系为：并发编程的一种编程方式是把任务拆分为一些列的小任务，即Runnable，然后在提交给一个Executor执行，Execu
2016-10-24 15:11:59
1234
转载 利用Future异步获取多线程的返回结果
Future接口是Java标准API的一部分，在java.util.concurrent包中。Future接口是Java线程Future模式的实现，可以来进行异步计算。有了Future就可以进行三段式的编程了，1.启动多线程任务2.处理其他事3.收集多线程任务结果。从而实现了非阻塞的任务调用。在途中遇到一个问题，那就是虽然能异步获取结果，但是Future的结果需要通过isdone来判断是否有结
2016-10-24 14:46:57
17120
3
转载 [MySQL5.6] Percona Server 5.6.14的线程池浅析
摘要： Percona的线程池 基本上是从Mariadb中引入，其实现思路也比较简单，就是在线程调度器那增加了一组新的回调函数。线程池可以有效改善在大并发下的性能； Thread pool的原理在Percona的这篇博客描述的很生动；其实就是限制同时运行的线程数，让大家不要一起挤进来，有序运行负载。线程池...Percona的线程池 基本上是从Mariadb中引入，其实现思路也比较简单
2016-10-24 14:29:47
1758
转载 MySQL Thread pool 操作过程
Thread pool 操作过程：thread pool 包含一定数量的 thread groups，每个 groups 管理一定量的 client connections，当mysql建立 connection 时，thread pool 会以循环的方式（round-robin fashion）将其分配到其中的一个 thread groups 中。thread_poo
2016-10-24 14:14:26
1487
转载 MySQL MySql连接数与线程池
连接数1、 查看允许的最大并发连接数SHOW VARIABLES LIKE 'max_connections';MySql连接数与线程池" title="MySQL MySql连接数与线程池" style="margin:0px; padding:0px; border:0px; list-style:none"> 2、 修改最大连接数方
2016-10-24 14:09:24
944
转载 mariadb 5.5 threadpool 源码分析
本文集中讨论mariadb 5.5中线程池的基本原理和实现细节简单对比一下两种线程调度方案one_thread_per_connection每个连接在其生命周期内都是由server从thread cache中取出一个（如果有可用的话）或者创建一个线程来为其服务，之后这个线程或者被放到thread cache（和thread cache size有关）
2016-10-24 13:26:23
1045
转载 怎样理解阻塞非阻塞与同步异步的区别？
作者：严肃链接：https://www.zhihu.com/question/19732473/answer/20851256来源：知乎著作权归作者所有，转载请联系作者获得授权。“阻塞”与"非阻塞"与"同步"与“异步"不能简单的从字面理解，提供一个从分布式系统角度的回答。1.同步与异步同步和异步关注的是消息通信机制 (synchronous communication/
2016-10-24 12:12:57
2964
转载 线程与进程的区别以及对多线程并发的理解
转自：http://blog.sina.com.cn/s/blog_12f5264ff0102v8eq.htmlhttp://blog.csdn.net/suxinpingtao51/article/details/8113509http://blog.csdn.net/cqkxboy168/article/details/9026205/一、线程与进程的区别
2016-10-24 11:49:06
12193
1
转载 MySQL线程池(THREAD POOL)的原理
线程池是MySQL5.6企业版的一个核心功能，对于服务器应用而言，无论是web应用服务还是DB服务，高并发请求始终是一个绕不开的话题。应用发起一个对数据库的操作时，在整个应用中是一个不小的开销，从建立连接之初，CPU要给它划分一定的thread stack，然后进行用户身份认证，建立上下文信息，最后请求完成，关闭连接，同时释放资源，可以称的上是秒级的过程，当有大量请求并发访问时，一定伴随着资源的不
2016-10-24 11:26:23
9971
转载 实战：在Java Web 项目中使用HBase
在此之前我们使用Mysql作为数据源，但发现这数据增长速度太快，并且由于种种原因，因此必须使用HBase，所以我们要把Mysql表里面的数据迁移到HBase中，在这里我就不讲解、不争论为什么要使用HBase，HBase是什么了，喜欢的就认真看下去，总有些地方是有用的我们要做的3大步骤：新建HBase表格。把MYSQL数据迁移到HBase中。在Java Web
2016-10-24 11:04:08
5762
1
转载 Java操作Hbase进行建表、删表以及对数据进行增删改查，条件查询
1、搭建环境 新建JAVA项目，添加的包有: 有关Hadoop的hadoop-core-0.20.204.0.jar 有关Hbase的hbase-0.90.4.jar、hbase-0.90.4-tests.jar以及Hbase资源包中lib目录下的所有jar包 2、主要程序 package com.wujintao.hbas
2016-10-24 10:50:47
4394
转载 HBase总结-Java API 与HBase交互实例
http://blog.csdn.net/lifuxiangcaohui/article/details/39997391HBase提供了Java Api的访问接口，掌握这个就跟Java应用使用RDBMS时需要JDBC一样重要[html] view plain copy import java.io.IOExcepti
2016-10-24 10:41:29
5842
转载 LinkedHashMap
HashMap: put -> addEntry(新建一个Entry) get getEntry LinkedHashMap: put -> addEntry(重写) 新建一个Entry,然后将其加入header前 e.a
2016-10-24 10:36:25
822
转载 详解HBase架构原理及安装部署步骤
一、什么是HBase HBase 是一个高可靠、高性能、面向列、可伸缩的分布式存储系统，利用Hbase技术可在廉价PC Server上搭建 大规模结构化存储集群。 HBase 是Google Bigtable 的开源实现，与Google Bigtable 利用GFS作为其文件存储系统类似， HBase 利用Hadoop HDFS 作为其文件存储系统；Google 运行MapR
2016-10-22 21:51:14
958
转载 Java API 与Hbase集群交互常用操作总结
HBase 与 Hadoop 一样，都是用 Java 编写的，所以 HBase 对 java 支持是必需的，下面看看怎么使用java 语言对 HBase 进行操作。Java API 核心类总结如下： 1、 HBaseConfiguration 类 HBaseConfiguration 是每一个 HBase Client 都会使用到的对象，它代表 HBase 配置信息。有两种构造方
2016-10-22 21:38:16
3861
转载 可扩展Web架构与分布式系统(转)
1.1. web分布式系统的设计原则搭建和运营一个可伸缩的web站点或者应用程序意味着什么？在原始层面上这仅仅是用户通过互联网连接到远程资源-使系统变得可伸缩的部分是将资源、或者访问的资源，分布于多个服务器上。像生活中大多数事情一样，当构建一个web服务时花时间提前做好计划从长远看来还是很有帮助的；了解一些注意事项和大网站背后的权衡原则可以在创建小型网站时做出更明智的决定。以下是一些影响大...
2016-10-22 21:36:48
1095
转载 HBase设计与开发性能优化(转)
本文主要是从HBase应用程序设计与开发的角度，总结几种常用的性能优化方法。有关HBase系统配置级别的优化，这里涉及的不多，这部分可以参考：淘宝Ken Wu同学的博客。1. 表的设计1.1 Pre-Creating Regions默认情况下，在创建HBase表的时候会自动创建一个region分区，当导入数据的时候，所有的HBase客户端都向这一个region写数据，直到这个regio...
2016-10-22 21:35:55
793
转载 HBase配置性能调优(转)
因官方Book Performance Tuning部分章节没有按配置项进行索引，不能达到快速查阅的效果。所以我以配置项驱动，重新整理了原文，并补充一些自己的理解，如有错误，欢迎指正。配置优化zookeeper.session.timeout默认值：3分钟（180000ms）说明：RegionServer与Zookeeper间的连接超时时间。当超时时间到后，ReigonServer会被Z...
2016-10-22 21:34:55
1291
Zookeeper资源文件
2017-03-20
Zookeeper基础知识
2017-03-20
Zookeeper初识
2017-03-20
使用exe4j 制作java启动程序的 等候界面
2014-06-12
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人