- 博客(26)
- 收藏
- 关注
RSS订阅转载 Hive 动态partition插入数据
Hive的insert语句能够从查询语句中获取数据，并同时将数据Load到目标表中。现在假定有一个已有数据的表staged_employees（雇员信息全量表），所属国家cnty和所属州st是该表的两个属性，我们做个试验将该表中的数据查询出来插入到另一个表employees中。 INSERT...
2016-10-19 11:06:00
1601
转载 Thrift 协议栈
Thrift 协议栈 为了更好地理解Thrift的协议栈，推荐阅读Thrift的白皮书，以及Thrift Architecture阐述。 接下来的部分内容，直接来自于上述文档，下面将做简要地叙述Thrift Architecture Runtime Library 协议层(Proto...
2016-08-04 17:25:00
147
转载 高性能IO模型浅析
服务器端编程经常需要构造高性能的IO模型，常见的IO模型有四种： （1）同步阻塞IO（BlockingIO）：即传统的IO模型。 （2）同步非阻塞IO（Non-blockingIO）：默认创建的socket都是阻塞的，非阻塞IO要求socket被设置为NONBLOCK。注意这里所说的N...
2016-07-19 10:39:00
97
转载 Netty系列之Netty高性能之道
1. 背景 1.1. 惊人的性能数据 最近一个圈内朋友通过私信告诉我，通过使用Netty4 + Thrift压缩二进制编解码技术，他们实现了10W TPS（1K的复杂POJO对象）的跨节点远程服务调用。相比于传统基于Java序列化+BIO（同步阻塞IO）的通信框架，性能提升了8倍多。 ...
2016-07-19 10:17:00
111
转载 Jenkins搭建和使用
Jenkins Jenkins是一个广泛用于持续构建的可视化web工具，就是各种项目的的“自动化”编译、打包、分发部署等等。Jenkins可以支持多种语言（比如：java、c#、php等等），也兼容ant、maven、gradle等多种第三方构建工具，同时跟git、svn无缝集成，也支持直...
2016-07-07 16:58:00
234
转载 Spring MVC防重复提交
如何在Spring MVC里面解决此问题（其它框架也一样，逻辑一样，思想一样，和具体框架没什么关系）。要解决重复提交，有很多办法，比如说在提交完成后redirect一下，也可以用本文提到的使用token的方法（我不使用redirect是因为那样解决不了ajax提交数据或者移动应用提交数据，另一...
2016-06-16 11:12:00
57
转载 Maven pom.xml详解
maven pom.xml详解 <project xmlns="http://maven.apache.org/POM/4.0.0"xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"xsi:schemaLocation="h...
2016-06-03 11:18:00
94
转载 我们究竟什么时候可以使用Ehcache缓存
一、Ehcache是什么EhCache是Hibernate的二级缓存技术之一，可以把查询出来的数据存储在内存或者磁盘，节省下次同样查询语句再次查询数据库，大幅减轻数据库压力。二、Ehcache的使用场景是什么1、首先最主要就是页面缓存。网站页面的数据来源非常广泛的，大多数...
2016-05-10 23:34:00
76
转载 HBase过滤器API
简介 Hbase提供的专用过滤器直接继承自FilterBase，其中一些过滤器只能做行筛选，因此只适合于scan操作，对get操作这些过滤器限制的更苛刻：要么包含整行，要么什么都不包括。 过滤器 1. 单列值过滤器（SingleColumnValueFilter）：用一列的...
2016-05-09 23:05:00
112
转载 理解BlockingQueue
在Concurrent包中，BlockingQueue很好的解决了多线程中，如何高效安全“传输”数据的问题。通过这些高效并且线程安全的队列类，为我们快速搭建高质量的多线程程序带来极大的便利。 what isBlockingQueue 阻塞队列，顾名思义，首先它是一个队列...
2016-05-05 11:18:00
89
转载 RunTime.getRunTime().addShutdownHook用法
Runtime.getRuntime().addShutdownHook(shutdownHook); 这个方法的含义说明： 这个方法的意思就是在jvm中增加一个关闭的钩子，当jvm关闭的时候，会执行系统中已经设置的所有通过方法addShutdownHook添加的钩子，当系统执行...
2016-05-03 18:29:00
501
转载 HBase日常运维及优化指南
一，基本命令： 建表：create 'testtable','coulmn1','coulmn2' 也可以建表时加coulmn的属性如：create 'testtable',{NAME => 'coulmn1', BLOOMFILTER => 'NONE', ...
2016-04-18 13:54:00
290
转载 Storm集群安装
Storm安装 下载：wget http://mirrors.hust.edu.cn/apache/storm/apache-storm-0.9.4/apache-storm-0.9.4.tar.gz 解压：tar -zxvf apache-storm-0.9.4.tar.gz...
2016-04-16 21:27:00
94
转载 Linux程序启停脚本
Linux环境下，程序通用启动脚本 #!/bin/sh#shouldconfigfirstprog="programname"#like'kafka'exec_path="/home/hadoop/local/kafka"#like/home/hadoop...
2016-04-16 21:09:00
159
转载 Kafka集群及监控安装指南
kafka官网：http://kafka.apache.org/官方文档：http://kafka.apache.org/documentation.html#quickstart kafka集群安装下载：kafka_2.10-0.8.2.0.tar.gz 解压：...
2016-04-16 20:08:00
102
转载 大数据组件安装指南－目录
目录 通用启动脚本 kafka安装及监控 Storm安装 转载于:https://my.oschina.net/zyqjustin/blog/661201...
2016-04-16 20:02:00
123
转载 大数据分析平台构建实录
在数据分析中，有超过90%数据都是来自于非结构化数据，其中大部分的是日志，如运维、安全审计、用户访问数据以及业务数据等，但随着互联网快速的发展，数据规模也是水涨船高，从早前的GB级到现在的TB级，甚至PB级也只是短短几年光景。而移动互联网的时代到来，可以说每个人无时无刻不在产生数据，几乎成爆发...
2016-03-28 14:37:00
171
转载 Redis集群（三）
基于codis的redis集群环境 codis是豌豆荚开源的一个类似于twemproxy的redis代理程序，但是它解决了在使用twemproxy过程中遇到的一些问题，比如动态扩容的问题。Github地址：https://github.com/wandoulabs/codis 架构图...
2016-02-22 17:40:00
88
转载 Redis集群（二）
基于twemproxy的redis集群环境 twemproxy是一个twtter开源的一个redis和memcache代理服务器，只用于简单的代理中间件的程序。 支持失败的节点自动摘除，可以设置连接多少次之后删除该节点，这种方式仅可用于将redis当缓存用的时候。 所有的key...
2016-02-22 17:23:00
78
转载 Redis集群（一）
现状 目前我们使用的redis主要是部署在web00、web01两台机器上，一主一从。然后另外一些是各个业务方向根据自己的需要搭建的redis实例。单实例内存占用1.2G，40W左右的key。高峰时内存占用10.5G。 这样会存在一些问题： 两台机器一主一从redis，当mast...
2016-02-22 17:17:00
72
转载 Storm部署经验
1. storm强依赖于zookeeper， 要求zookeeper 能快速读写硬盘，建议zookeeper单独配置硬盘。 2. 增加zookeeper最大连接数，默认60，可以配置maxClientCnxns=500 3. nimbus 部署的机器，不建议部署supervisor 4....
2015-11-23 14:11:00
73
转载 Yarn shuffle OOM错误分析及解决
最近集群中一些任务经常在reduce端跑出Shuffle OOM的错误，具体错误如下： 2015-03-0916:19:13,646WARN[main]org.apache.hadoop.mapred.YarnChild:Exceptionrunningchild:or...
2015-09-01 16:32:00
150
转载 Storm里的Stream grouping
Stream grouping: Shuffle Grouping: 随机分组， 随机分发stream里的tuple，并保证每个bolt能接收到的tuple数目大致相等。 Fields Grouping: 字段分组， 比如按userid来分组， 具有相同userid的tuple...
2015-04-13 17:12:00
90
转载 [翻译]Strom Tutorial
本文只节选翻译storm Tutorial，之后会有讲demo的blog。如有错误，请不吝斧正。 Storm 组件 Storm集群表面上与hadoop集群类似。在hadoop集群上，你可以跑 mapreduce job，而在storm集群上你可以跑各种topology。...
2015-04-12 17:13:00
71
转载 解决Missing artifact jdk.tools:jdk.tools:jar
在maven添加如下配置<dependency> <groupId>jdk.tools</groupId> <artifactId>jdk.tools</artifactId> <version>1....
2015-03-27 17:43:00
55
转载 oschina maven库配置
配置setting.xml文件 添加如下内容 <mirrors><!--mirror|Specifiesarepositorymirrorsitetouseinsteadofagivenrepository.Ther...
2015-03-22 19:30:00
162
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人