- 博客(33)
- 资源 (2)
- 收藏
- 关注
RSS订阅原创 Hive 删除型DDL 失败
hive> alter table user_action drop partition(pt=200); FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask. MetaException(message:For direct MetaStore DB connections, we
2016-03-17 17:09:47
704
原创 hadoop hellokitty 单词统计
直接上代码 maven org.apache.hadoop hadoop-client 2.5.1 org.apache.hadoop hadoop-hdfs 2.5.1
2015-12-25 14:35:11
791
原创 使用sqoop导数据到hdfs 使用hive查询
纪念一下，之前几天想模拟公司将mysql中的数据导到数据平台的操作，看似很简单的操作，可能因为是版本问题出了很多少见的bug，google和stackover都没有解决，最后的安装成功的hadoop版本为2.6.3， HIve版本为1.2.1 sqoop版本为1.4.6，ubuntu14.04.接下去准备系统的学习下。加油！ 安装参考的教程http://wenku.baidu.com/link?
2015-12-25 00:41:07
1953
原创 hive 简单操作（1）
#创建表人信息表 person(String name,int age) hive> create table person(name STRING,age INT)ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t' ESCAPED BY '\\' STORED AS TEXTFILE; OK Time taken: 0.541 second
2015-12-18 11:32:38
727
原创 Hive介绍
Hive与Hadoop Hive是完全运行在hadoop之上的一个数据分析工具，可以看作是hadoop的一个自然延伸。具备强大的数据分析能力，在对标准SQL保持高度兼容的基础上，提供了大量增强功能和插件机制。 优点：非常成熟稳定，部署方便，语法类似sql，不必再写mapreduce程序，学习成本低，适合做ETL（来描述将数据从来源端经过抽取（extract）、转换（transform）、加载（
2015-12-15 16:14:18
581
原创 hadoop和hive的安装与初步使用
hadoop安装参考 http://www.powerxing.com/install-hadoop/ hive 安装配置参考 http://www.mincoder.com/article/5809.shtml http://blog.csdn.net/reesun/article/details/8556078 安装完成后
2015-12-15 15:52:21
1016
翻译 redis学习之 aof
AOF Redis 分别提供了 RDB 和 AOF 两种持久化机制： RDB 将数据库的快照（snapshot）以二进制的方式保存到磁盘中。AOF 则以协议文本的方式，将所有对数据库进行过写入的命令（及其参数）记录到 AOF 文件，以此达到记录数据库状态的目的。 server [label = "命令请求"]; server -> aof [ label = "网络协议格
2015-09-21 16:42:15
479
转载 Java命令行运行参数说明大全(偷来的)
ava在运行已编译完成的类时，是通过java虚拟机来装载和执行的，java虚拟机通过操作系统命令JAVA_HOME"bin"java –option 来启动，-option为虚拟机参数，JAVA_HOME为JDK安装路径，通过这些参数可对虚拟机的运行状态进行调整，掌握参数的含义可对虚拟机的运行模式有更深入理解。 一、 查看参数列表: 虚拟机参数分为基本和扩展两类，在命令行中
2015-09-18 13:16:19
557
原创 java.lang.ClassNotFoundException: org.springframework.web.context.ContextLoaderListener
用maven管理，已经导入了所有的spring libs和Apache Tomcat 7.0 library，但是启动时还是报这个错误。 解决方法： 将maven依赖添加到项目的web部署集。 1. 右键项目选择properties 2.选择 “Deployment Assembly” 3.点击 Add... button 4.选择 Java Build Pat
2015-09-11 18:35:14
448
原创 mysql索引
索引对查询的速度有着至关重要的影响，理解索引也是进行数据库性能调优的起点。考虑如下情况，假设数据库中一个表有10^6条记录，DBMS的页面大小为4K，并存储100条记录。如果没有索引，查询将对整个表进行扫描，最坏的情况下，如果所有数据页都不在内存，需要读取10^4个页面，如果这10^4个页面在磁盘上随机分布，需要进行10^4次I/O，假设磁盘每次I/O时间为10ms(忽略数据传输时间)，则总共需要
2015-08-25 10:58:26
598
转载 从输入 URL 到浏览器接收的过程中发生了什么事情？
写得很全面，有待进一步展开。。 从触屏到 CPU 首先是「输入 URL」，大部分人的第一反应会是键盘，不过为了与时俱进，这里将介绍触摸屏设备的交互。 触摸屏一种传感器，目前大多是基于电容(Capacitive)来实现的，以前都是直接覆盖在显示屏上的，不过最近出现了 3 种嵌入到显示屏中的技术，第一种是 iPhone 5 的 In-cell，它能减小了 0.5 毫米的厚度，第二种是
2015-08-18 16:06:13
2055
转载 数据库事务隔离级别与锁
原文地址：http://www.cnblogs.com/tqsummer/archive/2010/07/11/1775209.html 一、事务的4个基本特征 当事务处理系统创建事务时，将确保事务有某些特性。组件的开发者们假设事务的特性应该是一些不需要他们亲自管理的特性。这些特性称为ACID特性。 ACID就是：原子性(Atomicity )、一致性( Consistency
2015-08-13 00:55:57
605
原创 protostuff 序列化 list 不一致问题
在编写阿里中间件rpc题目代码时，序列化对象用到了ProtoStuff，出现了一个bug，解决方案：这是protostuff的一个bug，更换版本不起作用，换用了Kryo。 问题：对对象A序列化，A中含有B对象，B对象中包含一个List，初始化后含有一项rpc-list， 序列化后生成byte[],我定义为test 当对test进行反序列话后，却出现了两个rpc-list。 控制台输出的
2015-08-11 14:42:03
4091
原创 IO模型
1.异步与同步 区别在于有多个任务或事件发生时，事件的执行会不会导致整个流程的阻塞，异步任务并行执行。同步任务串行执行。 2阻塞与非阻塞 区别在于发出一个请求，在资源没有准备好的情况下，是否会等待或者返回一个标识信息。 阻塞就是比如你要获取某样资源，但是资源还没有准备好。你会一直等待下去，而非阻塞在资源没有准备好时，会立即返回。 3阻塞与非阻塞io 通常来说io操作包括硬盘读写，soc
2015-07-20 20:23:10
742
原创 正则表达式
在获取dotamax的直播数据时用到了正则表达式，在此记录一下。 正则表达式参考 String test="abcd"; Pattern pt=Pattern.compile("()(.*?)()"); Matcher mat=pt.matcher(test); while(mat.find()){ System.out.println(mat.group()); //输出完整的匹配
2015-07-19 20:43:38
463
原创 java虚拟机学习笔记 一
Java技术体系包括： 1.Java程序设计语言 2.各种硬件平台上的Java虚拟机 3.Class文件格式 4.Java API 类库 5.来自商业机构和开源社区的第三方Java类库 可以把1,2,4统称为JDK，是用于Java程序开发的最小环境。 可以吧Java API中的Java SE API和Java虚拟机统称为JRE，是支持Java程序运行的最小环境。 Java虚拟机发展
2015-07-19 09:22:37
594
转载 java单例模式的讨论
原文地址 点击打开链接 关于单例模式的文章，其实网上早就已经泛滥了。但一个小小的单例，里面却是有着许多的变化。网上的文章大多也是提到了其中的一个或几个点，很少有比较全面且脉络清晰的文章，于是，我便萌生了写这篇文章的念头。企图把这个单例说透，说深入。但愿我不会做的太差。 首先来看一个典型的实现： 1 10 public class SingletonOne { 11 12 1
2015-06-19 23:28:09
528
转载 javaWeb 开发超时设置
在Java Web开发中，Session为我们提供了很多方便，Session是由浏览器和服务器之间维护的。Session超时理解为：浏览器和服务器之间创建了一个Session，由于客户端长时间（休眠时间）没有与服务器交互，服务器将此Session销毁，客户端再一次与服务器交互时之前的Session就不存在了。 设置Session超时时间方式： 方式一： 在web.xml中
2015-06-18 20:13:06
2692
原创 mysql 自定义函数 case when
#字符串局部替换函数DELIMITER $$ CREATE FUNCTION replaceString(s VARCHAR(14),f VARCHAR(5),r VARCHAR(5)) RETURNS VARCHAR(14) BEGIN DECLARE findpos INT; DECLARE returnstring VARCHAR(14); SET findpos=INSTR(
2015-05-20 21:20:40
1656
转载 javascript apply call详解
如果没接触过动态语言,以编译型语言的思维方式去理解javaScript将会有种神奇而怪异的感觉,因为意识上往往不可能的事偏偏就发生了,甚至觉得不可理喻.如果在学JavaScript这自由而变幻无穷的语言过程中遇到这种感觉,那么就从现在形始,请放下的您的”偏见”,因为这对您来说绝对是一片新大陆,让JavaScrip 好,言归正传,先理解JavaScrtipt动态变换运行时上下文特性,这种特性主
2015-05-12 22:18:14
669
转载 QPS、PV 、RT（响应时间）之间的关系
在进行系统性能压测和系统性能优化的时候，会涉及到QPS,PV,RT相关的概念，本文总结一下QPS,PV,RT之间的关系，放在博客备忘，本文参考了之前在淘宝工作时候的一些资料。 QPS是什么？ QPS：单个进程每秒请求服务器的成功次数 QPS = req/sec = 请求数/秒 QPS如何统计？ QPS统计方式 [一般使用 http_load 进行统计] QPS = 总
2015-05-09 13:25:35
1009
转载 yii数据库存储对象DAO
Data Access Objects (DAO) 提供了一个通用的 API 以访问存储在不同 DBMS 中的数据. 这样,数据库改变时可以无需修改访问数据库的代码. Yii DAO 建立于 PHP Data Objects (PDO) ，它是一个为很多 DBMS 提供统一数据访问的扩展, 支持MySQL,PostgreSQL 等. 因此, 要使用 Yii DAO, PDO 扩展和指定的 P
2015-05-09 13:10:31
512
转载 Java的HashMap和HashTable
Java的HashMap和HashTable 1. HashMap 1) hashmap的数据结构 Hashmap是一个数组和链表的结合体（在数据结构称“链表散列“），如下图示： 当我们往hashmap中put元素的时候，先根据key的hash值得到这个元素在数组中的位置（即下标），然后就可以把这个元素放到对应的位置中了。如果这个元素所在的位子上已经存
2015-05-06 22:23:50
429
转载 mysql中的四种表分区
MySQL表的四种分区类型 一、什么是表分区 通俗地讲表分区是将一大表，根据条件分割成若干个小表。mysql5.1开始支持数据表分区了。 如：某用户表的记录超过了600万条，那么就可以根据入库日期将表分区，也可以根据所在地将表分区。当然也可根据其他的条件分区。 二、为什么要对表进行分区 为了改善大型表以及具有各种访问模式的表的可伸缩性，可管理性和提高数据库效率。 分区的一
2015-04-29 08:48:57
477
转载 php的cURL库介绍
PHP cURL post get init exec cookie https 作者：http://txw1958.cnblogs.com/ 地址： cURL 是一个利用URL语法规定来传输文件和数据的工具，支持很多协议，如HTTP、FTP、TELNET等。很多小偷程序都是使用这个函数。 最爽的是，PHP也支持 cURL 库。本文将介绍 cURL 的一些高级特性，以及在PHP中
2015-04-24 11:48:25
613
原创 vi命令
vi编辑器是所有Unix及Linux系统下标准的编辑器，它的强大不逊色于任何最新的文本编辑器，这里只是简单地介绍一下它的用法和一小部分指令。由于对Unix及Linux系统的任何版本，vi编辑器是完全相同的，因此您可以在其他任何介绍vi的地方进一步了解它。Vi也是Linux中最基本的文本编辑器，学会它后，您将在Linux的世界里畅行无阻。 1、vi的基本概念 基本上vi可以分为三种状态，
2015-04-24 11:15:12
397
原创 linux目录
~代表你的/home/用户明目录 假设你的用户名是x，那么~/就是/home/x/ .是代表此目录本身，但是一般可以不写 所以cd ~/. 和cd ~ 和cd ~/效果是一样的 但是.后面有东西又是另外一个问题，点在文件名头部，代表一个隐藏文件 ~/.local是你的主目录下一个.local的文件夹的路径，并且从.可以看出，这是一个饮藏文件，如果不用ls -a的话，一般ls是无法看到的
2015-04-21 22:28:34
701
转载 Yii中利用filters/accesRules来控制访问
Yii中利用filters来控制访问 filters()方法定义在CController里，用Gii生成Controller时里面就有filters方法，代码如下： public function filters() { // return the filter configuration for this controller, e.g.: return
2015-04-20 22:45:21
583
1原创 java静态代码快详解和初始化顺序
（一）java 静态代码块 静态方法区别 一般情况下,如果有些代码必须在项目启动的时候就执行的时候,需要使用静态代码块,这种代码是主动执行的;需要在项目启动的时候就初始化,在不创建对象的情况下,其他程序来调用的时候,需要使用静态方法,这种代码是被动执行的. 静态方法在类加载的时候 就已经加载 可以用类名直接调用 比如main方法就必须是静态的 这是程序入口 两者的区别就是:静态代码块是自动执
2014-07-21 12:18:53
1105
翻译 学习笔记 较全的php数组操作方法
一、数组操作的基本函数 数组的键名和值 array_values($arr);获得数组的值 array_keys($arr);获得数组的键名 array_flip($arr);数组中的值与键名互换（如果有重复前面的会被后面的覆盖） in_array("apple",$arr);在数组中检索apple array_search("apple",$arr);在数组中检索apple ，如果存
2014-07-19 10:20:13
680
转载 解析 this.initialize.apply(this, arguments)
一、 起因 那天用到prototype.js于是打开看看，才看几行就满头雾水，原因是对js的面向对象不是很熟悉，于是百度+google了一把，最后终于算小有收获，写此纪念一下^_^。 prototype.js代码片段 代码如下: var Class = { create: function() { return function() {
2014-07-08 14:10:15
482
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人