2014年01月_常飞梦

11月 10月 09月 08月 07月 05月 04月 03月 02月 01月

原创 hive学习笔记之-数据操作

1. 导入数据到管理表因为Hive不支持事务，所以没有行级别的insert,update,delete操作，仅支持使用加载的方式把数据导入到表中。 --加载数据到分区表的例子LOAD DATA LOCAL INPATH '${env:HOME}/california-employees'OVERWRITE INTOTABLE employeesPARTITION(count

2014-01-27 16:52:46 13543

原创 hive学习笔记之-数据定义

1. 数据库定义及操作--创建数据库hive(default)> SET hive.cli.print.current.db=false;hive> CREATEDATABASE financials; --创建库时加判断语句hive> CREATEDATABASE if not exists financials; --也可以使用关键字schames 代替data

2014-01-26 15:41:06 17197

翻译 Hive 并发模型

使用案例并发支持 (http://issues.apache.org/jira/browse/HIVE-1293) 是数据库的必须,而且他们的使用案例很好懂。至少，我们要尽可能支持并发读和写。添加几个发现当前已经锁定的锁，是有用的。这里没有一个直接的需求添加一个API显式获取锁，所以，所有锁都是隐式获取的。hive定义一下模式的锁(注意不需要意向锁)共享 (S)排他 (X)

2014-01-26 15:04:26 1981

原创 mysql示例employees数据库

ORACLE安装是附带安装employees数据，供练习sql使用。MySQL同样提供了employees数据库，但并未随数据库一起安装，其下载链接也极其隐蔽，可能导致许多人没注意到。下载地址：https://launchpad.net/test-db/employees-db-1/1.0.6 建议大家下载：employees_db-full-1.0.6.tar.bz2，解压缩，进入

2014-01-24 14:49:59 4101

原创 ERROR 1 (HY000): Can't create/write to file'/' (Errcode: 13)错误解决

错误现象：mysql> select 'sz',code,time,openprice,HighPrice,LowPrice,CurPrice,TotalAmount,LastClosePrice -> into outfile '/app/hadoop/data/stocks/sz000001.txt' -> fields terminated by ','

2014-01-24 14:07:24 15596

原创 hive学习笔记之-数据类型

数据类型Hive基本的数据类型： Hive集合数据类型：另外还有一个复合数据类型，可以综合上面的数据类型组合到一起。· union: UNIONTYPE 类型说明时间戳支持传统的unix时间戳,可选的纳秒级精度。支持的转换: l 整型数值类型：解读为以秒为单位的UNIX时

2014-01-23 14:14:21 17887

原创用Maven构建Hadoop项目

Hadoop的MapReduce环境是一个复杂的编程环境，所以我们要尽可能地简化构建MapReduce项目的过程。Maven是一个很不错的自动化项目构建工具，通过Maven来帮助我们从复杂的环境配置中解脱出来，从而标准化开发过程。所以，写MapReduce之前，让我们先花点时间把刀磨快！！当然，除了Maven还有其他的选择Gradle(推荐), Ivy等 1. Maven介绍Apach

2014-01-17 16:10:39 16391 5

原创 mapreduce实现推荐系统

1.开发环境：Windows2008 64bitJava 1.6.0_30MyEclipse 6.5环境部署见：http://blog.csdn.net/lichangzai/article/details/173105232.Hadoop集群环境：Oracle Linux Enterprise 5.9Java 1.6.0_18Hadoop:

2014-01-08 23:38:28 2921 1