- 博客(5)
- 资源 (5)
- 收藏
- 关注
原创 hive数据导出
很多时候,我们在hive中执行select语句,希望将最终的结果保存到本地文件或者保存到hdfs系统中或者保存到一个新的表中,hive提供了方便的关键词,来实现上面所述的功能。1.将select的结果放到一个的的表格中(首先要用create table创建新的表格) insert overwrite table test select uid,name from test2;2.将
2010-02-09 12:38:00 9061 1
原创 hive数据导入
由于很多数据在hadoop平台,当从hadoop平台的数据迁移到hive目录下时,由于hive默认的分隔符是/u0001,为了平滑迁移,需要在创建表格时指定数据的分割符号,语法如下: create table test(uid string,name string)row format delimited fields terminated by /t;通过这种方式,完成分隔符的
2010-02-09 12:37:00 2885
原创 hive创建table时指定分隔符
由于很多数据在hadoop平台,当从hadoop平台的数据迁移到hive目录下时,由于hive默认的分隔符是/u0001,为了平滑迁移,需要在创建表格时指定数据的分割符号,语法如下: create table test(uid string,name string)row format delimited fields terminated by /t;通过这种方式,完成分隔符的
2010-02-08 21:42:00 45177 3
原创 hadoop 文件夹嵌套赋权限
hadoop fs -chmod [-R] URI [URI …]改变文件的权限。使用-R将使改变在目录结构下递归进行。命令的使用者必须是文件的所有者或者超级用户 注意其中的-R选项,通过这个参数,实现了文件夹的递归赋权限。
2010-02-08 18:47:00 3743
原创 hadoop文件复制命令
hadoop内置的distcp命令,采用map -reduce的方式对文件进行复制,对于大数据文件夹的复制,特别是文件夹的嵌套式很有效的。 不需要我们手工指定底层文件夹,即可完成复制。并且复制的结果文件与源文件文件名相同,不会出现part-*的文件的情况。 但是对于小数据文件,推荐使用hadoop内置的fs -cp命令,当hadoop比较拥挤的时候,启动一个map -re
2010-02-08 16:16:00 14787
programming.collective.intelligence.aug.2007.pd
2009-08-29
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人