![](https://img-blog.csdnimg.cn/20201014180756757.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
hadoop
huntblack
这个作者很懒,什么都没留下…
展开
-
使用HADOOP API 操作HDFS文件系统踩坑及解决
采坑及解决思路版本介绍代码展示踩坑1踩坑2版本介绍TYPEASCIIHADOOP 版本3.2.1JAVA版本1.8编辑器IDEA开发是在window上使用IDEA, 连接腾讯云购买的云主机, 云主机安装了HADOOP的环境;代码展示package com.imooc.bigdata.hdfs;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.FileSyst原创 2020-08-22 15:42:39 · 814 阅读 · 0 评论 -
LATERAL VIEW explode 采坑, 遇到空的array/map不返回结果
LATERAL VIEW explode 说明: UDFArgumentException explode() takes an array or a map as a parameter, 主要是将array和map 打平;比如:有个test表,结构如下:ABC[“垂直频道优质网易号提权_实验组_1”,“mfv2替换实验_实验组_1”]1k1null2k2则select A_explode from test where B=1 lateral view e原创 2020-08-06 19:54:32 · 2483 阅读 · 0 评论 -
Hadoop 文件部分命令(文件行数)
欢迎使用Markdown编辑器写博客1.hdfs下载文件夹中多个文件hadoop fs -get /目录 目录结果是输出到本地的文件夹之中2.多个文件合并后输出到一个文件之中hadoop fs -getmerge filePath localPath/data.dat3.统计多个文件行数hadoop fs -cat /文件* | wc ...转载 2018-08-14 11:00:14 · 7650 阅读 · 0 评论 -
Hive 加载HDFS数据建表, 挂载分区遇到问题及解决方法
1.创建临时表:CREATE EXTERNAL TABLE IF NOT EXISTS tmp.tmp_tb_jinritoutiao_log (content string COMMENT 'json内容格式')COMMENT '今日头条视频内容'PARTITIONED BY (`day` string)STORED ASINPUTFORMAT 'com.hadoop....原创 2018-08-22 10:01:01 · 7456 阅读 · 0 评论 -
FAILED: ParseException line 3:7 character ' ' not supported here 错误
建表时候老报错: ParseException line 3:7 character ’ ’ not supported here 查了许久终于发现 (这里看不清楚,其实是个·), 在两个字符中间; 最终在有道Markdown编辑模式下找到问题: content和string之间有个·,sublime根本看不见!! done...原创 2018-08-24 11:10:59 · 14445 阅读 · 0 评论 -
HIve 建表, 导入HDFS路径文件; 遇到问题及解决策略
现有hdfs路径hadoop fs -du -h /user/portal/ODM/RECOMMEND/abc;路径下有每天分区139.1 M /user/portal/ODM/RECOMMEND/readAgentInfo/abc744.4 K /user/portal/ODM/RECOMMEND/readAgentInfo/abc.2018-12-041.1 M /user/...原创 2018-12-06 16:54:58 · 3343 阅读 · 0 评论 -
Hive - 将本地磁盘文件导入到Hive表
桌面有txt文件名为: words.txt上传至本地服务器: rz在Hive中建表create table tmp.words_counts (word string ) STORED AS TEXTFILE LOCATION '/user/portal/user/portal/tmp/sunlu1/words';将本地磁盘文件导入Hive表中:LOAD DATA LOCAL I...原创 2019-01-21 18:05:47 · 1993 阅读 · 0 评论