![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Hadoop
文章平均质量分 66
小树csdn
Web全栈-Java系
展开
-
将oracle的数据导入到hive上进行查询统计分析类的工作
简介此文档完成的操作是:将oracle的数据导入到hive上进行查询统计类的工作Oracle数据导出使用PLSQL工具查询导出tsv文件。导出时使用‘#’来讲列拼接起来,用于hive表加载数据文件用 将文件上传至装了Hive的slave1服务器。连接hive数据仓库首先ssh登录到master服务器输入一下命令:(hive装在了slave1节点上所以注意连接jdbc连接字符串 服务器是slave1...原创 2018-02-11 16:56:12 · 1449 阅读 · 0 评论 -
hadoop源码阅读方法
下载源码 apache 下载地址: http://archive.apache.org/dist/(apache的东西在这个地址下都有,很方便) hadoop 1.1.2 下载 linux 版本 .tar.gz 文件 下载完成后,解压,进入src绑定 创建源码项目 eclipse新建 web project项目 因为hadoop有用到J2EE的包, 建立java pr原创 2018-01-31 15:10:49 · 3917 阅读 · 0 评论 -
通过查找源码来了解 Hadoop shell 命令
举例 hadoop fs -ls / 首先hadoop如何配置了环境变量那么在任何位置都可以使用 hadoop命令,否则需要到hadoop的bin目录下执行此命令。 看 hadoop 脚本中的代码 可以找到 fs 以上代码也就说明 当 执行 hadoop fs ** 时 回去执行 hadoop源码 org.apache.hadoop.原创 2018-02-02 10:06:44 · 428 阅读 · 0 评论 -
Sqoop导入导出MySQL、Oracle到HDFS、Hive
sqoop ##sqoop命令import ##表示导入--connect jdbc:mysql://ip:3306/test ##告诉jdbc,连接mysql的url--connect jdbc:oracle:thin:@ip:1521/test ##告诉jdbc,连接oracle的url--username root ##连接mysql的用户名 非本地连接时,此用户需要允许远程连接--pass...原创 2018-03-22 10:33:58 · 375 阅读 · 0 评论