![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
hadoop
文章平均质量分 93
weiiL
这个作者很懒,什么都没留下…
展开
-
Windows部署Hadoop(无Cygwin)
记录一下Hadoop在Windows 10上的部署过程和一些小问题。环境版本java:jdk1.8.0_111Hadoop: hadoop-2.7.3配置Hadoop前需要配置java的环境,网上教程很多,在此不再详述。文件下载1.下载Hadoop的部署包(非src源码包)并解压。2.下载hadoop在windows上运行所需的bin包。2.7.3版本的hadoop可至如下链接下载。如果其他版本,...原创 2018-05-03 19:48:55 · 1327 阅读 · 0 评论 -
Hive入门(二):HQL数据定义
数据库操作创建数据库以下示例创建了一个mydb数据库。用dfs查看/user/hive/warehouse目录,可发现多出了一个mydb.db的文件夹。hive> create database if not exists mydb;OKTime taken: 1.178 secondshive&a原创 2018-05-21 20:32:00 · 1186 阅读 · 0 评论 -
Hive入门(一):Hive Shell的基本操作
Hive入门(一):Hive Shell的基本操作 总结Hive基本的命令行操作进入Hive部署包的bin目录,在命令行输入./hive启动hive cli。$ cd /user/home/apache-hive-2.2.0-bin/bin$ ./hive变量和属性 命名空间 使用权限 描述 hivevar 读/写 用户自定义变量...原创 2018-05-15 21:10:35 · 13570 阅读 · 0 评论 -
Hive入门(三):HQL数据操作——数据装载与保存
装载数据本地有数据文件products.dat,内容如下。F-000212,Dali milk,2.0,food,ChinaF-002839,Ice cream,12.0,food,ChinaF-000233,Banana milk,5.0,food,ChinaE-001283,Water watch,399,electronics,ChinaE-230004,S007 Pho...原创 2018-05-22 17:08:27 · 2201 阅读 · 0 评论 -
Hive入门(四):HQL查询语句(一)
select查询显示表名查询所有列查询指定列并指定列别名查询集合数据类型列查询Array元素查询Map元素查询Struct元素查询计算列算数运算符运算函数数学函数聚合函数表生成函数Limit函数嵌套select 语句case语句where语句浮点数比较问题模糊匹配likerlikegroup byselect首先可...原创 2018-05-28 20:57:11 · 4955 阅读 · 1 评论 -
Hive入门(四):HQL查询语句(二)
joinmusic表M-0001,Valder Fields,S-0001,L-0001M-0002,A Step You Can't Take Back,S-0002,L-0002M-0003,For You,S-0003,L-0003M-0004,Life is like a Boat,S-0003,L-0003M-0004,Fake Song,<unknow>,&原创 2018-05-30 15:47:11 · 3475 阅读 · 0 评论 -
【Hadoop】Windows 10 在Intellij IEDA本地运行Hadoop MapReduce实例
环境: 操作系统:Windows 10 Hadoop版本:2.7.3 Java版本: 1.8前期准备:1. 配置hadoop环境。按【Windows部署Hadoop(无Cygwin)】的方法配置Hadoop环境。2. 配置maven环境。1.下载maven部署包apache-maven-3.5.3-bin.zip,解压到D:\envpath\apache-ma...原创 2018-06-09 11:05:54 · 4494 阅读 · 3 评论 -
MapReduce运行问题记录
1.只能本地运行具体问题通过hadoop jar的方式提交jar包,但是只能本地运行Local_job。解决方法hadoop部署包下/etc/hadoop/yarn.xml配置出错。缺少如下配置,添加即可。<property> <name>mapreduce.framework.name&am原创 2018-11-28 15:32:12 · 477 阅读 · 0 评论