bigdata
文章平均质量分 92
weiiL
这个作者很懒,什么都没留下…
展开
-
Windows部署Hadoop(无Cygwin)
记录一下Hadoop在Windows 10上的部署过程和一些小问题。环境版本java:jdk1.8.0_111Hadoop: hadoop-2.7.3配置Hadoop前需要配置java的环境,网上教程很多,在此不再详述。文件下载1.下载Hadoop的部署包(非src源码包)并解压。2.下载hadoop在windows上运行所需的bin包。2.7.3版本的hadoop可至如下链接下载。如果其他版本,...原创 2018-05-03 19:48:55 · 1324 阅读 · 0 评论 -
SparkSQL操纵Hive(二):环境部署
为了尝试SparkSQL操纵Hive,首先要进行一些环境上的部署。基本配置相关版本如下所示:系统:Ubuntu 16.04.5jdk: 1.8scala: 2.11.8spark: spark-2.2.0-bin-hadoop2.7hadoop: hadoop-2.7.3hive: apache-hive-2.2.0-binspark和hadoop按普通的安装方式即可。安装hi...原创 2018-11-28 15:30:03 · 492 阅读 · 0 评论 -
SparkSQL操纵Hive(一):系统准备
安装Ubuntu 16.04 LTS虚拟机详细安装过程见《VMware 12 安装Ubuntu 16.04 (图文教程)》。此处是手动安装Ubuntu,而没有采用Vmware的简易安装方法。采样简易安装时,发现启动ssh时会失败,检查日志发现出现如下错误。Upstart: Failed to connect to socket /com/ubuntu/upstartFailed to st...原创 2018-11-28 15:29:47 · 247 阅读 · 0 评论 -
【Hadoop】Windows 10 在Intellij IEDA本地运行Hadoop MapReduce实例
环境: 操作系统:Windows 10 Hadoop版本:2.7.3 Java版本: 1.8前期准备:1. 配置hadoop环境。按【Windows部署Hadoop(无Cygwin)】的方法配置Hadoop环境。2. 配置maven环境。1.下载maven部署包apache-maven-3.5.3-bin.zip,解压到D:\envpath\apache-ma...原创 2018-06-09 11:05:54 · 4487 阅读 · 3 评论 -
【SparkStreaming】Windows 10环境下 Kafka+SparkStreaming运行实例
运行环境1.环境部署1. 安装zookeepr2.安装Kafka2.Scala API 测试Producer和Consumer1.Maven依赖3.SparkStreaming实例1. Maven依赖2.代码运行环境os:Windows 10 zookeeper:zookeeper-3.4.6 kafka:kafka_2.11-1.1.0 sca...原创 2018-06-14 10:06:15 · 1440 阅读 · 1 评论 -
Hive入门(四):HQL查询语句(二)
joinmusic表M-0001,Valder Fields,S-0001,L-0001M-0002,A Step You Can't Take Back,S-0002,L-0002M-0003,For You,S-0003,L-0003M-0004,Life is like a Boat,S-0003,L-0003M-0004,Fake Song,<unknow>,&原创 2018-05-30 15:47:11 · 3471 阅读 · 0 评论 -
Hive入门(四):HQL查询语句(一)
select查询显示表名查询所有列查询指定列并指定列别名查询集合数据类型列查询Array元素查询Map元素查询Struct元素查询计算列算数运算符运算函数数学函数聚合函数表生成函数Limit函数嵌套select 语句case语句where语句浮点数比较问题模糊匹配likerlikegroup byselect首先可...原创 2018-05-28 20:57:11 · 4944 阅读 · 1 评论 -
Hive入门(三):HQL数据操作——数据装载与保存
装载数据本地有数据文件products.dat,内容如下。F-000212,Dali milk,2.0,food,ChinaF-002839,Ice cream,12.0,food,ChinaF-000233,Banana milk,5.0,food,ChinaE-001283,Water watch,399,electronics,ChinaE-230004,S007 Pho...原创 2018-05-22 17:08:27 · 2192 阅读 · 0 评论 -
Hive入门(一):Hive Shell的基本操作
Hive入门(一):Hive Shell的基本操作 总结Hive基本的命令行操作进入Hive部署包的bin目录,在命令行输入./hive启动hive cli。$ cd /user/home/apache-hive-2.2.0-bin/bin$ ./hive变量和属性 命名空间 使用权限 描述 hivevar 读/写 用户自定义变量...原创 2018-05-15 21:10:35 · 13542 阅读 · 0 评论 -
Hive入门(二):HQL数据定义
数据库操作创建数据库以下示例创建了一个mydb数据库。用dfs查看/user/hive/warehouse目录,可发现多出了一个mydb.db的文件夹。hive> create database if not exists mydb;OKTime taken: 1.178 secondshive&a原创 2018-05-21 20:32:00 · 1181 阅读 · 0 评论 -
MapReduce运行问题记录
1.只能本地运行具体问题通过hadoop jar的方式提交jar包,但是只能本地运行Local_job。解决方法hadoop部署包下/etc/hadoop/yarn.xml配置出错。缺少如下配置,添加即可。<property> <name>mapreduce.framework.name&am原创 2018-11-28 15:32:12 · 468 阅读 · 0 评论