- 博客(14)
- 收藏
- 关注
RSS订阅原创 MapReduce运行问题记录
1.只能本地运行具体问题通过hadoop jar的方式提交jar包，但是只能本地运行Local_job。解决方法hadoop部署包下/etc/hadoop/yarn.xml配置出错。缺少如下配置，添加即可。<property> <name>mapreduce.framework.name&am
2018-11-28 15:32:12
481
原创 SparkSQL操纵Hive（二）：环境部署
为了尝试SparkSQL操纵Hive，首先要进行一些环境上的部署。基本配置相关版本如下所示：系统：Ubuntu 16.04.5jdk: 1.8scala: 2.11.8spark: spark-2.2.0-bin-hadoop2.7hadoop: hadoop-2.7.3hive: apache-hive-2.2.0-binspark和hadoop按普通的安装方式即可。安装hi...
2018-11-28 15:30:03
505
原创 SparkSQL操纵Hive（一）：系统准备
安装Ubuntu 16.04 LTS虚拟机详细安装过程见《VMware 12 安装Ubuntu 16.04 (图文教程)》。此处是手动安装Ubuntu，而没有采用Vmware的简易安装方法。采样简易安装时，发现启动ssh时会失败，检查日志发现出现如下错误。Upstart: Failed to connect to socket /com/ubuntu/upstartFailed to st...
2018-11-28 15:29:47
259
原创 【SparkStreaming】Windows 10环境下 Kafka+SparkStreaming运行实例
运行环境1.环境部署1. 安装zookeepr2.安装Kafka2.Scala API 测试Producer和Consumer1.Maven依赖3.SparkStreaming实例1. Maven依赖2.代码运行环境os：Windows 10 zookeeper：zookeeper-3.4.6 kafka：kafka_2.11-1.1.0 sca...
2018-06-14 10:06:15
1447
1
原创 【Hadoop】Windows 10 在Intellij IEDA本地运行Hadoop MapReduce实例
环境： 操作系统：Windows 10 Hadoop版本：2.7.3 Java版本: 1.8前期准备：1. 配置hadoop环境。按【Windows部署Hadoop（无Cygwin）】的方法配置Hadoop环境。2. 配置maven环境。1.下载maven部署包apache-maven-3.5.3-bin.zip，解压到D:\envpath\apache-ma...
2018-06-09 11:05:54
4505
3
原创 Hive入门(四)：HQL查询语句（二）
joinmusic表M-0001,Valder Fields,S-0001,L-0001M-0002,A Step You Can't Take Back,S-0002,L-0002M-0003,For You,S-0003,L-0003M-0004,Life is like a Boat,S-0003,L-0003M-0004,Fake Song,<unknow>,&
2018-05-30 15:47:11
3485
原创 Hive入门(四)：HQL查询语句（一）
select查询显示表名查询所有列查询指定列并指定列别名查询集合数据类型列查询Array元素查询Map元素查询Struct元素查询计算列算数运算符运算函数数学函数聚合函数表生成函数Limit函数嵌套select 语句case语句where语句浮点数比较问题模糊匹配likerlikegroup byselect首先可...
2018-05-28 20:57:11
4964
1
原创 Hive入门(三)：HQL数据操作——数据装载与保存
装载数据本地有数据文件products.dat，内容如下。F-000212,Dali milk,2.0,food,ChinaF-002839,Ice cream,12.0,food,ChinaF-000233,Banana milk,5.0,food,ChinaE-001283,Water watch,399,electronics,ChinaE-230004,S007 Pho...
2018-05-22 17:08:27
2208
原创 Hive入门(二)：HQL数据定义
数据库操作创建数据库以下示例创建了一个mydb数据库。用dfs查看/user/hive/warehouse目录，可发现多出了一个mydb.db的文件夹。hive> create database if not exists mydb;OKTime taken: 1.178 secondshive&a
2018-05-21 20:32:00
1189
原创 Hive入门(一)：Hive Shell的基本操作
Hive入门(一)：Hive Shell的基本操作 总结Hive基本的命令行操作进入Hive部署包的bin目录，在命令行输入./hive启动hive cli。$ cd /user/home/apache-hive-2.2.0-bin/bin$ ./hive变量和属性 命名空间 使用权限 描述 hivevar 读/写 用户自定义变量...
2018-05-15 21:10:35
13615
原创 MySQL相关问题的解决方案
问题1：启动失败start: Job failed to start 执行service mysql start后出现该问题，mysql无法正常启动。解决方法：一开始用chmod 755 /etc/mysql/mycnf 来修改权限，但是不管用，随后用如下方法解决。1.查看/etc/mysql/my.cnf文件，找到如下设置：log_error = /var/log/mysql/error.log...
2018-05-10 22:39:05
260
原创 Windows部署Hadoop（无Cygwin）
记录一下Hadoop在Windows 10上的部署过程和一些小问题。环境版本java：jdk1.8.0_111Hadoop: hadoop-2.7.3配置Hadoop前需要配置java的环境，网上教程很多，在此不再详述。文件下载1.下载Hadoop的部署包（非src源码包）并解压。2.下载hadoop在windows上运行所需的bin包。2.7.3版本的hadoop可至如下链接下载。如果其他版本，...
2018-05-03 19:48:55
1332
原创 Spark 2.3.0操作MySQL
代码读取MySQL数据表转化为DataFrame包含三种方法：前两种方法通过spark.read()返回一个DataFrameReader，然后format("jdbc")，设定读取格式为jdbc，配置连接信息，最后通过load()加载DataFrame。两种不同方法不同在于配置信息的方式不同。后一种方法也通过spark.read()返回一个DataFrameReader，但直接通过jdbc()来...
2018-04-26 14:37:00
5585
2
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人