环境搭建
文章平均质量分 86
月亮与六便士丶
http://ihoge.cn
展开
-
免安装免配置 还免费的Spark 集群 --Databrickes Spark Clould
http://ihoge.cn/2018/Databrickes.html摘要:本文带你畅游Databrickes Spark Clould云服务。小白迅速上手大数据Spark开发环境,从此告别集群Bug的烦恼,彻底解放物理机负担让你随时随地想Run就Run��。目录:Databrickes是个啥?Databrickes注册Databrickes快速入门其他进阶神操作...原创 2018-04-16 09:45:10 · 5576 阅读 · 0 评论 -
使用aconda3-5.1.0(Python3.6.4) 搭建pyspark远程部署
参考:http://ihoge.cn/2018/anacondaPyspark.html前言首次安装的环境搭配是这样的: jdk8 hadoop2.6.5 spark2.1 scala2.12.4 Anaconda3-5.1.0 一连串的报错让人惊喜无限,尽管反复调整配置始终无法解决。 坑了一整天后最后最终发现是版本不兼容!!再次提醒自己一定要...原创 2018-04-14 00:56:27 · 3242 阅读 · 1 评论 -
hive集成spark和mysql
参考:http://ihoge.cn/2018/HiveSpark.html一、Hive安装1.Hive简介 Hive是Facebook开发的构建于Hadoop集群之上的数据仓库应用,可以将结构化的数据文件映射为一张数据库表,并提供完整的SQL查询功能,可以将SQL语句转换为MapReduce任务进行运行。 Hive是一个可以提供有效的、合理的且直观的组织和使用...原创 2018-04-14 00:58:27 · 1636 阅读 · 0 评论 -
《Pyflink》Flink集群安装,Python+Flink调研
Flink集群安装,Python+Flink调研Flink集群部署下载对应版本安装包:https://flink.apache.org/downloads.html实验环境为hadoop2.7, scala2.11 所以下载flink-1.7.1-bin-hadoop27-scala_2.11.tgz配置conf/flink-conf.yamljobmanager.rpc.add...翻译 2019-01-29 19:25:16 · 18402 阅读 · 9 评论