spark
二次元的罪恶王冠
这个作者很懒,什么都没留下…
展开
-
spark 读取 Oracle 以及 kafka 数据 ( GeoPoint 坐标数据类型 ) 做Join 并插入ES 【原创】
一、kafka 模拟数据:【1】模拟数据实体类:public class CarDataTest { private String lat; private String lon; private String location; private String status; private String terminaltype; --...原创 2019-11-06 19:53:45 · 788 阅读 · 0 评论 -
spark HA 模式搭建《加入hbase依赖》 (2018【改进红色字体】详细配置)《转载》
一、准备服务器环境1.1、服务器规划ZooKeeper ClusterHostIPzookeeper1192.168.50.228zookeeper2192.168.50.229zookeeper3192.168.50.230Spark HA ClusterHOSTIPMasterWorkernn1192.168.50.221YNnn2192.168.50.222YNdn1192.168.50.2...转载 2017-07-26 11:10:35 · 494 阅读 · 0 评论 -
SaprkSql 集成 hive 两种方式 (spark2.0+hive1.22 )
首先明确 sparkSQl 关联hive的时候 有多种交互方式:spark SQL 和 thrift【先说 thrift】在 $SPARK_HOEM/conf 中的 hive-site.xml中 要去设置以下参数:<property> <name>hive.metastore.uris</name> <value>th...原创 2017-05-12 16:12:53 · 2066 阅读 · 0 评论 -
idea调试远程spark服务器(2017.04图文,非转载)
我们在编写Spark Application或者是阅读源码的时候,我们很想知道代码的运行情况,比如参数设置的是否正确等等。用Logging方式来调试是一个可以选择的方式,但是,logging方式调试代码有很多的局限和不便。今天我就来介绍如何通过IDE来远程调试Spark的Application或者是Spark的源码。 本文以调试Spark Application为例进行说明,本文用到的IDE转载 2017-04-11 15:38:35 · 2894 阅读 · 0 评论 -
IDEA 打包 spark 程序 并在远程 hadoop HA 上运行测试
1. idea 安装创建 (略)2。创建 scala 的 Maven 项目 (略)3。导入maven 依赖 (重要)<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://ma...原创 2018-04-09 14:54:32 · 439 阅读 · 0 评论 -
IDEA windows10 远程调试 pyspark (windows IDEA 无法配置 Anaconda的环境变量)
【1】 windows 10 版本的 Anaconda3 安装 后 目录下是没有bin 目录的,(虽然网上很多帖子写到了要把 anaconda 下的 3个目录加入环境变量,如下图,但是 对于IDEA来说 ,没有一个管用! 也就是说是只能用 Anaconda 的自带编辑器去写东西)《也许是技术不够,不会配置的原因,实在感觉windows 不如 mac 来的方便》【2】在linux 安装A...原创 2018-06-22 12:18:12 · 951 阅读 · 0 评论