大数据调试环境配置
RayBreslin
大数据开发、设计企业应用
展开
-
大数据调试环境配置(2):IDEA外部链接Hadoop调试环境配置以及部署jar包到服务器
一、目的 远程客户端编写MapReduce代码,并且配置环境进行调试。 二、环境 1.IDEA 2.JDK1.8 3.CDH 5.7.0 三、步骤 1.创建Maven项目 2.加载对应CDH需求依赖 <?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.apache.org/PO...原创 2019-04-13 10:27:52 · 770 阅读 · 0 评论 -
大数据调试环境配置(3):IDEA外部链接spark调试环境配置
一、目的 在远程电脑的windows系统上,部署远程spark代码开发环境,从而提升效率。 二、环境 1.CDH5.15.2 2.scala2.11.8 三、实现步骤 1.新建scala项目 (1)依据模板建立maven项目 (2)输入项目关键名称 (3)选择本地maven仓库对应配置文件settings.xml (4)填写项目名称,确认建立项目 (5)修改p...原创 2019-05-06 23:38:07 · 390 阅读 · 0 评论 -
大数据调试环境配置(1):外部链接HBase调试环境配置
一、目的 在开发过程中,不可避免需要在集群外部调试程序,以便快速开发,测试。 二、环境 1.IDEA 2.CDH 5.7.0(Hbase、HADOOP) 三、步骤 1.创建Maven项目 2.加载对应CDH需求依赖 <?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.apache...原创 2019-04-10 19:04:06 · 2119 阅读 · 1 评论 -
大数据调试环境配置(4):IDEA使用java api调试hive环境配置
一、目的 在开发过程中,不可避免需要在集群外部调试程序,以便快速开发,测试。 二、环境 1.IDEA 2.CDH 5.7.0(Hive、HADOOP) 三、步骤 1.创建Maven项目 2.加载对应CDH需求依赖 <?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.apache....原创 2019-06-11 00:23:04 · 1045 阅读 · 0 评论