Hadoop
文章平均质量分 91
gisxy
Work Hard,Play Hard
展开
-
Hadoop大数据框架研究(1)——基础环境准备
近期对hadoop生态的大数据框架进行了实际的部署测试,并结合ArcGIS平台的矢量大数据分析产品进行空间数据挖掘分析。本系列博客将进行详细的梳理、归纳和总结,以便相互交流学习。测试环境及软件版本: 操作系统(虚拟机环境):CentOS-7-x86_64-DVD-1511 JDK:jdk-8u151-linux-x64.tar.gz Hado...原创 2018-02-22 10:47:11 · 541 阅读 · 0 评论 -
Hadoop大数据框架研究(5)——ArcGIS Enterprise(Linux)之GeoAnalyticsServer的集群环境部署
近期对hadoop生态的大数据框架进行了实际的部署测试,并结合ArcGIS平台的矢量大数据分析产品进行空间数据挖掘分析。本系列博客将进行详细的梳理、归纳和总结,以便相互交流学习。 ArcGIS Enterprise (V10.5)作为新一代ArcGIS服务器端产品,包含了Datastore、Server、Portal、WebAdaptor四个基本组件。其部署模式可以根据不...原创 2018-03-16 14:44:05 · 3137 阅读 · 8 评论 -
Hadoop大数据框架研究(3)——Spark的HA高可用性集群环境部署
近期对hadoop生态的大数据框架进行了实际的部署测试,并结合ArcGIS平台的矢量大数据分析产品进行空间数据挖掘分析。本系列博客将进行详细的梳理、归纳和总结,以便相互交流学习。A. Scala下载及配置1.scala-2.11.11.tgz下载:https://www.scala-lang.org/download/2.11.11.html2.传递scala到/home/hadoo...原创 2018-02-23 14:01:10 · 1887 阅读 · 0 评论 -
Hadoop大数据框架研究(2)——Hadoop的HA高可用性集群环境部署
近期对hadoop生态的大数据框架进行了实际的部署测试,并结合ArcGIS平台的矢量大数据分析产品进行空间数据挖掘分析。本系列博客将进行详细的梳理、归纳和总结,以便相互交流学习。A. 部署规划及节点功能:192.168.10.100-node1.gisxy.com、192.168.10.101-node2.gisxy.com、192.168.10.102-node3.gisxy.com...原创 2018-02-23 16:24:43 · 1270 阅读 · 0 评论 -
Hadoop大数据框架研究(6)——Hadoop环境部署问题汇总
近期对hadoop生态的大数据框架进行了实际的部署测试,并结合ArcGIS平台的矢量大数据分析产品进行空间数据挖掘分析。本系列博客将进行详细的梳理、归纳和总结,以便相互交流学习。A.使用vim编辑文件时,保存提示:“Found a swap file by the name”原因:之前编辑此文件时出现未知异常,产生了一个*.swp文件,需要删除此隐藏文件才能继续操作目标文件。尤其是使用...原创 2018-02-23 17:10:20 · 579 阅读 · 0 评论 -
Hadoop大数据框架研究(4)——Hive环境部署及使用
近期对hadoop生态的大数据框架进行了实际的部署测试,并结合ArcGIS平台的矢量大数据分析产品进行空间数据挖掘分析。本系列博客将进行详细的梳理、归纳和总结,以便相互交流学习。A. MySQL安装配置1.下载mysql源安装包[root@node1 ~]# wget http://dev.mysql.com/get/mysql57-community-release-el7-8.no...原创 2018-02-25 14:08:04 · 877 阅读 · 0 评论