hadoop
hsg77
sichuan chengdu
展开
-
单节点测试大数据环境配置
单节点测试大数据环境配置一、安装jdk-8u172-linux-x64.gz解压tar -zxvf jdk-8u172-linux-x64.gz更名为jdk目录mv jdk_1.8.0.172 jdk全局环境配置/etc/profile# java配置export JAVA_HOME=/usr/cwgis/app/jdkexport PATH=${JAVA_HOME}/bin:$...原创 2019-04-02 10:28:19 · 398 阅读 · 0 评论 -
spark操作hdfs统计单词实例 for Eclipse
spark操作hdfs统计单词实例开发环境eclipse 4.8.0 javaEE 安装scala插件 help/Eclipase Marketplace/find scala/Scala IDE4.7.x /install引用库build paths… JRE 1.8.181 scala 2.11.11解压spark-2.3.1-bin-hadoop2.7.tg...原创 2018-09-07 20:50:39 · 587 阅读 · 0 评论 -
基于 Eclipse 的 MapReduce 开发环境搭建
Eclipse 安装下载地址:https://www.eclipse.org/downloads/ Get Eclipse PHOTON 点击downloads 64bit 下载eclipse-inst-win64.exe 安装到目录: D:\应用集合\eclipse 下面有目录 D:\应用集合\eclipse\ eclipse 安装目录 D:\应用集合\...原创 2018-08-31 19:56:51 · 1032 阅读 · 0 评论 -
centos7安装geoserver2.13.2_tomcat9.0.10的方法
centos7安装geoserver2.13.2_tomcat9.0.10的方法 服务器一台 geoserver 192.168.10.190 禁用防火墙方法systemctl stop firewalld.service ; 加入开机禁用 systemctl disable firewalld.service;新建用户组geoserver和用户geoserver...原创 2018-08-21 16:32:04 · 1703 阅读 · 0 评论 -
centos7安装geowave0.9.7_hbase_geoserver2.13.2的方法
centos7安装geowave0.9.7_hbase_geoserver2.13.2的方法 参考web页面地址url: https://www.linkedin.com/pulse/testing-big-spatial-data-software-hadoop-hbase-geowave-alvaro-huarte/https://blog.csdn.net/sinat_3558209...原创 2018-08-23 17:46:00 · 1508 阅读 · 3 评论 -
bashrc配置文件内容
bashrc配置文件内容#!/bin/bash# .bashrc# Source global definitionsif [ -f /etc/bashrc ]; then . /etc/bashrcfi# Uncomment the following line if you don't like systemctl's auto-paging feature:...原创 2018-08-20 14:17:36 · 5122 阅读 · 0 评论 -
Hadoop for .NET开发方式将数据加载到HDFS
Hadoop for .NET开发方式将数据加载到HDFS参考文章:https://blog.csdn.net/WuLex/article/details/78069478启动Visual Studio并创建一个新的C#控制台应用程序使用NuGet软件包管理器, 将Microsoft.Hadoop.WebClient软件包的Microsoft .NET API添加到您的项目中 包括...原创 2018-08-17 20:23:49 · 3957 阅读 · 0 评论 -
esri hadoop gptools工具上传json报错问题 getaddrinfo failed
esri hadoop gptools工具上传json报错问题 getaddrinfo failed报错内容为:Executing: CopyToHDFS D:\vm\json\test_fenfu2000_1w.json 192.168.10.201 50070 hadoop3 /arcgis/test_fenfu2000_1w44.json CREATEStart Time: Fri...原创 2018-08-17 20:07:50 · 392 阅读 · 0 评论 -
spark提交任务采用yarn集群提交方法
spark提交任务采用yarn集群提交方法先启动 hadoop集群 再启动yarn 再启动spark集群spark提交任务命令spark-submit --class org.apache.spark.examples.SparkPi --master yarn --deploy-mode cluster /home/hadoop3/app/spark/examples/jar...原创 2018-08-17 16:49:07 · 2312 阅读 · 2 评论 -
spark shell读取hadoop hdfs上文本文件统计wordcount的方法
spark shell读取hadoop hdfs上文本文件统计wordcount的方法[hadoop3@master app]$ spark-shell2018-08-17 14:37:57 WARN NativeCodeLoader:62 - Unable to load native-hadoop library for your platform... using builtin-j...原创 2018-08-17 15:41:18 · 3685 阅读 · 0 评论 -
centos7安装geomesa2.0.2_hbase_geoserver2.13.2的方法
centos7安装geomesa2.0.2_hbase2.0.1_geoserver2.13.2的方法 安装geoserver服务器目录位置规划: /usr/jdk /usr/tomcat /usr/geoserver /usr/geomesamaster slave1 slave2geoserver服务器需要连接上网NAT模式(如果是虚拟机的话)安装geomesa在ge...原创 2018-08-30 14:58:53 · 1685 阅读 · 0 评论 -
map/reduce操作Hbase 进行单词个数统计例子
MapReduce操作Hbase 进行单词个数统计例子 参考url:https://blog.csdn.net/zhangyunfeixyz/article/details/78549712centos7集群环境情况master 192.168.145.180 namenode,datanode,zookeeper,hmaster,hregionserver slave1 19...原创 2018-09-05 10:08:03 · 930 阅读 · 0 评论 -
spark读取hbase表格记录实例 for IntelliJ IDEA
spark读取hbase表格记录实例 for IntelliJ IDEA引入库hbase2.0.1中lib库所有*.jar scala-sdk-2.11.6 spark2.3.1 中spark\jars目录中所有*.jarSparkWordCount.scala文件内容:import org.apache.hadoop.conf.Configuration;impor...原创 2018-09-11 16:34:51 · 559 阅读 · 0 评论 -
spark2.3.1读取hbase运行报错的解决办法
spark2.3.1读取hbase运行报错的解决办法1.报错java.lang.IllegalStateException: unread block data解决办法:spark.driver.extraClassPathspark.executor.extraClassPath要赋值/usr/cwgis/app/spark/jars/lib/*为应用程序生成的依赖库sparkCo...原创 2018-11-21 19:06:52 · 876 阅读 · 0 评论 -
CDH5.16下载
CDH5.16下载环境centos71下载cloudera-managerhttp://archive-primary.cloudera.com/cm5/cm/5/选择下面的地址下载cloudera-manager-centos7-cm5.16.0_x86_64.tar.gz 2018-11-09 08:28 803M 2下载cdh的parcel文件 下载cdh的parcel.sha...原创 2018-11-16 11:12:34 · 1447 阅读 · 0 评论 -
关于yarn平台下mapreduce运行出现的虚拟内存溢出问题
关于yarn平台下mapreduce运行出现的虚拟内存溢出问题2014年09月05日 ⁄ 综合 ⁄ 共 756字 ⁄ 字号 小 中 大 ⁄ 评论关闭最近在测试一个统计类型的mapreduce 应用的job新功能时候,reducetask在运行中直接抛出了下面的异常:Container [pid=23708,containerID=container_1369623433359_0404_01...转载 2018-11-12 19:40:05 · 851 阅读 · 1 评论 -
报错Permission denied: user=root, access=EXECUTE, inode="/tmp/hadoop-root"解决办法
报错Permission denied: user=root, access=EXECUTE, inode="/tmp/hadoop-root"解决办法hadoop fs -chown -R root:root /tmp授予root操作hadoop分布式文件系统的目录/tmp的控制权限修改文件执行权限chmod 777 /file.sh ...转载 2018-11-14 15:17:22 · 5815 阅读 · 0 评论 -
基于openlayer5.2开发的显示geowave图层案例(geowave+hbase)
基于openlayer5.2开发的显示geowave图层案例(geowave+hbase)<!DOCTYPE html><html lang="en"><head> <meta charset="U原创 2018-09-29 15:40:13 · 901 阅读 · 0 评论 -
hadoop hbase spark集群启动和停止服务顺序
hadoop hbase spark集群启动和停止服务顺序集群 环境master 192.168.145.180slave1 192.168.145.181slave2 192.168.145.182各服务分布情况:master,all,namenode,datanode,zookeeper,resourcemanager,nodemanager,master,worker,hm...原创 2018-09-18 10:48:10 · 1854 阅读 · 0 评论 -
spark操作hdfs统计单词实例 for IntelliJ IDEA
spark操作hdfs统计单词实例 for IntelliJ IDEA IntelliJ IDEA 社区版 2018.2 安装IDEA时同时安装上scala插件新建File/Project/New Project/Scala IDEA工程工程名称:SparkWordCount JDK:1.8(java version “1.8.0_181”) Scala SDK : sc...原创 2018-09-10 18:02:44 · 496 阅读 · 0 评论 -
map/reduce实例wordCount单词计数实现功能
map/reduce实例wordCount单词计数实现功能 参考url:https://blog.csdn.net/zhangyunfeixyz/article/details/77151083 输入数据:hdfs://192.168.145.180:8020/user/root/input/djt.txthadoophadoophadoopdajiangtaidajiangt...原创 2018-09-03 19:42:15 · 755 阅读 · 0 评论 -
hdfs hadoop上删除非空目录方法
hdfs hadoop上删除非空目录方法删除hdfs根目录上/hbase 重新进行安装操作hadoop3@master ~]$ hdfs dfs -rm -r -f /hbase18/08/17 14:20:20 INFO fs.TrashPolicyDefault: Namenode trash configuration: Deletion interval = 0 minutes,...原创 2018-08-17 14:37:08 · 20972 阅读 · 0 评论 -
spark2.3.1集群启动顺序(centos7_hadoop2.7.6_zookeeper3.4.12)
spark2.3.1集群启动顺序(centos7_hadoop2.7.6_zookeeper3.4.12)deploy.conf配置内容:master,all,namenode,datanode,zookeeper,resourcemanager,nodemanager,master,worker,slave1,all,slave,namenode,datanode,zookeeper,...原创 2018-08-13 10:42:21 · 696 阅读 · 0 评论 -
spark2.3.1集群安装方法hadoop2.7.6和scala2.11.6
spark2.3.1集群安装方法hadoop2.7.6和scala2.11.6下载安装包:spark-2.3.1-bin-hadoop2.7.tgzhttp://spark.apache.org/downloads.html下载安装包:scala-2.11.6.tgzhttps://www.scala-lang.org/download/all.html集群规划节点...原创 2018-08-10 21:16:12 · 1368 阅读 · 0 评论 -
Hadoop 百度百科
Hadoop 百度百科 来源地址:https://baike.baidu.com/item/Hadoop/3526507?fr=aladdin本词条由“科普中国”百科科学词条编写与应用工作项目 审核 。 Hadoop是一个由Apache基金会所开发的分布式系统基础架构。 用户可以在不了解分布式底层细节的情况下,开发分布式程序。充分利用集群的威力进行高速运算和存储。 [1] Hadoo...转载 2018-06-28 18:21:18 · 684 阅读 · 0 评论 -
测试空间大数据软件(Hadoop + HBase + GeoWave + GeoServer)
测试空间大数据软件(Hadoop + HBase + GeoWave + GeoServer)而不会在尝试中死亡:-) 发布日期: 2017 年 10 月 17 日 来源url:https://www.linkedin.com/pulse/testing-big-spatial-data-software-hadoop-hbase-geowave-alvaro-huarte/赞测试大空间数...转载 2018-07-10 20:11:07 · 4223 阅读 · 3 评论 -
centos7上配置好hadoop后报:NameNode is still loading. Redirecting to the Startup Progress page的问题
centos7上配置好hadoop后web显示信息问题: NameNode is still loading. Redirecting to the Startup Progress page.集群启动正常,日志没有报错,但是http://192.168.145.200:9870/dfshealth.html#tab-overview 一直提示“NameNode is still loadi...原创 2018-07-10 20:00:16 · 6902 阅读 · 2 评论 -
centos7安装hadoop3.0.3和jdk1.8的伪分布式模式
centos7安装hadoop3.0.3和jdk1.8的伪分布式模式添加普通用户hadoopuseradd hadoop passwd hadoop 1给hadoop用户sudo权限chmod u+w /etc/sudoers vi /etc/sudoers 添加 hadoop ALL=(ALL) ALL 或者 hadoop ALL=(root) N...原创 2018-07-03 20:39:47 · 2225 阅读 · 1 评论 -
hbase shell 简单用法
hbase shell 简单用法[hadoop3@master ~]$ hbase shellSLF4J: Class path contains multiple SLF4J bindings.SLF4J: Found binding in [jar:file:/home/hadoop3/app/hbase/lib/slf4j-log4j12-1.7.25.jar!/org/slf4j/...转载 2018-07-16 20:00:50 · 811 阅读 · 0 评论 -
centos7安装hbase2.0.1报The RegionServer is initializing! 问题
centos7安装hbase2.0.1报The RegionServer is initializing! 问题查看hdfs safe modehadoop dfsadmin -safemode get退出hdfs safe modehadoop dfsadmin -safemode leave转载 2018-07-16 19:39:09 · 4003 阅读 · 3 评论 -
centos7安装hadoop3.03和jdk1.8.0_172的本地安装方法
centos7安装hadoop3.03和jdk1.8.0_172的本地安装方法 先关闭防火墙 systemctl stop firewalld systemctl disalbe firewalld解压jdk1.8.0_172并安装到目录:/opt/java/jdk1.8解压hadoop3.03并安装到目录:/usr/hadoop/hadoop303配置/etc/profile文...原创 2018-07-03 17:41:46 · 874 阅读 · 0 评论 -
centos7中hadoop各节点时间同步方法
centos7中hadoop各节点时间同步方法采用NTP(Network Time Protocol)方式来实现, 选择一台机器, 作为集群的时间同步服务器, 然后分别配置服务端和集群其他机器。我这里以master机器时间为准,其他机器同这台机器时间做同步。(一)NTP服务端安装ntp服务(在master服务器上)sudo su -yum install ntp -y...原创 2018-07-09 20:16:04 · 1883 阅读 · 0 评论 -
centos7下hadoop3.0.3 hdfs状态查看命令
centos7下hadoop3.0.3 hdfs状态查看命令查看安全模式状态 hdfs dfsadmin -safemode get通过命令来查看NameNode的状态(是Active还是Standby) hdfs haadmin -getServiceState nn1 hdfs haadmin -getServiceState nn2 hdfs haadmin -getSe...转载 2018-07-09 16:37:42 · 2269 阅读 · 0 评论 -
hadoop3.0新特性总结
hadoop3.0新特性总结 来源地址:https://www.cnblogs.com/yujianming/p/8309045.html1.hadoop-3.0要求JDK版本不低于1.8,对之前的Java版本不再提供支持.所有Hadoop JAR现在都是针对Java 8的运行时版本编译的。2.部分服务默认端口修改,不再绑定到Linux临时端口 (HDFS-9427,HADOOP...转载 2018-07-04 10:56:23 · 1667 阅读 · 0 评论 -
Apache Hadoop Releases发行版下载地址
Apache Hadoop Releases发行版下载地址 来源地址:http://hadoop.apache.org/releases.htmlHadoop is released as source code tarballs with corresponding binary tarballs for convenience. The downloads are distributed...原创 2018-07-05 10:21:45 · 1161 阅读 · 0 评论 -
centos7中Hadoop集群动态添加datanode节点方法
centos7中Hadoop集群动态添加datanode节点方法功能:把datanode2数据节点动态添加到hadoop集群中安装一台datanode的centos7操作系统datanode2vi /etc/hostname datanode2ip静态配置为192.168.145.212 vi /etc/sysconfig/network-scripts/ifcfg-ens3...原创 2018-07-12 17:09:05 · 2051 阅读 · 0 评论 -
centos7虚拟机桥接模式静态ip设置方法
centos7虚拟机桥接模式静态ip设置方法 桥接模式,选择本地网卡模式 本地网卡参数:192.168.10.99 gateway:192.168.10.254 master主机 /etc/sysconfig/network-scripts/ifcfg-ens33文件内容如下:TYPE="Ethernet"BOOTPROTO="static"#DEFROUTE="yes"I...原创 2018-08-10 17:38:46 · 889 阅读 · 0 评论 -
hadoop启动报错Call From master/192.168.10.200 to slave1:8485 failed on connection exception
hadoop启动报错Call From master/192.168.10.200 to slave1:8485 failed on connection exceptionhadoop集群搭建了ha,改为桥接模式后,启动速度有点慢的感觉,namenode1节点启动后一段时间(大约10几秒-半分钟左右),namenode1上namenode进程停掉,查看日志:报Call From master...原创 2018-08-10 17:26:12 · 14738 阅读 · 2 评论 -
ArcGIS空间大数据平台与Hadoop&Spark大数据平台的集成与开发
文章来源url:http://www.sohu.com/a/211902311_6095772017年最后一期公开课预告-《ArcGIS空间大数据平台与Hadoop&Spark大数据平台的集成与开发》 12月26日《ArcGIS空间大数据平台与Hadoop&Spark大数据平台的集成与开发》公开课课程简介: 大数据无疑是近期最时髦的词汇,是继云计算、物联网、移动互联之后...转载 2018-08-09 16:43:42 · 3930 阅读 · 0 评论 -
centos7安装hbase2.0.1的方法(在hadoop2.7.6和jdk1.8上)
依赖hadoop 环境,我这边的版本是hadoop-2.7.6选择hbase2.0.1版本的时候,去官网查看支持的hadoop版本tar -zxvf hbase-2.0.1-bin.tar.gz mv hbase-2.0.1 hbase3、chwon -R hadoop:hadoop hbase //赋于hadoop权限4、配置添加环境变量:vi /etc/profile...转载 2018-07-13 21:18:35 · 1147 阅读 · 0 评论