云平台
hsg77
sichuan chengdu
展开
-
5分钟弄懂Docker!
5分钟弄懂Docker!发表于2014-07-08 11:05| 45011次阅读| 来源http://oilbeater.com/| 72 条评论| 作者@oilbeaterDocker虚拟化GO 摘要:7月3日“Docker之道”培训中,笔者发现大家对Docker的理解还比较初级,刚好看到了一篇通俗易懂的文章,看完后对Docker有了一个清楚的认识,在这转载 2016-02-29 15:15:14 · 403 阅读 · 0 评论 -
spark读取hbase表格记录实例 for IntelliJ IDEA
spark读取hbase表格记录实例 for IntelliJ IDEA引入库hbase2.0.1中lib库所有*.jar scala-sdk-2.11.6 spark2.3.1 中spark\jars目录中所有*.jarSparkWordCount.scala文件内容:import org.apache.hadoop.conf.Configuration;impor...原创 2018-09-11 16:34:51 · 558 阅读 · 0 评论 -
map/reduce实例wordCount单词计数实现功能
map/reduce实例wordCount单词计数实现功能 参考url:https://blog.csdn.net/zhangyunfeixyz/article/details/77151083 输入数据:hdfs://192.168.145.180:8020/user/root/input/djt.txthadoophadoophadoopdajiangtaidajiangt...原创 2018-09-03 19:42:15 · 755 阅读 · 0 评论 -
spark操作hdfs统计单词实例 for IntelliJ IDEA
spark操作hdfs统计单词实例 for IntelliJ IDEA IntelliJ IDEA 社区版 2018.2 安装IDEA时同时安装上scala插件新建File/Project/New Project/Scala IDEA工程工程名称:SparkWordCount JDK:1.8(java version “1.8.0_181”) Scala SDK : sc...原创 2018-09-10 18:02:44 · 495 阅读 · 0 评论 -
hadoop hbase spark集群启动和停止服务顺序
hadoop hbase spark集群启动和停止服务顺序集群 环境master 192.168.145.180slave1 192.168.145.181slave2 192.168.145.182各服务分布情况:master,all,namenode,datanode,zookeeper,resourcemanager,nodemanager,master,worker,hm...原创 2018-09-18 10:48:10 · 1854 阅读 · 0 评论 -
报错Permission denied: user=root, access=EXECUTE, inode="/tmp/hadoop-root"解决办法
报错Permission denied: user=root, access=EXECUTE, inode="/tmp/hadoop-root"解决办法hadoop fs -chown -R root:root /tmp授予root操作hadoop分布式文件系统的目录/tmp的控制权限修改文件执行权限chmod 777 /file.sh ...转载 2018-11-14 15:17:22 · 5812 阅读 · 0 评论 -
关于yarn平台下mapreduce运行出现的虚拟内存溢出问题
关于yarn平台下mapreduce运行出现的虚拟内存溢出问题2014年09月05日 ⁄ 综合 ⁄ 共 756字 ⁄ 字号 小 中 大 ⁄ 评论关闭最近在测试一个统计类型的mapreduce 应用的job新功能时候,reducetask在运行中直接抛出了下面的异常:Container [pid=23708,containerID=container_1369623433359_0404_01...转载 2018-11-12 19:40:05 · 851 阅读 · 1 评论 -
CDH5.16下载
CDH5.16下载环境centos71下载cloudera-managerhttp://archive-primary.cloudera.com/cm5/cm/5/选择下面的地址下载cloudera-manager-centos7-cm5.16.0_x86_64.tar.gz 2018-11-09 08:28 803M 2下载cdh的parcel文件 下载cdh的parcel.sha...原创 2018-11-16 11:12:34 · 1446 阅读 · 0 评论 -
VM虚拟机安装CentOS7添加硬盘扩展存储空间的方法
VM虚拟机安装CentOS7添加硬盘扩展存储空间的方法[root@node115 ~]# vgdisplay --- Volume group --- VG Name cl System ID Format lvm2 Metadata Areas 1 Metadata Seq...原创 2018-11-22 10:45:13 · 2058 阅读 · 0 评论 -
es6.3集群安装方法(elasticsearch)
es6.3集群安装方法(elasticsearch)(一)下载安装包elasticsearch-6.3.0.tar.gzelasticsearch-analysis-ik-6.3.0.zip下载地址:https://www.elastic.co/cn/downloads/past-releaseshttps://github.com/medcl/elasticsearch-analys...原创 2018-12-19 15:17:46 · 2026 阅读 · 0 评论 -
kafka2.1.0高可用HA集群搭建方法
kafka2.1.0高可用HA集群搭建方法(一)安装zookeeper3.4.6集群详见安装方法地址:https://blog.csdn.net/hsg77/article/details/80945493(二)安装kafka2.1.0下载地址:http://kafka.apache.org/downloads我选择的Scala 2.11 - kafka_2.11-2.1.0.tgz...原创 2018-12-10 01:02:05 · 1445 阅读 · 0 评论 -
accumulo1.9.2集群安装方法
accumulo1.9.2集群安装方法(一)下载离线包accumulo-1.9.2-bin.tar.gz下载地址:https://accumulo.apache.org/downloads/(二)安装accumulo1.解压到目录/usr/cwgis/app/accumulotar -zxvf accumulo-1.9.2-bin.tar.gzmv accumulo-1.9.2-b...原创 2018-12-24 16:39:41 · 1207 阅读 · 1 评论 -
centos7执行内存拉圾回收shell命令
centos7执行内存拉圾回收shell命令runCmd.sh “sync” allrunCmd.sh “echo 1 > /proc/sys/vm/drop_caches” all执行之前的情况[root@node111 ~]# runCmd.sh "free -g" all*******************node111***************************...原创 2019-02-22 15:03:20 · 1554 阅读 · 0 评论 -
map/reduce操作Hbase 进行单词个数统计例子
MapReduce操作Hbase 进行单词个数统计例子 参考url:https://blog.csdn.net/zhangyunfeixyz/article/details/78549712centos7集群环境情况master 192.168.145.180 namenode,datanode,zookeeper,hmaster,hregionserver slave1 19...原创 2018-09-05 10:08:03 · 930 阅读 · 0 评论 -
centos7安装geomesa2.0.2_hbase_geoserver2.13.2的方法
centos7安装geomesa2.0.2_hbase2.0.1_geoserver2.13.2的方法 安装geoserver服务器目录位置规划: /usr/jdk /usr/tomcat /usr/geoserver /usr/geomesamaster slave1 slave2geoserver服务器需要连接上网NAT模式(如果是虚拟机的话)安装geomesa在ge...原创 2018-08-30 14:58:53 · 1685 阅读 · 0 评论 -
spark操作hdfs统计单词实例 for Eclipse
spark操作hdfs统计单词实例开发环境eclipse 4.8.0 javaEE 安装scala插件 help/Eclipase Marketplace/find scala/Scala IDE4.7.x /install引用库build paths… JRE 1.8.181 scala 2.11.11解压spark-2.3.1-bin-hadoop2.7.tg...原创 2018-09-07 20:50:39 · 586 阅读 · 0 评论 -
centos7.0安装离线JDK1.8方法
centos7.0安装离线JDK1.8方法 查看java仓库版本yum list |grep java查看已安装java jdk版本rpm -qa | grep java如果没有显示信息表示还没有安装jdk版本 如果显示如下信息:rpm -qa|grep jdkjava-1.8.0-openjdk-headless-1.8.0.65-3.b17.el7.x86_...原创 2018-06-29 17:29:29 · 4516 阅读 · 1 评论 -
ArcGIS空间大数据平台与Hadoop&Spark大数据平台的集成与开发
文章来源url:http://www.sohu.com/a/211902311_6095772017年最后一期公开课预告-《ArcGIS空间大数据平台与Hadoop&Spark大数据平台的集成与开发》 12月26日《ArcGIS空间大数据平台与Hadoop&Spark大数据平台的集成与开发》公开课课程简介: 大数据无疑是近期最时髦的词汇,是继云计算、物联网、移动互联之后...转载 2018-08-09 16:43:42 · 3928 阅读 · 0 评论 -
hadoop启动报错Call From master/192.168.10.200 to slave1:8485 failed on connection exception
hadoop启动报错Call From master/192.168.10.200 to slave1:8485 failed on connection exceptionhadoop集群搭建了ha,改为桥接模式后,启动速度有点慢的感觉,namenode1节点启动后一段时间(大约10几秒-半分钟左右),namenode1上namenode进程停掉,查看日志:报Call From master...原创 2018-08-10 17:26:12 · 14731 阅读 · 2 评论 -
centos7虚拟机桥接模式静态ip设置方法
centos7虚拟机桥接模式静态ip设置方法 桥接模式,选择本地网卡模式 本地网卡参数:192.168.10.99 gateway:192.168.10.254 master主机 /etc/sysconfig/network-scripts/ifcfg-ens33文件内容如下:TYPE="Ethernet"BOOTPROTO="static"#DEFROUTE="yes"I...原创 2018-08-10 17:38:46 · 889 阅读 · 0 评论 -
spark2.3.1集群安装方法hadoop2.7.6和scala2.11.6
spark2.3.1集群安装方法hadoop2.7.6和scala2.11.6下载安装包:spark-2.3.1-bin-hadoop2.7.tgzhttp://spark.apache.org/downloads.html下载安装包:scala-2.11.6.tgzhttps://www.scala-lang.org/download/all.html集群规划节点...原创 2018-08-10 21:16:12 · 1368 阅读 · 0 评论 -
spark2.3.1集群启动顺序(centos7_hadoop2.7.6_zookeeper3.4.12)
spark2.3.1集群启动顺序(centos7_hadoop2.7.6_zookeeper3.4.12)deploy.conf配置内容:master,all,namenode,datanode,zookeeper,resourcemanager,nodemanager,master,worker,slave1,all,slave,namenode,datanode,zookeeper,...原创 2018-08-13 10:42:21 · 696 阅读 · 0 评论 -
hdfs hadoop上删除非空目录方法
hdfs hadoop上删除非空目录方法删除hdfs根目录上/hbase 重新进行安装操作hadoop3@master ~]$ hdfs dfs -rm -r -f /hbase18/08/17 14:20:20 INFO fs.TrashPolicyDefault: Namenode trash configuration: Deletion interval = 0 minutes,...原创 2018-08-17 14:37:08 · 20969 阅读 · 0 评论 -
spark shell读取hadoop hdfs上文本文件统计wordcount的方法
spark shell读取hadoop hdfs上文本文件统计wordcount的方法[hadoop3@master app]$ spark-shell2018-08-17 14:37:57 WARN NativeCodeLoader:62 - Unable to load native-hadoop library for your platform... using builtin-j...原创 2018-08-17 15:41:18 · 3683 阅读 · 0 评论 -
spark提交任务采用yarn集群提交方法
spark提交任务采用yarn集群提交方法先启动 hadoop集群 再启动yarn 再启动spark集群spark提交任务命令spark-submit --class org.apache.spark.examples.SparkPi --master yarn --deploy-mode cluster /home/hadoop3/app/spark/examples/jar...原创 2018-08-17 16:49:07 · 2311 阅读 · 2 评论 -
bashrc配置文件内容
bashrc配置文件内容#!/bin/bash# .bashrc# Source global definitionsif [ -f /etc/bashrc ]; then . /etc/bashrcfi# Uncomment the following line if you don't like systemctl's auto-paging feature:...原创 2018-08-20 14:17:36 · 5122 阅读 · 0 评论 -
centos7安装geowave0.9.7_hbase_geoserver2.13.2的方法
centos7安装geowave0.9.7_hbase_geoserver2.13.2的方法 参考web页面地址url: https://www.linkedin.com/pulse/testing-big-spatial-data-software-hadoop-hbase-geowave-alvaro-huarte/https://blog.csdn.net/sinat_3558209...原创 2018-08-23 17:46:00 · 1506 阅读 · 3 评论 -
centos7安装geoserver2.13.2_tomcat9.0.10的方法
centos7安装geoserver2.13.2_tomcat9.0.10的方法 服务器一台 geoserver 192.168.10.190 禁用防火墙方法systemctl stop firewalld.service ; 加入开机禁用 systemctl disable firewalld.service;新建用户组geoserver和用户geoserver...原创 2018-08-21 16:32:04 · 1703 阅读 · 0 评论 -
基于 Eclipse 的 MapReduce 开发环境搭建
Eclipse 安装下载地址:https://www.eclipse.org/downloads/ Get Eclipse PHOTON 点击downloads 64bit 下载eclipse-inst-win64.exe 安装到目录: D:\应用集合\eclipse 下面有目录 D:\应用集合\eclipse\ eclipse 安装目录 D:\应用集合\...原创 2018-08-31 19:56:51 · 1031 阅读 · 0 评论 -
智慧城市时空大数据平台建设技术大纲(2019版)
智慧城市时空大数据平台建设技术大纲(2019版)参考地址:http://gi.mnr.gov.cn/201902/t20190218_2395831.html智慧城市时空大数据平台建设技术大纲.doc转载 2019-02-19 11:32:43 · 8427 阅读 · 0 评论