分布式开发 存储
关注
分享
扫一扫
文章平均质量分 54
hsg77
sichuan chengdu
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
单机的nacos服务搭建
单机的nacos服务搭建官方网站地址：https://nacos.io可访问nacos站点https://nacos.io/zh-cn/2021年07月28日发布 V2.0.4 版本说明一、环境预准备64 bit JDK 1.8+；Maven 3.2.x+；nacos下载安装https://www.cnblogs.com/xing-nb/p/15233081.html二、下载地址github网下载地址：https://github.com/alibaba/nacos/release原创 2022-02-14 18:39:53 · 676 阅读 · 0 评论 -
restapi编写和调用方法
restapi编写和调用方法调用方法var ps = new FormData(); ps["parentId"] = id; //0为顶层菜单 ps["type"] = 0; //0目录,1菜单，2操作 ps["name"] = "新菜单项"; ps["url"] = '#'; ...原创 2019-10-25 19:21:07 · 1072 阅读 · 0 评论 -
基于openlayer5.2开发的显示geowave图层案例(geowave+hbase)
基于openlayer5.2开发的显示geowave图层案例(geowave+hbase)<!DOCTYPE html><html lang="en"><head> <meta charset="U原创 2018-09-29 15:40:13 · 1104 阅读 · 0 评论 -
创建本地仓库centos7
创建本地仓库cenos71安装创建本地仓库工具首先肯定是要有一台服务器可以连接外网的，否则任何软件包都无法下载了。createrepo工具可以帮助我们创建一个本地局域网的私有仓库以下命令默认都是以root用户运行： yum install createrepo -y2安装yum-utils包yum-utils包含有reposync工具，可以方便的从远程同步仓库镜像到本地yum i...转载 2018-11-15 11:12:12 · 1141 阅读 · 0 评论 -
spark2.3.1读取hbase运行报错的解决办法
spark2.3.1读取hbase运行报错的解决办法1.报错java.lang.IllegalStateException: unread block data解决办法：spark.driver.extraClassPathspark.executor.extraClassPath要赋值/usr/cwgis/app/spark/jars/lib/*为应用程序生成的依赖库sparkCo...原创 2018-11-21 19:06:52 · 1071 阅读 · 0 评论 -
VM虚拟机安装CentOS7添加硬盘扩展存储空间的方法
VM虚拟机安装CentOS7添加硬盘扩展存储空间的方法[root@node115 ~]# vgdisplay --- Volume group --- VG Name cl System ID Format lvm2 Metadata Areas 1 Metadata Seq...原创 2018-11-22 10:45:13 · 2277 阅读 · 0 评论 -
kafka2.1.0高可用HA集群搭建方法
kafka2.1.0高可用HA集群搭建方法（一）安装zookeeper3.4.6集群详见安装方法地址：https://blog.csdn.net/hsg77/article/details/80945493（二）安装kafka2.1.0下载地址：http://kafka.apache.org/downloads我选择的Scala 2.11 - kafka_2.11-2.1.0.tgz...原创 2018-12-10 01:02:05 · 1640 阅读 · 0 评论 -
执行spark报错EOFException Kryo和SerializedLambda问题的解决办法
执行spark报错EOFException Kryo和SerializedLambda问题的解决办法EOFException Kryo问题解决办法：发布到spark的worker工作机的项目依赖库中删除底版本的kryo文件，如下：在执行环境中删除kryo-2.21.jar文件和保留kryo-shaded-3.0.3.jar文件，执行就OK了。经过查看在kryo-shaded-3.0.3.j...原创 2019-01-07 12:00:09 · 2139 阅读 · 0 评论 -
转 GeoMesa 索引概述
GeoMesa 索引概述来源地址：https://blog.csdn.net/xinlingjun2007/article/details/81737379GeoMesa使用许多不同的索引来满足各种搜索谓词。每个索引都有一个标识符，用于在配置选项中引用它。GeoMesa将为给定的SimpleFeatureType模式创建各种索引。这允许我们以优化的方式回答各种查询。GeoMesa将尽最大努力确...转载 2019-01-25 16:51:08 · 769 阅读 · 0 评论 -
单节点测试大数据环境配置
单节点测试大数据环境配置一、安装jdk-8u172-linux-x64.gz解压tar -zxvf jdk-8u172-linux-x64.gz更名为jdk目录mv jdk_1.8.0.172 jdk全局环境配置/etc/profile# java配置export JAVA_HOME=/usr/cwgis/app/jdkexport PATH=${JAVA_HOME}/bin:$...原创 2019-04-02 10:28:19 · 563 阅读 · 0 评论 -
centos7安装hbase2.0.1报The RegionServer is initializing! 问题
centos7安装hbase2.0.1报The RegionServer is initializing! 问题查看hdfs safe modehadoop dfsadmin -safemode get退出hdfs safe modehadoop dfsadmin -safemode leave转载 2018-07-16 19:39:09 · 4386 阅读 · 3 评论 -
centos7安装hbase2.0.1的方法(在hadoop2.7.6和jdk1.8上)
依赖hadoop 环境，我这边的版本是hadoop-2.7.6选择hbase2.0.1版本的时候，去官网查看支持的hadoop版本tar -zxvf hbase-2.0.1-bin.tar.gz mv hbase-2.0.1 hbase3、chwon -R hadoop:hadoop hbase //赋于hadoop权限4、配置添加环境变量：vi /etc/profile...转载 2018-07-13 21:18:35 · 1338 阅读 · 0 评论 -
spark MLlib机器学习教程
spark MLlib机器学习教程来源地址：https://blog.csdn.net/qq_30498935/article/details/82352348机器学习介绍机器学习(Machine Learning, ML)是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识...转载 2019-06-05 19:59:41 · 6648 阅读 · 2 评论 -
MIT Kleitman 教授：这是初学者该了解的微积分
MIT Kleitman 教授：这是初学者该了解的微积分机器之心机器之心整理参与：思源、一鸣来源地址：https://mbd.baidu.com/newspage/data/landingsuper?context={"nid"%3A"news_8766751708186268096"}&n_type=0&p_from=1没有微积分，机器学习也就没有了「学习」。在机器学...转载 2019-07-15 17:00:26 · 679 阅读 · 0 评论 -
spark操作hdfs统计单词实例 for IntelliJ IDEA
spark操作hdfs统计单词实例 for IntelliJ IDEA IntelliJ IDEA 社区版 2018.2 安装IDEA时同时安装上scala插件新建File/Project/New Project/Scala IDEA工程工程名称:SparkWordCount JDK:1.8(java version “1.8.0_181”) Scala SDK : sc...原创 2018-09-10 18:02:44 · 674 阅读 · 0 评论 -
MongoDB学习笔记(一) MongoDB介绍及安装
MongoDB学习笔记(一) MongoDB介绍及安装转载 2011-03-08 14:20:00 · 958 阅读 · 0 评论 -
分布式系统资源
分布式系统资源原创 2011-04-02 16:49:00 · 787 阅读 · 0 评论 -
专注于分布式存储&计算技术及其应用url http://www.nosqlnotes.net/
专注于分布式存储&计算技术及其应用http://www.nosqlnotes.net/首页关于作者转载 2011-08-05 14:30:48 · 2231 阅读 · 0 评论 -
.Net Remote分布式远程对象应用程序开发一例
.Net Remote分布式远程对象应用程序开发一例RemoteObject类库工程://---------------------------------------------------------------------------------------原创 2011-08-23 16:55:44 · 3241 阅读 · 0 评论 -
MongoDB安装及C#开发测试
MongoDB安装及C#开发测试(一) MongoDB简介MongoDB是一个介于关系数据库和非关系数据库之间的产品，是非关系数据库当中功能最丰富，最像关系数据库的。他支持的数据结构非常松散，是类似json的bjson格式，因此可以存储比较复杂的数据类型。 Mongo最大的特点是他支持的查询语言非常强大，其语法有点类似于面向对象的查询语言，几乎可以实现类似关系数据库单原创 2012-02-22 17:15:33 · 3187 阅读 · 0 评论 -
通过mongodb客户端samus代码研究解决问题
通过mongodb客户端samus代码研究解决问题 最近有项目需要用到mongodb，于是在网上下载了mongodb的源码，根据示例写了测试代码，但发现一个非常奇怪的问题：插入记录的速度比获取数据的速度还要快，而且最重要的问题是获取数据的速度无法让人接受。 测试场景：主文档存储人员基本信息，子文档一存储学生上课合同数据集合，这个集合多的可达到几百，子文档二转载 2012-02-22 15:51:47 · 993 阅读 · 0 评论 -
MongoDB安装为Windows服务方法与注意事项
MongoDB安装为Windows服务方法与注意事项您的评价: 收藏该经验MongoDB作为一个基于分布式文件存储的数据库，近两年大受追捧。数据灵活的存取方式和高效的处理使得它广泛用于互联网应用。最近本人开始在Windows 32位平台下研究MongoDB的使用，为了方便，转载 2012-02-22 10:02:22 · 4960 阅读 · 1 评论 -
Hadoop简介(分布式系统基础架构)
Hadoop求助编辑百科名片 Hadoop示意图一个分布式系统基础架构，由Apache基金会开发。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力高速运算和存储。Hadoop实现了一个分布式文件系统（Hadoop Distributed File System），简称HDFS。HDFS有着高容错性的特点，并且设转载 2012-03-03 18:20:41 · 8302 阅读 · 0 评论 -
教你如何迅速秒杀掉：99%的海量数据处理面试题
教你如何迅速秒杀掉：99%的海量数据处理面试题http://blog.csdn.net/v_july_v/article/details/7382693转载 2012-03-26 11:28:07 · 930 阅读 · 0 评论 -
登录centos7的新用户出现提示bash-4.2$ 问题
登录centos7的新用户出现提示bash-4.2$ 问题 由于先新建了一个目录/home/geoserver 然后再新建用户组geoserver 新建用户geoserver 结果su geoserver就出现了提示bash-4.2$ 问题，原因：因为在linux下通过useradd方式创建新用户时，都会将所有的配置文件从/etc/skel复制到/home目录...原创 2018-08-20 15:43:30 · 3538 阅读 · 2 评论 -
基于 Eclipse 的 MapReduce 开发环境搭建
Eclipse 安装下载地址：https://www.eclipse.org/downloads/ Get Eclipse PHOTON 点击downloads 64bit 下载eclipse-inst-win64.exe 安装到目录: D:\应用集合\eclipse 下面有目录 D:\应用集合\eclipse\ eclipse 安装目录 D:\应用集合\...原创 2018-08-31 19:56:51 · 1228 阅读 · 0 评论 -
spark操作hdfs统计单词实例 for Eclipse
spark操作hdfs统计单词实例开发环境eclipse 4.8.0 javaEE 安装scala插件 help/Eclipase Marketplace/find scala/Scala IDE4.7.x /install引用库build paths… JRE 1.8.181 scala 2.11.11解压spark-2.3.1-bin-hadoop2.7.tg...原创 2018-09-07 20:50:39 · 761 阅读 · 0 评论 -
centos7安装geomesa2.0.2_hbase_geoserver2.13.2的方法
centos7安装geomesa2.0.2_hbase2.0.1_geoserver2.13.2的方法 安装geoserver服务器目录位置规划： /usr/jdk /usr/tomcat /usr/geoserver /usr/geomesamaster slave1 slave2geoserver服务器需要连接上网NAT模式(如果是虚拟机的话)安装geomesa在ge...原创 2018-08-30 14:58:53 · 1950 阅读 · 0 评论 -
map/reduce操作Hbase 进行单词个数统计例子
MapReduce操作Hbase 进行单词个数统计例子 参考url:https://blog.csdn.net/zhangyunfeixyz/article/details/78549712centos7集群环境情况master 192.168.145.180 namenode,datanode,zookeeper,hmaster,hregionserver slave1 19...原创 2018-09-05 10:08:03 · 1130 阅读 · 0 评论 -
spark读取hbase表格记录实例 for IntelliJ IDEA
spark读取hbase表格记录实例 for IntelliJ IDEA引入库hbase2.0.1中lib库所有*.jar scala-sdk-2.11.6 spark2.3.1 中spark\jars目录中所有*.jarSparkWordCount.scala文件内容：import org.apache.hadoop.conf.Configuration;impor...原创 2018-09-11 16:34:51 · 739 阅读 · 0 评论 -
map/reduce实例wordCount单词计数实现功能
map/reduce实例wordCount单词计数实现功能 参考url:https://blog.csdn.net/zhangyunfeixyz/article/details/77151083 输入数据:hdfs://192.168.145.180:8020/user/root/input/djt.txthadoophadoophadoopdajiangtaidajiangt...原创 2018-09-03 19:42:15 · 1053 阅读 · 0 评论 -
分布式的Key-Value存储系统Cassandra
分布式的Key-Value存储系统Cassandra转载 2011-01-14 11:58:00 · 1333 阅读 · 0 评论