大数据
文章平均质量分 64
正则表达式1951
树高万丈不忘根,人若辉煌莫忘恩。【欢迎光临:https://gitee.com/regexpei】
展开
-
Spark RDD弹性分布式数据集
一、RDD的创建方式1.从文件系统加载数据创建RDD(1)从Linux本地文件系统加载数据创建RDD在Linux本地文件系统创建一个test.txt文件,内容如下:hadoop sparkitcast heimascala sparkspark itcastitcast hadoop在Linux本地系统读取test.txt文件并创建RDDval test=sc.textFile("file:///export/data/test.txt")(2)从HDFS中加载数据创建RDD在H原创 2021-07-09 00:13:18 · 257 阅读 · 0 评论 -
Storm流式数据计算架构工作机制
摘 要Storm是一套目前最为主流的免费的、开源的分布式实时计算系统,主要应用在流处理、连续计算、分布式RPC这三个方面。自Storm开源发布后,在许多著名企业中得到了广泛地应用。Storm是如何产生的、采用了什么样的架构以及它的工作原理是怎么样的。本文将主要讲解Storm的基本组成以及其集群架构和编程模型。关键词:Storm,分布式,实时计算,集群架构前 言随着科学技术的不断发展,互联网普及到了家家户户,越来越多的人成为了互联网中的一份子。随之而生的物联网、云计算、人工智能等新兴技术也在各原创 2021-06-25 10:11:45 · 352 阅读 · 0 评论 -
使用cli和java操作Redis数据库四种数据结构
Redis数据库提供了多种数据结构,其中最常见的数据结构有String(字符串)、List(列表)、Set(集合)、Hash(散列)、Sorted Sets(有序集合)。redis-cli操作java操作import redis.clients.jedis.Jedis;import redis.clients.jedis.JedisPool;import java.util.List;import java.util.Map;import java.util.Set;publi原创 2021-05-04 18:33:34 · 247 阅读 · 0 评论 -
【MongoDB实战】GridFS
1.上传文件将需要上传的文件放到打开一个命令行窗口,输入以下命令:mongofiles -d gridfs put UI动效基础PPT.pptx登录mongodb.fs.files.find()切换数据库show dbsuser gridfsdb.fs.files.find().pretty()db.fs.chunks.find({files_id:ObjectId(“607e3e331f4e3d27a8b1250a”)})db.coll.find()计算块数db.fs.c原创 2021-04-20 19:40:12 · 171 阅读 · 0 评论 -
【MongoDB实战】副本集的创建
cd C:\Program Files\MongoDB\Server\master\binmongod -port 27111 -dbpath C:\data\masterdb -logpath C:\data\masterlog\mongodb.log -replSet mySet -logappendcd C:\Program Files\MongoDB\Server\slave\binmongod -port 27112 -dbpath C:\data\slavedb -logpath C:\d原创 2021-04-06 18:53:07 · 278 阅读 · 0 评论 -
【MongoDB实战】Windows搭建MongoDB分片以及复制集
1.创建文件目录创建数据文件目录如下,这里为D:\software\MongoDB\data\data创建日志文件目录如下,这里为D:\software\MongoDB\data\log2.创建实例打开三个命令行窗口,输入以下命令:mongod --port 3000 --shardsvr --replSet rs-a --dbpath "D:\software\MongoDB\data\data\rs-a-0" --logpath "D:\software\MongoDB\data\log\r原创 2021-04-18 14:45:27 · 177 阅读 · 0 评论 -
HBase集群部署
1.安装JDK、Hadoop以及Zookeeper所用环境:JDK版本为1.7Hadoop版本为2.7.4Zookeeper版本为3.4.10在安装HBase之前需准备好以上环境2.下载HBase安装包官网下载地址:http://archive.apache.org/dist/hbase/所用版本为1.2.23.上传并解压HBase安装包(1)将安装包上传至/export/software目录下...原创 2021-05-24 22:19:42 · 124 阅读 · 0 评论