- 博客(11)
- 资源 (3)
- 收藏
- 关注
原创 Node.js的安装和使用NPM安装Vue.js
一.Node.js的安装配置1.1 Node.js的下载和安装在Node.js官网的首页(https://nodejs.org/en/)下载安装Windows 64位的安装包,下载完后双击安装文件,安装步骤中的选项都默认选择,一路点击下一步进行安装。1.2 NPM国内镜像的配置1、临时使用npm --registry https://registry.npm.taobao.o...
2020-01-09 21:06:05
276
原创 Java编写MapReduce实例
一.准备工作参照《CentOS下Hadoop3.2的伪分布式和集群安装》安装好Hadoop 安装Maven二.测试代码2.1 在Maven项目中添加依赖 <dependency> <groupId>org.apache.hadoop</groupId> <artifactId&...
2020-01-02 17:17:26
667
原创 Java操作HDFS的文件和文件夹实例
一.准备工作参照《CentOS下Hadoop3.2的伪分布式和集群安装》安装好Hadoop 安装Maven二.测试代码2.1 在Maven项目中添加依赖 <dependency> <groupId>org.apache.hadoop</groupId> <artifactId&...
2019-12-30 18:12:35
253
原创 Hadoop简介和架构分析
一.Hadoop简介hadoop是一个具有分布式存储和分布式计算能力的分布式软件系统hadoop基本特点可靠性(数据冗余) 成本低(把数据存储在普通的计算机上) 效率高(把计算分发到多个节点) 可扩容(根据需求, 动态的调整节点集群的大小)解决的问题海量数据可靠存储 海量数据分析与计算二.Hadoop架构分析hadoop主要有三个模块:HDFS(Hadoop分布式文...
2019-12-26 22:33:23
602
原创 Hadoop的生态系统介绍
一. Hadoop生态系统架构二. 生态系统介绍2.1 HDFS(分布式文件存储系统)Hadoop分布式文件系统是Hadoop项目的两大核心之一,是针对谷歌文件系统(GoogleFileSystem,GFS)的开源实现。是Hadoop体系中数据存储管理的基础。它是一个高度容错的系统,能检测和应对硬件故障,用于在低成本的通用硬件上运行。HDFS简化了文件的一致性模型,通过流式数据访问...
2019-12-25 21:20:27
4189
原创 DevOps介绍和Jenkins环境搭建
一. DevOps介绍持续开发:这是DevOps生命周期中软件不断开发的阶段。与瀑布模型不同的是,软件可交付成果被分解为短开发周期的多个任务节点,在很短的时间内开发并交付。这个阶段包括编码和构建阶段,并使用Git和SVN等工具来维护不同版本的代码,以及Ant、Maven、Gradle等工具来构建/打包代码到可执行文件中,这些文件可以转发给自动化测试系统进行测试。持续测试:在...
2019-12-25 11:30:39
2680
原创 CentOS下安装MongoDB并与SpringBoot集成
一. 下载和安装MongoDB1.1 下载MongoDBhttps://fastdl.mongodb.org/linux/mongodb-linux-x86_64-4.0.11.tgz 下载然后解压1.2 添加配置文件在MongoDB的bin目录添加mongodb.confport=27017 #端口dbpath=/root/mongodb/db #数据库存文件存放目录l...
2019-12-25 11:27:49
231
原创 CentOS下Docker的安装和常用镜像安装
一.Docker的简介Docker 是一个开源的应用容器引擎,可以让开发者打包他们的应用以及依赖包到一个轻量级、可移植的容器中,然后发布到任何流行的 Linux 机器上,也可以实现虚拟化。容器是完全使用沙箱机制,相互之间不会有任何接口,更重要的是容器性能开销极低。Docker 从 17.03 版本之后分为 CE(社区版) 和 EE(企业版),我们用社区版就可以了。概念 说明...
2019-12-25 11:22:29
215
原创 CentOS下Hadoop3.2的伪分布式和集群安装
一.安装需求jdk-13.0.1_linux-x64_bin.tar.gzhadoop-3.2.1.tar.gz二.环境准备准备三台CentOS虚拟机,一台Master,两台Slave。192.168.108.130 hadoop-master 192.168.108.131 hadoop-slave1 192.168.108.132 hadoop-slave2备注:如果是...
2019-12-25 11:14:02
448
1
原创 Mycat数据库中间件介绍和安装使用
一. Mycat数据库中间件的介绍什么是Mycat,Mycat的官方介绍是:一个彻底开源的,面向企业应用开发的大数据库集群 支持事务、ACID、可以替代MySQL的加强版数据库 一个可以视为MySQL集群的企业级数据库,用来替代昂贵的Oracle集群 一个融合内存缓存技术、NoSQL技术、HDFS大数据的新型SQL Server 结合传统数据库和新型分布式数据仓库的新一代企业级数据...
2019-12-06 13:20:01
263
原创 Kafka简介、安装和SpringBoot整合使用
一. Kafka简介1. Kafka Topic&Partition 消息发送时都被发送到一个topic,其本质就是一个目录,而topic由是由一些Partition Logs(分区日志)组成,其组织结构如下图所示: 我们可以看到,每个Part...
2019-12-02 11:32:52
200
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人