- 博客(14)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 Harbor - Docker私有仓库安装部署
Harbor是一个用于存储和分发Docker镜像的企业级Registry服务器，通过添加一些企业必需的功能特性，例如安全、标识和管理等，扩展了开源Docker Distribution。作为一个企业级私有Registry服务器，Harbor提供了更好的性能和安全。提升用户使用Registry构建和运行环境传输镜像的效率。Harbor支持安装在多个Registry节点的镜像资源复制，镜像全部保存在私有Registry中， 确保数据和知识产权在公司内部网络中管控。
2018-09-27 13:39:17
577
原创 基于ambari 2.6.2.0的docker镜像安装大数据服务组件
之前有使用docker搭建了一套Apache Hadoop版本的大数据平台，参考我的码云地址：https://gitee.com/elbertmalone/HadoopHACluster，整个编写脚本和搭建过程花了很多时间，且灵活性不好。Ambari在大数据集群部署方面有得天独厚的优势，但是集群操作系统安装准备工作以及基础包的安装还是需要花费很多的时间。为了节省大数据集群的部署时间接下来我们用Do...
2018-09-11 17:17:37
3064
1原创 CentOS7下安装Anaconda3和Tensorflow
TensorFlow™ 是一个采用数据流图（data flow graphs），用于数值计算的开源软件库。节点（Nodes）在图中表示数学操作，图中的线（edges）则表示在节点间相互联系的多维数据数组，即张量（tensor）。它灵活的架构让你可以在多种平台上展开计算，例如台式计算机中的一个或多个CPU（或GPU），服务器，移动设备等等。TensorFlow 最初由Google大脑小组（隶属于Google机器智能研究
2017-12-07 13:12:36
10581
原创 Alluxio 1.6.1的安装部署
Alluxio是一个基于内存的分布式文件系统，它是架构在底层分布式文件系统和上层分布式计算框架之间的一个中间件，主要职责是以文件形式在内存或其它存储设施中提供数据的存取服务。
2017-11-09 11:46:03
524
原创 Hadoop2.x基本原理与架构
Apache Hadoop 是一个开源软件框架，可安装在一个商用机器集群中，使机器可彼此通信并协同工作，以高度分布式的方式共同存储和处理大量数据。最初，Hadoop 包含以下两个主要组件：Hadoop Distributed File System (HDFS) 和一个分布式计算引擎，该引擎支持以 MapReduce 作业的形式实现和运行程序。
2016-10-24 01:29:47
3531
原创 MarkDown使用pandoc转PDF和Word文档
Pandoc是由John MacFarlane开发的标记语言转换工具，可实现不同标记语言间的格式转换，堪称该领域中的“瑞士军刀”。Pandoc使用Haskell语言编写，以命令行形式实现与用户的交互，可支持多种操作系统；Pandoc采用GNU GPL授权协议发布，属于自由软件。
2016-10-19 13:22:09
9238
原创 MapReduce实例之PageRank
PageRank,即网页排名，又称网页级别、Google左侧排名或佩奇排名。 是Google创始人拉里·佩奇和谢尔盖·布林于1997年构建早期的搜索系统原型时提出的链接分析算法，自从Google在商业上获得空前的成功后，该算法也成为其他搜索引擎和学术界十分关注的计算模型。目前很多重要的链接分析算法都是在PageRank算法基础上衍生出来的。PageRank是Google用于用来标识网页的等级/重要性
2016-09-26 08:25:16
804
原创 MongoDB与Hadoop结合之使用MapReduce官方实例
Hadoop 是一个开源的分布式的并行计算系统，其Map/Reduce 运算功能被广泛地应用在数据分析领域。mongo-hadoop 是一个将MongoDB 与Hadoop 相整合的开源工具。
2016-09-14 11:12:50
4046
原创 MongoDB实现分片复制集
MongoDB是一个介于关系数据库和非关系数据库之间的产品，是非关系数据库当中功能最丰富，最像关系数据库的。他支持的数据结构非常松散，是类似json的bson格式，因此可以存储比较复杂的数据类型。Mongo最大的特点是他支持的查询语言非常强大，其语法有点类似于面向对象的查询语言，几乎可以实现类似关系数据库单表查询的绝大部分功能，而且还支持对数据建立索引。
2016-08-31 13:08:07
3408
原创 Hive基于MySQL保存元数据的安装
hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供简单的sql查询功能，可以将sql语句转换为MapReduce任务进行运行。 其优点是学习成本低，可以通过类SQL语句快速实现简单的MapReduce统计，不必开发专门的MapReduce应用，十分适合数据仓库的统计分析。
2016-08-28 14:09:12
799
原创 使用MongoDB实现分片集
分片非常适用于基于云的计算平台，由MongoDB实现的分片非常擅长以动态和负载敏感的方式自动调整规模，可以在需要的时候增大容量，同时也可以减少容量。
2016-08-26 15:10:15
754
原创 pymongo-3.3.0下载和安装
pymongo-3.3.0下载和安装1. 给Linux用户添加sudo权限2. pymongo-3.3.0下载3. pymongo-3.3.0解压4. pymongo-3.3.0安装
2016-08-24 11:59:34
1339
Scrum权威指南
2018-03-14
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人