- 博客(11)
- 资源 (3)
- 收藏
- 关注
RSS订阅原创 HDFS--机架感知
一、背景介绍Hadoop的设计目的：解决海量大文件的处理问题，主要指大数据的存储和计算问题，其中，HDFS解决数据的存储问题；MapReduce解决数据的计算问题 Hadoop的设计考虑：设计分布式的存储和计算解决方案架构在廉价的集群之上，所以，服务器节点出现宕机的情况是常态。数据的安全是重要考虑点。HDFS的核心设计思路就是对用户存进HDFS里的所有数据都做冗余备份，以此保证
2017-06-24 22:20:24
51422
8
原创 EditPlus技巧集锦
本人收集到的一些关于使用EditPlus的一些小技巧，怕忘记，所以记在博客啦，各位看官，如果有好用的技巧，麻烦推荐给我哈。1、去掉.bak文件2、讲文件中所有两个以上的空格替换成tab
2017-06-18 14:29:05
45946
原创 简明VIM攻略
你想以最快的速度学习人类史上最好的文本编辑器VIM吗？你先得懂得如何在VIM幸存下来，然后一点一点地学习各种戏法。Vim the Six Billion Dollar editorBetter, Stronger, Faster.学习 vim 并且其会成为你最后一个使用的文本编辑器。没有比这个更好的文本编辑器了，非常地难学，但是却不可思议地好用。我建议下面这四个
2017-06-17 12:33:36
45777
原创 《Hadoop Operations》读书笔记 - 4 - 第五章 安装与配置
安装 Hadoop有无数种办法可以安装 Hadoop，这里给出的只是最佳实践的建议。对于 tarball 安装来说，拥有很大的灵活性，但同样也带来了很多不确定性。作为管理员需要为其额外的创建用户，以及准备各种目录，配置各种目录的权限。如果不确定自己应该使用哪种安装方式，应该先从软件源或者 RPM/Deb 软件包安装开始。Hadoop 的运行不需要使用 root 权限。但是安装的时候，需
2017-06-03 17:39:20
45957
原创 《Hadoop Operations》读书笔记 - 3 - 第四章 规划集群
选择 Hadoop 发布以及版本计划部署 Hadoop 集群的第一件事情就是选择 Hadoop 的发布和版本。需要开发人员、分析师、以及BI类其他系统共同来决定。一般提到 Hadoop 往往除了 Hadoop 核心外，还会需要其生态圈的其它组成部分。所有这些组成部分必须要考虑到兼容性的问题，包括二进制兼容和API兼容。Apache Hadoop在 1.0 以前，Apache 很久才
2017-06-03 17:38:28
45987
原创 《Hadoop Operations》读书笔记 - 2 - 第三章 MapReduce
MapReduce，在这里实际上有两个含义，一个是一种分布式计算模型；另一个是某种特定实现，比如Apache Hadoop MapReduce。其设计目的是为了简化大规模、分布式、高容错性的数据处理应用的开发，目前MapReduce是首选方案。在MapReduce中，将任务拆分成了两部分，Map 函数和 Reduce 函数，开发人员只需要关注这二者实现即可，而底层构架则负责如何并行化、如何调度
2017-06-03 17:37:12
45484
原创 《Hadoop Operations》读书笔记 - 1 - 第二章 HDFS
传统存储是 SAN 或者 NAS，提供了集中化、低延时的块存储或者文件系统，以支持TB级数据。在面对关系型数据库之类的服务时，这是很好的选择。但是面对上万台计算机同时提取几百TB的数据时，这种集中型存储就难以胜任了。HDFS的设计目标存储上百万的大文件，每个文件都大于几十TB的数量级；使用普通服务器，横向扩展，不必使用RAID；针对大规模、流式读写进行优化，而不考虑低延时或者小文件。批
2017-06-03 17:36:20
45366
原创 大数据学习路线
最近有很多人问我如何学习大数据？我也是思考了很多时日才动笔写下此文。一方面我自己还只是大数据学习中的一个小学生，贸然动笔怕贻笑大方；另一方面大数据本身领域博大精深，其涵盖领域之广技术种类之多确实很难用一篇文章囊括。怎奈“下雨天打孩子，闲着也是闲着”，况笔者一直坚持写技术类的博客，今天也请允许我写一点务虚类的东西吧。 本文的目的是希望给所有大数据初学者规划一条比较清晰的学习路线，帮助它
2017-06-03 16:35:58
51574
10
原创 人工智能与机器学习速查表
机器学习和深度学习库速查表Numpy库PandasScipyMatplotlibScikit LearnKerasNeural Networks Zoo
2017-06-03 14:43:23
45677
原创 最全面的 Spring 学习笔记
Spring致力于提供一种方法管理你的业务对象。在大量Java EE的应用中，随处可见Spring。今天我将简单的介绍一下Spring这个框架。本文适合读者：想学Spring的Java开发者刚用Spring不久的人Why为什么要使用Spring？Spring主要两个有功能为我们的业务对象管理提供了非常便捷的方法：DI（Dependency
2017-06-03 14:05:56
47489
1
原创 69个经典的Spring面试题和答案
1. 什么是spring?Spring 是个java企业级应用的开源开发框架。Spring主要用来开发Java应用，但是有些扩展是针对构建J2EE平台的web应用。Spring 框架目标是简化Java企业级应用开发，并通过POJO为基础的编程模型促进良好的编程习惯。 2. 使用Spring框架的好处是什么？轻量：Spring 是轻量的，基本的版本大约2M
2017-06-03 14:04:45
46087
hadoop-eclipse-plugin-2.7.4.jar
2017-09-03
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人