- 博客(14)
- 资源 (6)
- 问答 (1)
- 收藏
- 关注
RSS订阅转载 Hadoop 2.0工作原理学习
1 HDFS简介1.1 Hadoop 2.0介绍Hadoop是Apache的一个分布式系统基础架构，可以为海量数据提供存储和计算。Hadoop 2.0即第二代Hadoop系统，其框架最核心的设计是HDFS、MapReduce和YARN。其中，HDFS为海量数据提供存储，MapReduce用于分布式计算，YARN用于进行资源管理。Hadoop 1.0和Hadoop 2.0的结
2017-10-29 23:02:55
209
转载 HDFS Federation机制
前言在上一篇文章HDFS自定义小文件分析功能中，提到了NameNod内存空间使用过高的问题,紧接着提到了其中一个解决方案，就是HDFS Federation.说来也是挺奇怪的,HDFS的Federation机制其实在Hadoop很早的版本中就就有了,可是从日常使用上来看,了解和真正使用这个功能的人并不多.原因可能在于目前对于绝大多数用户的使用场景,一个NameNode或一对HA的N
2017-10-29 09:01:53
417
转载 oracle: listener.ora 、sqlnet.ora 、tnsnames.ora的配置及例子
1.解决问题：TNS或者数据库不能登录。 最简单有效方法：使用oracle系统提供的工具 netca 配置(把原来的删除掉重新配置) $netca 2.然而，仍有疑问：如何指定'listener.ora'存放的目录？不要默认目录($ORACLE_HOME/network/admin) 在 '.profile' 中加入[c-sharp]
2017-10-27 16:25:09
350
转载 怎样查看Jsp编译后生成的Java文件
可能大多数Jsp开发员在写完程序测试通过后，不太会关注Jsp生成的Java文件，其实，通过Java代码，更能体现程序代码的真正含义，对进一步研究程序代码的后台运行情况是非常有帮助的。例如，用Jsp编写代码时，有时候用，有时候用，加不加感叹号，到底有什么不同吗？ （Jsp代码加感叹号与不加感叹号的区别）这类问题在教程里一般不会涉及到，从哪里找到问题的突破口呢——Jsp生成的Java文件！所以，对于J
2017-10-25 18:08:51
7123
转载 MapReduce:详解Shuffle过程
Shuffle过程是MapReduce的核心，也被称为奇迹发生的地方。要想理解MapReduce， Shuffle是必须要了解的。我看过很多相关的资料，但每次看完都云里雾里的绕着，很难理清大致的逻辑，反而越搅越混。前段时间在做MapReduce job 性能调优的工作，需要深入代码研究MapReduce的运行机制，这才对Shuffle探了个究竟。考虑到之前我在看相关资料而看不懂时很恼火，所以在这里
2017-10-22 23:47:47
178
转载 response.reset() 与response.resetbuffer使用场景
getResponse的getWriter()方法getResponse的getWriter()方法连续两次输出流到页面的时候，第二次的流会包括第一次的流，所以可以使用response.reset或者resetBuffer的方法。 reset():Clears any data that exists in the buffer as well as the statu
2017-10-19 11:22:11
3322
原创 Failed to locate the winutils binary in the hadoop binary path java.io.IOException: Could not locat
今天学习了一点hadoop mapreduce框架的一些知识，但是之前不知道怎么在本地跑此程序，所以遇到了一些困难，说下解决思路：首先，我们要准备hadoop环境，配置hadoop运行环境，跟我们配置java_home一样，唯一区别是在我们还需要hadoop-common-2.2.0-bin-master，将winutils及hadoop.dll导入到我们hadoop bin中并且将其添加到w
2017-10-14 20:03:58
2859
2
原创 mapReduce job的提交流程
举一个非常简单的例子，通过mapreduce计算单词数量，下面为相关代码：1）准备环境，创建一个java工程，导入相关hdfs jar包，这些so easy 不在复述。2）首先我们都知道mapreduce框架，经过2个阶段，一个map阶段一个reduce阶段，所以我们首先要创建一个map来整理我们的单词和数量然后通过reduce来计算我们的单词相关总数。相关代码如下：我们可以把
2017-10-12 21:10:55
1381
转载 浏览器兼容之JavaScript篇——已在IE、FF、Chrome测试
在浏览器兼容性问题解决方法，已在IE、FF、Chrome测试中，已经对关于CSS的一些兼容性问题进行了总结，后来自己又整理了一些关于JS的兼容性问题，现在分享给大家。1）ChildNodes问题： IE7、IE8正常，IE9、IE10、chrome、FF的 childNodes 中会插入空白文本节点解决： 可以通过document.getElementsByName
2017-10-11 16:09:30
291
原创 JS判断是否为IE浏览器
最近在解决IE升级及浏览器兼容问题，有些原生态的js方法与属性随着版本的不同则相应的不同，所以判断浏览器就是一个很必要的动作了，js判断是否为IE浏览器function isIE() { if(!!window.ActiveXObject || "ActiveXObject"in window) returntrue; else return
2017-10-11 10:10:39
15152
转载 Chrome不支持showModalDialog的解决方案
昨天在使用showModalDialog的时候，遇到如下问题：如果子窗口被刷新过，那么父窗口就接受不到子窗口的返回值。为了解决这个问题，哎，我纠结了好久，最后才发现不是代码的问题，而是多浏览器兼容问题，因为我是用Chrome调试的，而Chrome是不支持showModalDialog的，所以父窗口才没有收到子窗口的返回值的，在IE下就没有这个问题了。后来在网上查了一下，
2017-10-11 09:34:10
854
原创 hadoop文件上传解析
首先hadoop文件上传是一个复杂的过程，下面就让我们一下图为例进行简单的过程解析。由上图客户端上传一个文件，比如上述路径，首先hadoop平台查询内存元数据信息是否可以上传，如果可以那么namenode会分配需要上传的datanode数信息，然后通知客户端可以进行文件上传此过程会使用远程调用框架技术（RPC）,这里不在复述，然后客户端根据返回树信息进行文件上传，上传成功之后datan
2017-10-09 22:51:59
2289
原创 hdfs获取输入流跟踪
测试代码如下：从上面例子可以看出fs对象open方法获取输入流对象，那么获取输入流对象可以获取什么信息呢？通过跟踪我们可以看出输入流信息非常丰富，比如：namenode信息，block块信息，大小，是否完整，块信息，还有远程通信的代理对象信息等。那么就让我们跟踪了解其原理：首先fs对象调用open方法，设置缓存大小为4096，相当于磁盘一个簇的大小，（我认为设置这样的大小速度效率应
2017-10-08 22:49:19
368
springMVC 简单实例流程代码
2017-11-20
文件下载进度条
2017-03-25
weblogic12c 与cxf2.7版本冲突
2022-06-19
TA创建的收藏夹 TA关注的收藏夹
TA关注的人