- 博客(215)
- 资源 (10)
- 收藏
- 关注
RSS订阅转载 mapreduce 的过程
从前面的例子我们已经大致了解了一个MapReduce的作业的过程，但是这样是不够的，本节将深入探讨MapReduce的整个过程。从输入到输出 从前而的WordCount可以看出，一个MapReduce作业经过了input, map, combine, reduce.output五个阶段，其中combine阶段并不一定发生，map输出中间结果被分发到 reducer 的过程
2017-05-08 22:17:53
807
原创 bootstrap当中，实现一些常用的元素居中
在 bootstrap当中，实现居中，咱们可以大体分3类：文本内容居中：利用bootstrap自带CSS样式表当中 的 text-center 样式来实现。 代码实现注意，此处引用了 <%String path = request.getContextPath();String basePath = request.getSch
2017-05-07 12:51:40
106573
转载 MapReduce的局限性
从MapReduce 的特点可以看出MapReduce的优点非常明显，但是MapReduce也有其局限性，并不是处理海量数据的普适方法。它的局限性主要体现在以下几点。 MapReduce的执行速度慢。一个普通的MapReduce作业一般在分钟级别完成，复杂的作业或者数据量更大的情况下，也可能花费一小时或者更多，好在离线计算对于时间远没有OLTP那么敏感。所以MapReduce现在不是
2017-05-04 17:46:43
4834
转载 MapReduce的计算资源划分
一个MapReduce作业的计算工作都由TaskTracker完成， 用户向Hadoop提交作业，JobTracke:会将该作业拆分为多个任务，并根据心跳信息交由空闲的TaskTracker启动。一个TaskTracker能够启动的任务数量是由TaskTracker配置的任务槽(slot)决定。槽是Hadoop的计算资源的表示模型，Hadoop将各个节点上的多维度资源(CPU、内存等)抽象成一维度
2017-05-04 17:31:09
2453
转载 MapReduce作业和任务
MapReduce作业(job)是用户提交的最小单位，而Map/Reduce任务(task)是MapReducev算的缎小单位，如图示。 当用户向Hadoop提交一个MapReduce作业时，JobTracke的作业分解模块会将其分拆为任务交由各个TaskTracker执行，在MapReduce 计算框架中，任务分为两种—Map任务和Reduce了任务。
2017-05-04 17:21:36
2694
转载 MapReduce运行环境
与HDFS相同的是，Hadoop的MapReduce计算框架也是主从架构，支撑MapReduce计算框架的是JobTracke:和TaskTracke:两类后台进程，如图JobTrackerJobTracke:在集群中扮演了主的角色，它主要负责任务调度和集群资源监控这两个功能，但并不参与具体的计算。一个Hadoop集群只有一个JobTracker，存在单点故障的可能
2017-05-04 17:12:07
1317
原创 java ee 的web项目当中，css样式表的背景图片显示。
css样式表中引用背景图片，最好的方式：.slide-one {background-image: url(../images/slide-1.jpg)}.slide-two {background-image: url(../images/slide-2.jpg)}.slide-three {background-image: url(../images/slide-3.jpg)}
2017-05-02 15:11:23
4226
原创 如何手动关闭tomcat服务，不在Eclipse中的server里按那个红色按钮关。
首先，找到Tomcat服务器的安装目录bin目录下的shutdown.bat。然后拖动到命令行进行操作，将Tomcat服务器关闭~将shutdown.bat 文件拖至命令行操作当中，执行该命令，即可关闭Tomcat服务器。
2017-05-02 15:03:53
20839
1
原创 hadoop基石HDFS
HDFS的设计理念是源于非常朴素的思想：当数据集大小超过单台计算机的存储能力时，就有必要将其进行分区，并且存储到若干台单独的计算机上，而管理网络中跨多台计算机存储的文件系统称为分布式文件系统（distribute filesystem）.hadoop 具有一个抽象的文件系统的概念，HDFS只是其中的一个实现。hadoop文件系统接口由Java 抽象类 org.apache.hadoop
2017-04-26 16:14:27
720
原创 hadoop 安装前须知
hadoop在安装前，咱们需要知道一下几点。 1.hadoop运行模式 单机（本地）模式：这种模式在一台单机上运行，没有分布式文件系统，而是直接读写本地操作系统的文件系统。在单机模式（standalone）中不会存在守护进程，所有东西都运行在一个JVM上。这里同样没有DFS，使用的是本地文件系统。适用于开发过程中运行MapReduce程序，（非常少用的一种模式）。 伪分布式模式
2017-04-26 10:36:32
374
原创 Hadoop 架构简介
根据对HDFS架构和MapReduce架构的了解，咱们首先清楚的明白了，HDFS和MapReduce的集群其实都是由一些守护进程组成的，而所有的守护进程和运行他们的节点就构成了Hadoop集群。由上图咱们可以看到NameNode进程和JobTasker进程在一个节点上运行，而DataNode和TaskTracker 在同一个节点上运行。值得注意的是：DataNode和TaskTrack
2017-04-26 10:09:02
357
原创 Hadoop MapReduce 架构
构成MapReduce集群为两类节点， JobTeacker和TaskTrasker。 与HDFS架构类似，MapReduce也采用主从（master、slave）的架构。JobTeacker和TaskTrasker分别是两种守护进程，运行在各自的节点上，客户端负责用户作业的提交。JobTeacker数目：1个；作用：负责接受客户端作业提交，调度任务到Tas
2017-04-26 09:45:35
382
原创 Hadoop HDFS 架构
构成HDFS 集群的主要是两个节点，并且，以主从（master/slave ） 的模式，或者说是NameNode管理者-DataNode工作者的模式运行，一般来说，都是一个管理者对应多个工作者。还有一个节点，叫做SecondaryNameNode,作为NameNode镜像数据备份。NameNode：数目：1个；作用：存储文件系统的元数据，存储文件与数据块的映射，并提
2017-04-26 09:34:49
300
原创 修改bootstrap 中 CSS 样式表，以实现自己需要的部分样式。
bootstrap当中，已经自动配置好许多CSS 样式，但是，咱们可以根据自己的需要来修改相应的部分内容，实现自己想要的结果。目前，尼玛哥在web前端开发的过程当中， 使用到了bootstrap框架，但是在写导航条部分代码时，需要将.navbar-brand 的颜色设置为自己想要的颜色。默认颜色为#777（灰色），咱们想将标志变为蓝色。修改bootstrap.min.css文件或者bo
2017-04-25 11:05:57
12080
6
原创 关于Bootstrap （Web框架）
Bootstrap 来自 Twitter，是目前很受欢迎的前端框架。Bootstrap 是基于 HTML、CSS、JAVASCRIPT 的，它简洁灵活，使得 Web 开发更加快捷。它由Twitter的设计师Mark Otto和Jacob Thornton合作开发，是一个CSS/HTML框架。Bootstrap提供了优雅的HTML和CSS规范，它即是由动态CSS语言Less写成。Bootstr
2017-04-25 10:47:18
923
转载 Oracle 10g 如何删除干干净净！
oracle数据库卸载非常麻烦，经常卸载不彻底，导致重新装oracle非常麻烦，针对不同的平台需要不同的方法。一、Linux 平台Linux 平台下卸载Oracle 非常简单，即：删除Oracle安装目录下的所有文件和文件夹即可。二、Windows 平台 因为Oracle在Windows下的卸载有一些麻烦，如果不能完全卸载有可能影响将来的再次安装
2017-04-12 22:02:37
8043
转载 Eclipse中10个最有用的快捷键组合
Eclipse中10个最有用的快捷键组合 一个Eclipse骨灰级开发者总结了他认为最有用但又不太为人所知的快捷键组合。通过这些组合可以更加容易的浏览源代码，使得整体的开发效率和质量得到提升。 1. ctrl+shift+r：打开资源 这可能是所有快捷键组合中最省时间的了。这组快捷键可以让你打开你的工作区中任何一个文件，而你只需要按下文件名或mask名中的前几个
2017-04-10 09:55:12
236
转载 JAVA,Andriod,linux,Php,Mysql,HTML/CSS等学习资源，供大家参考
由于尼玛哥需要学习的东西过多，极度需要学习资源，在网上看到有好的帖子，就转了，希望能给大家用上，注意，有些部分是需要收费的。
2017-04-09 17:44:34
635
原创 流行编程语言及其注释方式一览表
各种编程语言的注释符号比较[隐藏] 编程语言分类按平台.NET框架平台语言C++/CLI C# F# IronPython IronRuby J# Visual C# VB.NET Small Basic
2017-04-06 15:22:23
1393
原创 快速学习javaSE基础4---面向对象的编程
学习面向对象三条主线1.java类及类的成员2.面向对象的三大特征3.其它关键字学习棉线对象，需要懂得的ABCD....A.了解面向对象与面向过程面向对象(OOP)与面向过程二者都是一种思想，面向对象是相对于面向过程而言的。面向过程，强调的是功能行为。面向对象，将功能封装进对象，强调具备了功能的对象。面向对象更加强调运用人类在
2017-04-06 14:51:12
463
原创 eclipse 小技巧，设置输入任何字母都有快捷提示.
尼玛哥每次在码代码的时候吧，总是很懒惰，就是觉得每一个都输入的方式很累，于是，请教了师兄，并且，师兄也给出了解决方案，于是，尼玛哥将这个方法分享给大家，希望，对于像尼玛哥一样的小白们，能够快速的上手，并且节约码代码的时间，哈哈哈哈~接下来是，咱们图文演示一下~只需要3步第一步：第二步：是第三步，保存，应用，并实践。OK ，咱们在任意一个编辑页面，输入任意的字母，
2017-03-29 11:01:06
17151
原创 快速学习javaSE基础3-java必须了解的基本语法2（熟记）
尼玛哥编写完了基本语法1之后，立马开始了基本语法2的学习，其实，语法都比较容易，但是，越简单的东西，越是会忘记，咱们还是得多多的回头看看自己做的笔记，有助于自己更好的提升自己的操作水平哈~基本语法2呢，主要讲的是流程控制语句。顺序结构程序从上到下逐行地执行，中间没有任何判断和跳转。分支结构根据条件，选择性地执行某段代码。有if…else和switch两种分支语句。循
2017-03-27 23:47:36
415
原创 快速学习javaSE基础3-java必须了解的基本语法1（熟记）
到了基本语法阶段了，基本语法，对于我们来说，是十分重要的内容，不懂得语法，对于我们以后的编程将会很困难，所以，尼玛哥希望大家和尼玛哥一起，牢牢的记住这个些语法规则。
2017-03-27 16:27:53
1139
原创 快速学习javaSE基础2-java编程环境搭建基本过程（掌握）
在基础1当中，咱们了解了JAVA 的一些基本常识，接下来，咱们就去了解下Java的环境是如何搭建的1.明确什么是JDK,JRE2.下载 JDK，安装 JDK官方网址：www.oracle.comjava.sun.com安装JDK傻瓜式安装，下一步即可。建议：安装路径不要有中文或者特殊符号如空格等。当提示安装 JRE 时，可以选择不安装。
2017-03-25 16:51:48
522
原创 小白们应当知道的配置系统变量PATH 的小技巧。
作为一个超级小白，尼玛哥不得不说，学习使人进步，今天，尼玛哥又学习到了一个配置环境变量的小技巧哈哈哈，接下来，给大家演示一下。首先，咱们利用JDK配置环境变量作为实际的例子，给大家进行教学。尼玛哥的JDK下载安装在本地D盘下，那么，接下来，尼玛哥需要做的就是，去配置环境变量，好，截图演示一下OK，咱们去配置环境变量一般情况下，咱们会选择在PATH 里边将咱们的JDK
2017-03-25 16:49:47
465
原创 快速学习javaSE基础1-java概述（了解）
尼玛哥在学习 JAVAWEB的过程中，发现忘记了一些JAVASE的基础知识，于是，为了温故知新，尼玛哥再一次快速回顾JAVASE的内容，整理学习笔记，希望也能够让大家快速了解到JAVA SE的基础知识，方便更快的上手JAVA 。Java语言的特点：一：面向对象两个基本概念：类、对象三大特性：封装、继承、多态二：健壮性吸收了C/C++语言的优点，但去掉了其
2017-03-25 15:17:29
512
原创 eclipse 当中，小白们所不知道的 CRTL+1 快捷键
很棒哦~尼玛哥在看JAVAWEB 视频学习的过程，看到教学的老师说 利用Ctrl+1这个快捷键，可以补全很多信息，于是，尼玛哥在又网上查询了相关的资料，有解释是这样说的。当eclipse编辑器在你编辑代码阶段，能检测到编辑时异常(错误)会在错误代码行前面出现一个红色的叉叉，这时按下Ctrl+1可以进行删除、重命名、导包、类型转换等提示或操作。下面，尼玛哥给大家做个图文解释。咱们
2017-03-23 17:09:08
2154
原创 http消息当中，post和get两种请求方式的区别
上一周一直在看有关微信小程序，订阅号，服务号，等微信的应用，没来的及继续学习，今个学习到javaweb 的servlet ,觉得有个地方，可以大家稍微注意一下，就是消息请求当中，GET 与 POST 这两个消息请求的方式，他们的区别在哪里，平常咱们都用的啥~首先，尼玛哥在网上查阅资料，大概是有以下几点的区别：1.Post传输的数据量大，可以达到2M，而Get方法由于受到URL长度的限制
2017-03-23 16:06:09
2136
原创 小白们应该知道，在Eclipse当中怎样在编译页面当中显示行号.
OK，尼玛哥在学习Javaweb的过程当中，遇到了各种问题，然后，在找问题的过程当中，提示都是会给出相应的定位，多少多少行，可是，在编译页面当中，却没有显示行号，接下来给大家介绍个显示行号的方法，供大家学习学习。1.首先，咱们在eclipse的工具栏当中找到window目录下的preferences选项2在General选项下找到editors中的TextEditors,单击进入，找到Sh
2017-03-14 22:51:05
708
原创 严重：Parse error in application web.xml file at jndi:/localhost/day_29/WEB-INF/web.xml解决办法
首先，遇到这类问题，可以先锁定问题是出在了web.xml当中，咱们看看问题的具体描述严重: Parse error in application web.xmlfile at jndi:/localhost/day_29/WEB-INF/web.xmlorg.xml.sax.SAXParseException; systemId: jndi:/localhost/day_29/WEB-
2017-03-14 22:36:30
9864
原创 linux 系统下，忘记密码的快捷解决方法。
尼玛哥在学习linux的过程当中，想到，万一自己忘记了linux的密码该怎么办？其实，在linux当中，只用简单的操作几步，就可以更改用户密码~1，重启系统，在系统进入前3秒钟，按下 E键。2，紧接着，咱们再次按下E键，进入编辑命令，在图中的三个选项当中，咱们选中kernel 内核模式下进行编辑3.第三次按下E键，进入了核心选项的模式后，咱们按下空格键，并且输入“s
2017-03-14 17:23:02
758
原创 eclipse 当中，修改文本编辑框的字体大小
尼玛哥近期在使用eclipse的时候，总是觉得这个文本编辑框字体，实在是太小了，于是，想要改变字体的大小，接下来，就给大家简单介绍一下如何将文本编辑框的字体大小进行调节。第一步。在window选项下找到preferences选项第二步，在preferences 对话框当中，选择General →Appearance→Color and Font第三步，在Color an
2017-03-13 09:34:03
3718
转载 linux基础学习之用户和用户组
尼玛哥在网上找到一个很好的介绍linux的网站，分析给大家去看看：linux基础学习Linux 用户和用户组管理Linux系统是一个多用户多任务的分时操作系统，任何一个要使用系统资源的用户，都必须首先向系统管理员申请一个账号，然后以这个账号的身份进入系统。用户的账号一方面可以帮助系统管理员对使用系统的用户进行跟踪，并控制他们对系统资源的访问；另一方面也可以帮助用户组织文件，
2017-03-10 21:51:02
238
转载 出现log4j:WARN No appenders could be found for logger 解决方法
尼玛哥在编译一个项目的时候，出现了spring项目经常在启动tomcat时报如下警告信息：log4j:WARN No appenders could be found for logger (org.springframework.web.context.ContextLoader). log4j:WARN Please initialize the log4j system prope
2017-03-08 12:06:14
68244
原创 myeclipse当中，如何导入或者导出项目
最近老师给尼玛哥一个项目，做一个在线教学平台的系统出来，尼玛哥现在还处在摸爬滚打阶段，在网上搜到一个相关的项目，刚刚开始导入项目的时候，都不知道怎么去导入项目，真的是很尴尬，在网上搜索了相关资料后才知道怎么做，接下来，就把我的导入过程，连带导出过程一并给大家演示一波，希望能给那些像尼玛哥一样的小白们，一些帮助，哈哈哈。尼玛哥用的myeclipse 10版本的图文介绍下 1.导入
2017-03-07 12:12:36
31160
原创 linux 基础学习之目录与文件处理命令
为了更好的学习linux，开始学习下基本的文件与目录的管理一.处理目录的常用命令ls: 列出目录cd：切换目录pwd：显示目前的目录mkdir：创建一个新的目录rmdir：删除一个空的目录cp: 复制文件或目录rm: 移除文件或目录mv:移动文件与木料，或修改名称touch: 创建空文件.
2017-03-06 14:08:37
468
tesseract-ocr-w32-setup-v5.0.0-alpha.20200223.exe
2020-03-11
SPSS v 22 破解安装包 用于数据挖掘，统计学分析
2017-09-04
hadoop与myclipse连接报空指针需要的hadoop.dll，winutils.exe 文件
2017-02-02
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人