2016年04月_时冲

06月 05月 04月 03月

原创快速搭建 node.js+express

1 安装node2 npm install -g express3 npm install -g express-generator4 express -V5 express helloworld6 npm start7 访问http://localhost:3000/

2016-04-29 15:26:57 253

原创 Http、TCP/IP协议与Socket

网络由下往上分为:物理层--数据链路层--网络层-- IP协议传输层-- TCP协议会话层--表示层和应用层-- HTTP协议1、TCP/IP连接手机能够使用联网功能是因为手机底层实现了TCP/IP协议，可以使手机终端通过无线网络建立TCP连接。TCP协议可以对上层网络提供接口，使上层网络数据的传输建立在“无差别”的网络之上。建立起一个TCP连接需要经过“三次握

2016-04-28 11:54:38 486

转载多核 CPU 和多个 CPU 有何区别

架构可以千变万化，面向需求、综合考量是王道。来，简单举个例子。假设现在我们要设计一台计算机的处理器部分的架构。现在摆在我们面前的有两种选择，多个单核CPU和单个多核CPU。如果我们选择多个单核CPU，那么每一个CPU都需要有较为独立的电路支持，有自己的Cache，而他们之间通过板上的总线进行通信。假如在这样的架构上，我们要跑一个多线程的程序（常见典型情况），不考虑超线程，那么每一个线程

2016-04-27 17:58:26 6068

原创消息队列

一应用场景有很多业务, 客户端和内网都要进行数据传输和交换, 现有架构中, 客户端不能直接访问内网, 那么客户端只能: 先把数据保存到外网服务器, 然后内网服务器再拉回来处理. 这种方式可以保证数据都能被处理, 但实效性不够. 通常, 外网服务器只起到一个暂时保存数据的作用, 保存客户端报上来的数据, 然后等待内网来拉走,把客户端看做producer, 内网看做consu

2016-04-21 11:32:44 364

原创 Struts1、Struts2和SpringMVC

这三个框架是按照上面的顺序，依次出现的，它们都是对MVC模式的实现。为什么会出现这三个、甚至更多的MVC框架呢？他们都是为了将URL世界映射到Java世界。尽管它们它们内部的实现思路不同，有着各自的优缺点，但是它们都做到了个自己的使用目的。历史介绍大多Web应用程序，都是运行在HTTP上的。HTTP协议是一系列无状态的文本传输协议。无状态的协议不记录收到的多个请求之间的

2016-04-21 11:22:25 1074 1

原创 tomcat简介

一、Tomcat背景　　自从JSP发布之后，推出了各式各样的JSP引擎。Apache Group在完成GNUJSP1.0的开发以后，开始考虑在SUN的JSWDK基础上开发一个可以直接提供Web服务的JSP服务器，当然同时也支持Servlet, 这样Tomcat就诞生了。Tomcat是jakarta项目中的一个重要的子项目，其被JavaWorld杂志的编辑选为2001年度最具创新的java产品，

2016-04-21 11:12:48 310

原创 tomcat线程池

①客户端向服务器端发出请求；②这个过程比较重要，这时候Tomcat会创建两个对象：HttpServletResponse和HttpServletRequest。并将它们的引用（注意：是引用！）传给刚分配的线程中；③线程开始着手接洽servlet；④servlet根据传来的是GET和POST，分别调用doGet()和doPost()方法进行处理；⑤和⑥servlet将处理后的结果通过

2016-04-20 22:00:13 1656

原创 tomcat 性能优化

tomcat默认参数是为开发环境制定，而非适合生产环境，尤其是内存和线程的配置，默认都很低，容易成为性能瓶颈。 tomcat内存优化linux修改TOMCAT_HOME/bin/catalina.sh，在前面加入JAVA_OPTS="-XX:PermSize=64M -XX:MaxPermSize=128m -Xms512m -Xmx1024m -Duser.timezone=

2016-04-20 21:58:55 244

转载 NodeJS 单线程和java 多线程

NodeJS宣称其目标是“ 旨在提供一种简单的构建可伸缩网络程序的方法 ”，那么它的出现是为了解决什么问题呢，它有什么优缺点以及它适用于什么场景呢？本文就个人使用经验对这些问题进行探讨。一. NodeJS的特点我们先来看看NodeJS官网上的介绍：Node.js is a platform built on Chrome's JavaScript runtime fo

2016-04-20 20:17:41 8452

原创 hadoop_案例_2

三个案例都是关于算法的1 Pagerank算法，网页排名 PR值，是谷歌的算法（hadoop就是从gugool出来的）是用来做搜索结果排序的 PR值是通过pagerank算出来的百度站长工具京东是7（后面省略小数）只有百度和google是10 google把A页面到B页面的连接叫做 A页面对B页面的投票，投票就是超链接如

2016-04-20 17:46:05 644

原创 hadoop_案例_1

执行程序的3中方式： 1、直接在服务器上，mapreduce的执行环境是yarn，要打成jar包，放到环境里使用命令的方式调用，执行过程也在服务器上 a、通过： hadoop jar jar路径类的全限定名这个命令会把jar自动提交到服务器上运行 2、在本地直接调用，执行过程在服务器上 a、首先在src下放置服务器上的

2016-04-20 17:43:40 384

原创 Mapper类/Reducer类中的setup方法和cleanup方法以及run方法的介绍

在hadoop的源码中，基类Mapper类和Reducer类中都是只包含四个方法：setup方法，cleanup方法，run方法，map方法。/** * Expert users can override this method for more complete control over the * execution of the Mapper. * @pa

2016-04-20 16:21:26 8303

原创 MapReduce:详解Shuffle过程

Shuffle过程是MapReduce的核心，也被称为奇迹发生的地方。要想理解MapReduce， Shuffle是必须要了解的。 Shuffle的正常意思是洗牌或弄乱，可能大家更熟悉的是Java API里的Collections.shuffle(List)方法，它会随机地打乱参数list里的元素顺序。如果你不知道MapReduce里Shuffle是什么，那么请看这张图：

2016-04-08 11:46:09 254

原创 hadoop SecondNamenode

SecondNamenode名字看起来很象是对第二个Namenode，要么与Namenode一样同时对外提供服务，要么相当于Namenode的HA。真正的了解了SecondNamenode以后，才发现事实并不是这样的。下面这段是Hadoop对SecondNamenode的准确定义：SecondNamenode是对主Namenode的一个补充，它会周期的执行对HDFS元数据的检查点。

2016-04-07 15:21:27 387

原创 hadoop_2_完全分布式高可用

1 hadoop 中的高可用，后面所有内容都在高可用中2 HDFS 的高可用，针对namenode（管理节点）当namenode内存受限时，增加namenode节点叫HDFS的联邦 3 HDFS HA namenode 高可用，zookeeper 主、备4 hadoop2.0 完全分布式高可用，注意与keepalived不同的

2016-04-01 15:43:45 653

原创 hadoop_1_完全分布式

JAVA_HOME=/usr/java/jdk1.7.0_71export JAVA_HOME=${JAVA_HOME}export HADOOP_PREFIX=/home/hadoop-2.5.1 # 这个先不管，应该是mepredios中用配置etc文件完后重新启动关闭防火墙开机启动echo "service iptables stop" >> .bas

2016-04-01 15:42:25 291