2016年12月_ZhiYuanYe

12月 09月 08月

原创 Hadoop的MapReduce执行过程

执行MapReduce的命令hadoop jar <jar在linux的路径> <main方法所在的类的全类名> <参数>例子：hadoop jar /root/wc1.jar cn.itcast.d3.hadoop.mr.WordCount hdfs://yzy:9000/animals/resultMR执行流程客户端提交一个mr的jar包给JobClient(提交方式：hadoop j

2016-12-30 14:48:58 2442

转载 Hadoop 面试，有它就够了

本文针对Hadoop1.0版本 Map Reduce & YARN 简介 Apache Hadoop 是一个开源软件框架，可安装在一个商用机器集群中，使机器可彼此通信并协同工作，以高度分布式的方式共同存储和处理大量数据。最初，Hadoop 包含以下两个主要组件：Hadoop Distributed File System (HDFS) 和一个分布式计算引擎，该引擎支持以 Map

2016-12-30 09:08:02 2587

Remote Procedure Call RPC——远程过程调用协议，它是一种通过网络从远程计算机程序上请求服务，而不需要了解底层网络技术的协议，通俗讲就是不同进程之间的方法调用。RPC协议假定某些传输协议的存在，如TCP或UDP，为通信程序之间携带信息数据。在OSI网络通信模型中，RPC跨越了传输层和应用层。RPC使得开发包括网络分布式多程序在内的应用程序更加容易。RPC采用客户机/服务器模式

2016-12-30 08:50:44 576

原创 HDFS工作原理（1.0）

NameNode 是整个文件系统的管理节点。它维护着整个文件系统的文件目录树，文件/目录的元信息和每个文件对应的数据块列表。接收用户/客户端的操作请求。文件包括： fsimage:元数据镜像文件。并不是实时同步，而是存储某一时段NameNode内存元数据信息。hdfs-site.xml的dfs.name.dir属性。 edits:操作日志文件。 fstime:保存最近一次checkpoi

2016-12-29 16:39:47 2998

原创 hadoop伪分布式搭建(2.4.1)

1.准备Linux环境 1.虚拟机->虚拟网络编辑器->host-only(仅主机模式) ->修改subnet ip 设置网段：192.168.8.0 子网掩码：255.255.255.0 -> apply -> ok 回到windows –> 打开网络和共享中心 -> 更改适配器设置 -> 右键VMnet1 -> 属性 -> 双击IPv4 -> 设置windows的IP

2016-12-28 14:17:31 2684

原创各种分布式文件系统简介及适用场景

常见的分布式文件系统有，GFS、HDFS、Lustre 、Ceph 、GridFS 、mogileFS、TFS、FastDFS等。各自适用于不同的领域。它们都不是系统级的分布式文件系统，而是应用级的分布式文件存储服务。Google学术论文，这是众多分布式文件系统的起源Google File System（大规模分散文件系统） MapReduce （大规模分散FrameWork） BigTable

2016-12-27 15:35:10 23922

原创 java中为什么类名可以直接调用静态方法？

因为该类的静态方法是程序启动时自动放在内存中了的，是属于程序的公共内存(但只能访问)，而类名在这里你可以理解为命名空间。先通俗的分析下，我们把类看作是一个房子。房子里面有家具，桌椅板凳之类的，房子里面还有人。房子里面所有的人都应该是共有一套家具的。也就是说，这些家具是唯一的，如果某个家具坏了，那么大家都用不了。我们再看一看定义，java的静态变量也叫做类变量，它开始于类的创建，结束于类的消亡

2016-12-21 16:15:31 3751 1

转载从零开始搭建一个HTTPS网站

我们都知道HTTP是非常不安全的，不安全的根源在于HTTP是明文传输。你在谷歌搜索了一个关键词（假设Google使用HTTP），HTTP数据包从你的计算机传送到服务器的过程中，中间经过的任意一个设备都可以轻松解析你的数据包，获取你的关键词，你的隐私毫无保障。你的信息被人获取只是明文传输的其中一个问题。总体来说，明文传输有三个问题：窃听：第三方可以获取你的信息。篡改：第三方可以修改你的信息。冒

2016-12-21 13:56:12 15541

原创几种大数阶乘算法效率比较（Java）

完整代码：package bigdatamul;import java.math.BigInteger;/** * 大数阶乘** @Description: TODO(大数阶乘)** @author yzy * @date 2016-12-20 上午9:31:14* */public class Test { public static void main(Stri

2016-12-20 09:50:43 5052

原创 ZooKeeper配置详解与集群搭建

1、安装JDK环境，参考：linux下安装JDK 2、zookeeper安装包上传到服务器，并解压得到zookeeper-3.4.6 3、mkdir /usr/local/zoo-cluster 4、 cp -r zookeeper-3.4.6 /usr/local/zoo-cluster/zookeeper01 cp -r zookeeper-3.4.6 /usr/loca

2016-12-19 22:13:28 666

原创 Java接口回调

java中接口是不可以直接创建实例的，如果把一个接口声明为一个变量，那么执行这个接口中的方法，接口没有实例是行不通的。但是java的“多态”给了我们契机，在调用这个方法的时候JVM会自动去找其子类，也就是调用其子类中实现的该方法，这是接口回调的本质。所以说，只需要给该变量指向其子类的地址就可以在调用的时候知道调用子类的方法。举个例子，那么我们就可以在Test类中创建接口CallBackInter

2016-12-16 10:02:17 1008 1

转载 Java 代码性能优化

文章来源：http://blog.csdn.net/richard_jason/article/details/53004974 作者：Richard_Jason代码优化，一个很重要的课题。可能有些人觉得没用，一些细小的地方有什么好修改的，改与不改对于代码的运行效率有什么影响呢？这个问题我是这么考虑的，就像大海里面的鲸鱼一样，它吃一条小虾米有用吗？没用，但是，吃的小虾米一多之后，鲸鱼就被喂饱了。代

2016-12-15 11:12:24 477

转载 69个经典Spring的概述

Spring 概述1.什么是spring?Spring 是个java企业级应用的开源开发框架。Spring主要用来开发Java应用，但是有些扩展是针对构建J2EE平台的web应用。Spring 框架目标是简化Java企业级应用开发，并通过POJO为基础的编程模型促进良好的编程习惯。69个经典Spring的概述 - 爱七七五八网 - 12.使用Spring框架的好处是什么？轻量：Spring 是轻量的

2016-12-15 11:02:00 634

转载每个程序员都要知道的35个jQuery小技巧

1.禁止右键点击$(document).ready(function(){$(document).bind(“contextmenu”,function(e){return false;});});2.隐藏搜索文本框文字Hide when clicked in the search field, the value.(example can be found below in the comment

2016-12-15 11:00:36 583

转载高性能网站建设指南

性能黄金法则：只有10%~20%的最终用户响应时间花在了下载HTML文档上。其余的80%~90%时间花在了下载页面中的所有组件下。HTTP概述：1.压缩：浏览器：Accept-Encoding（gzip、deflate）服务器：Content-Encoding2.缓存：浏览器：If-Modified-Since 服务器：Last-Modified如果组件自生成日期以来，没有改变过，服务器返

2016-12-15 10:51:57 607

原创 Linux安装JDK（tar.gz版）

1、下载JDK的tar.gz文件，上传到/usr/local 2、解压：tar -xzvf jdk-8u65-linux-x64.gz 3、执行：vi /etc/profile 在文件末尾添加 export JAVA_HOME=/usr/local/jdk1.8.0_65 　　export JRE_HOME=$JAVA_HOME/jre 　　export CLASSPATH=.:$J

2016-12-13 21:24:01 929

转载 redis.conf配置详细解析

转自：http://www.cnblogs.com/kreo/p/4423362.html# redis 配置文件示例# 当你需要为某个配置项指定内存大小的时候，必须要带上单位，# 通常的格式就是 1k 5gb 4m 等酱紫：## 1k => 1000 bytes# 1kb => 1024 bytes# 1m => 1000000 bytes# 1mb => 1024*1024 by

2016-12-13 16:00:08 707

原创 Redis持久化策略(RDB、AOF)

Redis的强劲性能很大程度上是由于其将所有数据都存储在了内存中，为了使Redis在重启之后仍能保证数据不丢失，需要将数据从内存中以某种形式同步到硬盘中，这一过程就是持久化。 Redis支持两种方式的持久化，一种是RDB方式，一种是AOF方式。可以单独使用其中一种或将二者结合使用。1、RDB方式 RDB方式的持久化是通过快照（snapshotting）完成的，当符合一定条件时Re

2016-12-13 15:52:31 1428

转载 epoll原理

转自：https://my.oschina.net/dclink/blog/287198首先我们来定义流的概念，一个流可以是文件，socket，pipe等等可以进行I/O操作的内核对象。不管是文件，还是套接字，还是管道，我们都可以把他们看作流。之后我们来讨论I/O的操作，通过read，我们可以从流中读入数据；通过write，我们可以往流写入数据。现在假定一个情形，我们需要从流中读数据，但是流中还没有

2016-12-13 15:37:09 446

原创 Redis集群版搭建

搭建：集群中应该至少有三个节点，每个节点有一备份节点。需要6台服务器。搭建伪分布式，需要6个redis实例（3个master，3个slave）。搭建集群的步骤：第一步：创建文件夹redis-cluster，分别复制6份redis文件夹到redis-cluster下，分别放在redis01-06文件夹下，分别删除dump.rdb文件第二步：修改redis.conf ，port分

2016-12-13 15:27:51 435

原创 Redis单机版搭建

安装：第一步：安装gcc编译环境 yum install gcc-c++ 第二步：把redis的源码上传到linux服务器。第三步：解压缩。 tar -zxvf redis-3.0.0.tar.gz 进入解压文件夹第四步：make 第五步：make install PREFIX=/usr/local/redis启动：两种启动方式，前端启动、后台启动。前端启动：./redi

2016-12-13 15:21:10 534