2016年12月_JAVA前线

转载操作系统-进程

1 进程的概念一个进程就是一个正在运行的程序。一个进程应该包含以下内容：(1) 程序的代码，既然进程是一个正在运行的程序，自然需要程序的代码(2) 程序的数据(3) CPU寄存器的值，包括通用寄存器，程序计数器(4) 堆(heap)是用来保存进程运行时动态分配的内存空间(5) 栈(stack)有两个用途，1保存运行的上下文信息。2在函数调用时保存被调用函数的形参或者局部变量

2016-12-29 18:40:15 4665

转载大小端模式

1 什么大小端大小端在计算机业界，Endian表示数据在存储器中的存放顺序。小端模式，是指数据的高字节保存在内存的高地址中，而数据的低字节保存在内存的低地址中，这种存储模式将地址的高低和数据位权有效地结合起来，高地址部分权值高，低地址部分权值低，和我们的逻辑方法一致。大端模式，是指数据的高字节保存在内存的低地址中，而数据的低字节保存在内存的高地址中，这样的存储模式有点儿类似于把数据当作

2016-12-25 22:21:52 2809

转载 Java中的位运算

Java提供的位运算符有：左移(>)、无符号右移(>>>)、位与(&)、位或(|)、位非(~)、位异或(^)，除了位非( ~)是一元操作符外，其它的都是二元操作符。1 左移 ( System.out.println(5步骤1：将5转为2进制表示形式，java中int类型4个字节32位步骤2：左移2位后低位补00000 0000 0000 0000 0000 00

2016-12-25 21:35:03 622

转载加密解密的概念

随着电子商务的迅速发展，信息安全已成为焦点问题之一，尤其是网上支付和网络银行对信息安全的要求显得更为突出。为了能在因特网上开展安全的电子商务活动，公开密钥基础设施（ PKI, Public Key Infrastructure ）逐步在国内外得到广泛应用。我们是否真的需要 PKI ， PKI 究竟有什么用？下面通过案例一步步地来剖析这个问题 : 甲想将一份合同文件通过 Internet 发给远

2016-12-23 09:51:12 2209

转载 Redis的持久化机制

1 持久化机制redis是一个支持持久化的内存数据库，也就是说redis需要经常将内存中的数据同步到磁盘来保证持久化。 redis支持两种持久化方式，一种是快照也是默认方式，另一种是 Append-onlyfile（缩写 aof）的方式。 2 快照快照是默认的持久化方式。这种方式就是将内存中数据以快照的方式写入到二进制文件中,默认的文件名为dump.rdb。可以通过配置设置自动

2016-12-22 19:15:57 745

转载操作系统-IO模式

1 概念说明在进行解释之前，首先要说明几个概念：-用户空间和内核空间-进程切换-进程的阻塞-文件描述符-缓存 I/O用户空间与内核空间现在操作系统都是采用虚拟存储器，那么对32位操作系统而言，它的寻址空间（虚拟存储空间）为4G（2的32次方）。操作系统的核心是内核（kernel），独立于普通的应用程序，可以访问受保护的内存空间，也有访问底层硬件设备的所有权限

2016-12-19 19:54:33 1963 1

转载 CDN的基本工作过程

使用CDN会极大地简化网站的系统维护工作量，网站维护人员只需将网站内容注入CDN的系统，通过CDN部署在各个物理位置的服务器进行全网分发，就可以实现跨运营商、跨地域的用户覆盖。由于CDN将内容推送到网络边缘，大量的用户访问被分散在网络边缘，不再构成网站出口、互联互通点的资源挤占，也不再需要跨越长距离IP路由了。CDN是如何工作的呢？先看看没有CDN服务时，一个网站是如何向用户提供服务的。

2016-12-18 10:46:59 1527

转载对称加密与非对称加密

1 对称加密对称加密是最快速、最简单的一种加密方式，加密与解密用的是同样的密钥。对称加密有很多种算法，由于它效率很高，所以被广泛使用在很多加密协议的核心当中。对称加密通常使用的是相对较小的密钥，一般小于256 bit。因为密钥越大加密越强，但加密与解密的过程越慢。若只用1 bit来做这个密钥，那黑客们可以先试着用0来解密，不行的话就再用1解密。但密钥有足够大，黑客们可能永远也无法破解，

2016-12-17 17:59:33 439

转载 MapReduce中如何处理跨行的Block和InputSplit

1 提出问题Map最小输入数据单元是InputSplit。比如对于那么对于一个记录行形式的文本大于128M时，HDFS将会分成多块存储（block），同时分片并非到每行行尾。这样就会产生两个问题：1、Hadoop的一个Block默认是128M，那么对于一个记录行形式的文本，会不会造成一行记录被分到两个Block当中？2、在把文件从Block中读取出来进行切分时，会不会造成一行记录被分成

2016-12-13 10:00:29 3023 1

原创 Hadoop中的FileStatus、BlockLocation、LocatedBlocks、InputSplit

1 FileStatus1.1 包名org.apache.hadoop.fs.FileStatus1.2 格式FileStatus{path=hdfs://192.X.X.X:9000/hadoop-2.7.1.tar.gz; isDirectory=false; length=210606807; replication=3; blocksize=134217728;

2016-12-12 21:41:42 2812

原创 Hadoop中基于文件的数据格式（1）SequenceFile

1 概述1 SequenceFile是Hadoop为例存储二进制的而设计的一种平面文件。2 SequenceFile的key和value是writable或者writable子类。3 SequenceFile的存储不按照key排序，内部类Writer提供了append方法。4 SequenceFile作为一个容器，可以将小文件打包到SequenceFile，高效对小文件进行存储和处

2016-12-11 10:55:35 1740

原创从Hadoop IOUtils closeStream方法看如何安全关闭流

使用方法IOUtils.closeStream(writer);进入代码public static void closeStream(java.io.Closeable stream) { cleanup(null, stream);}public static void cleanup(Log log, java.io.Closeable... closeables) {

2016-12-11 06:56:19 2948 1

原创 MapReduce中的InputFormat（2）自定义

1 概述Hadoop内置的输入文件格式类有：1）FileInputFormat这个是基本的父类，自定义就直接使用它作为父类。2）TextInputFormat这个是默认的数据格式类。key代表当前行数据距离文件开始的距离，value代码当前行字符串。3）SequenceFileInputFormat这个是序列文件输入格式，使用序列文件可以提高效率，但是不利于查看结果，建议在过程中使

2016-12-10 11:55:08 3860

转载 Hadoop上传文件报错： name node is in safe mode

将本地文件拷贝到hdfs上去，结果上错误：Name node is in safe mode这是因为在分布式文件系统启动的时候，开始的时候会有安全模式，当分布式文件系统处于安全模式的情况下，文件系统中的内容不允许修改也不允许删除，直到安全模式结束。安全模式主要是为了系统启动的时候检查各个DataNode上数据块的有效性，同时根据策略必要的复制或者删除部分数据块。运行期通过命令也可以进入安全

2016-12-09 20:26:30 601

转载 Hadoop中的序列化

1 简介序列化和反序列化就是结构化对象和字节流之间的转换，主要用在内部进程的通讯和持久化存储方面。通讯格式需求hadoop在节点间的内部通讯使用的是RPC，RPC协议把消息翻译成二进制字节流发送到远程节点，远程节点再通过反序列化把二进制流转成原始的信息。RPC的序列化需要实现以下几点：1.压缩，可以起到压缩的效果，占用的宽带资源要小。2.快速，内部进程为分布式系统构建了高速

2016-12-09 20:15:23 431

转载 Hadoop报错：Failed to locate the winutils binary in the hadoop binary path

1 发现问题在虚拟机中搭建了hadoop集群，在windows中访问报错15/06/11 15:35:50 ERROR Shell: Failed to locate the winutils binary in the hadoop binary pathjava.io.IOException: Could not locate executable null\bin\winutils

2016-12-05 08:52:43 23816

原创 Hadoop报错：could only be replicated to 0 nodes, instead of 1

1 发现问题执行hadoop上传文件命令，报错could only be replicated to 0 nodes, instead of 12 方案1原因查看logs文件夹下datanode相关日志：java.io.IOException: Incompatible clusterIDs in /home/hadoop-2.X.X/tmp/dfs/data: namenod

2016-12-04 10:45:15 2512

JAVA前线技术专栏