2016年11月_码农Academy

原创 Centos下telnet的安装和配置

Centos下telnet的安装和配置首先为Centos配置地址（192.168.0.1/24） ifconfig eth0 192.168.0.1 ifconfig eth0 | head -2 一.查看本机是否有安装telnet rpm -qa | grep telnet rpm -q telnet二、安装telnet 虚拟机光驱中关联系统镜像光盘 umount /dev/cdro

2016-11-30 17:29:36 671

转载 JAVA中堆和栈的区别

一、在函数中定义的一些基本类型的变量和对象的引用变量都在函数的栈内存中分配。当在一段代码块定义一个变量时，Java就在栈中为这个变量分配内存空间，当超过变量的作用域后，Java会自动释放掉为该变量所分配的内存空间，该内存空间可以立即被另作他用。堆内存用来存放由new创建的对象和数组。在堆中分配的内存，由Java虚拟机的自动垃圾回收器来管理。在堆中产生了一个数组或对象后

2016-11-30 17:12:45 242

原创 Hadoop分布式文件系统——HDFS数据流

一、剖析文件读取客户端及与之交互的HDFS、namenode和datanode之间的数据流。如图显示读取文件时事件的发生顺序。 1、客户端通过调用FileSyste对象的open方法来打开希望读取的文件，对于HDFS来说，这个对象是分布式文件系统的一个实例。DistributedFileSystem通过使用RPC来调用namenode，以确定文件块的起始位置，对于每一个块，namenode

2016-11-30 16:54:20 706

原创 Spark——数据分区（进阶）

对数据集在节点间的分区进行控制是Spark的一个特性之一。在分布式程序中通信的开销很大，和单节点的程序需要为记录集合选择合适的数据结构一样，Spark程序可以通过控制RDD分区方式来减少通信开销。只有当数据集多次在诸如连接这种基于键的操作中使用时，分区才会有帮助。若RDD只需要扫描一次，就没有必要进行分区处理。一、获取RDD的分区方式在Scala和java中，可以使用RDD的par

2016-11-30 16:31:41 6258 3

原创 XML——Schema约束

一、Schema约束快速入门 1、 XML Schema文件自身就是一个XML文件，但它的扩展名通常为.xsd。 2、一个XML Schema文档通常称之为模式文档（约束文档），遵循这个文档写的xml文件称之为实例文档。 3、和XML文件一样，一个XML Schema文档也必须有一个根节点，但这个根节点的名称为Schema。 4、编写了一个XML Sche

2016-11-29 13:14:34 9624

原创 Spark——键值对操作

一、动机 Spark为包含键值对类型的RDD提供了一些专有的操作。这些RDD被称为pairRDD。提供并行操作各个节点或跨界点重新进行数据分组的操作接口。二、创建Pair RDD 1、在sprk中，很多存储键值对的数据在读取时直接返回由其键值对数据组成的pair RDD。 2、可以调用map()函数，将一个普通的RDD转换为pair RDD。在Scala中，为了提

2016-11-28 17:41:51 7386 2

原创类加载器——ClassLoader

一、java虚拟机与程序的生命周期在如下几种情况之下，java虚拟机将结束生命周期： 1、执行了System.exit()方法 2、程序正常执行结束 3、程序在执行过程中遇到了异常或者错误而异常终止 4、由于操作系统用出现错误而导致java虚拟机进程终止二、类的加载，链接，初始化 1、加载：查找并加载类的二进制数据 2、连接：（1）验证：确保被加载的类的正确性（验证字

2016-11-28 09:33:22 3280

原创 WebService——wsdl文档深入分析

一、下载apache-cfx.zip，解压后将lib下的jar包添加到工程（服务器端），启动服务器，拿到wsdl，拷贝到客户端。二、在apache-cfx.zip解压后的文件中有一个bin目录下的wsdl2java.bat文件可直接用于生成客户端代码，前提是需要配置环境变量path。path=E:\webservice\apache-cxf\bin 生成客户端代码： WSD

2016-11-24 17:17:52 801

原创 Spark Cluster与Application中的重要概念以及如何提交应用spark-submit

一、Spark的运行机制：一个Spark应用包含两个部分：（1） Driver Program（一个）：里面包含最重要的SparkContext。（2）Executor（多个）：一个里面包含多个Task(任务)和Cache(缓存)。1、构建Spark Application运行环境在Driver Program中新建SparkContext(包含spar

2016-11-23 09:08:00 1089

原创 Java开发WebService

一、开发手段： 1. 使用jdk开发（jdk1.6以上版本） 2. 使用CXF框架开发（工作中）组成： 1. 服务器端 2. 客户端二、JDK开发WebService 1、服务器端开发：（1）、WebSerive编码： @WebService（SEI和SEI的所有实现类） @WebMethod（SEI中的

2016-11-22 13:03:23 654

原创类加载器的父亲委托机制深度详解

一、类加载器 1、父亲委托机制(Parent Delegation) 类加载器用来把类加载到Java虚拟机中。从JDK1.2版本开始，类的加载过程采用父亲委托机制，这种机制能够更好的保证java平台的安全，在此委托机制中，除了Java虚拟机自带的根类加载器外，其余的类加载器都有且只有一个父类加载器。当java程序请求加载器loader加载Sample类时，loader首先委托自己的父

2016-11-22 11:56:01 4988

原创 Spark——RDD操作详解

一、基本RDD 1、针对各个元素的转化操作最常用的转化操作是map()和filter()。转化操作map()J接收一个函数，把这个函数用于RDD中的每一个元素，将函数的返回结果作为结果RDD中对应元素。而转化操作filter()则接收一个函数，将RDD满足该函数的元素放入新的RDD中返回。map()的返回值类型不需要和输入类型一样。从一个RDD变成另外一个RDD。lazy，懒执行。比如根

2016-11-22 11:02:30 9319

原创 Spark——RDD创建详解

一、RDD创建的两种方式 1、外部数据源 Scala：val file = sc.textFile("hdfs://hadoop:8020/words.txt",partitions )//partitions分区参数，不写，是默认的分区个数，可手动指定Java：JavaRDD<String> lines = sc.textFile("hdfs://hadoop:8020/words.txt")

2016-11-21 17:49:33 734

原创 spark自带demo的详解

import scala.Tuple2;import org.apache.spark.SparkConf;import org.apache.spark.api.java.JavaPairRDD;import org.apache.spark.api.java.JavaRDD;import org.apache.spark.api.java.JavaSparkContext;import

2016-11-21 17:46:31 7001 1

原创 Spark的5大优势

一、Apache Spark 的5大优势： 1、更高的性能。因为数据被加载到集群主机的分布式内存中。数据可以被快速的转换迭代，并缓存用以后续的频繁访问需求。在数据全部加载到内存的情况下，Spark可以比Hadoop快100倍，在内存不够存放所有数据的情况下快hadoop10倍。 2、通过建立在Java,Scala,Python,SQL（应对交互式查询）的标准API以方便各行各业使用，同时还含有

2016-11-21 17:44:51 12560 1

原创 XML——Dom4j解析

一、Dom4j简介 1、 Dom4j是一个简单、灵活的开发源代码的库。Dom4j是由早期开发JDOM人分离出来而后独立开发的。与JDOM不同的是，dom4j实用接口和抽象基类，虽然Dom4j的API相对要复杂一些，但它提供了比JDOM更好的灵活性。 2、 Dom4j是一个非常优秀的Java XML API，具有性能优异、功能强大和极易使用的特点。现在很多软件采用的Dom4j，例如

2016-11-21 13:29:52 336

转载 Java四种内部类详解

原文地址：http://blog.csdn.net/qq435757399/article/details/7037007 一般来说，有4中内部类：成员内部类、静态内部类、局部内部类、匿名内部类。一.成员内部类：成员内部类没有用static修饰且定义在在外部类类体中。 1.成员内部类中的方法可以直接使用外部类的实例变量和实例方法。 2.在成员内部类中可以直接用内部类创建对象

2016-11-17 12:08:38 333

原创 webservice概念及术语

一、Schema规范 1、schema规范中：（1）、所有的标签和属性都需要有schema文件来定义。（2）、所有的schema文件都需要一个id，但在这里叫namespace；（3）、namespace的值由targetNamespace指定，它的值是一个url（可能不存在）（4）、如何引入一个Schema约束？属性？：用xmlns属性属性值：

2016-11-16 13:47:13 1255

原创 Spark基础——RDD特性及操作

一、基石RDD（ resilient distributed dataset） spark的核心就是RDD（弹性分布式数据集），一种通用的数据抽象。封装了基础的数据操作，如map，filter，reduce等。RDD提供数据共享的抽象，相对比其他大数据处理框架，如MapReduce,Pege1,DryadLINQ和HIVE等均缺乏此特性，所以RDD更为通用。简单的来概括RD

2016-11-16 13:39:23 1585

原创 SAX解析

一、SAX解析的优缺点 1、优点：SAX解析允许在读取文档的时候，即对文档进行处理，而不必等到整个文档装载完才会对文档进行操作。所以应用于大型xml文档，访问效率低，顺序访问。二、SAX解析的原理 SAX采用事件处理的方式解析XML文件，利用SAX解析XML文档，涉及两个部分：解析器和事件处理器。 1、解析器可以使用JAXP的API创建，创建出SAX解析器后，就可以制定

2016-11-16 00:17:24 453

原创 XML约束

一、什么是xml约束在XML技术里，可以编写一个文档约束一个XML文档的书写规范，这称之为XML约束。常用的XML约束技术： 1. XML DTD 2. XML Schema 二、DTD (Documetn type Definition) 文档类型定义。 1、编程校验xml文档的正确性 IE5以上的浏览器内置了XML解析工具， Microsort.XMLDOM，

2016-11-15 14:01:53 473

原创 XML基本概念

一、XML定义：可扩展标记语言，由W3C组织技术发布。XML除可以保存数据外，经常用作软件配置文件，描述程序个模块之间的关系。二、xml文件可分为以下几个部分内容：文档声明，元素，属性，注释，CDATA区、特殊字符，处理指令(processing instruction) 1、在编写xml文档时，需要先使用文档声明，声明xml文档的类型。（1）最简单的文档声明：<?xml ve

2016-11-15 13:47:08 436

原创 Http协议

Http协议：请求头： Accept:用于告诉服务器，客户机支持的数据类型。 Accept-Charset:用户告诉服务器，客户机采用的编码。 Accept-Language:客户机的语言环境。 Accept-Encoding:用于告诉服务器，客户机支持的数据压缩格式。 Host：客户机通过这个头告诉服务器，想访问的主机名。 If-Modified-Since：客户机通过这个头告诉服

2016-11-15 13:32:46 291

原创 Centos下环境搭建spark环境

前提：已安装Hadoop(至少安装了HDFS) 一、安装scala 下载scala-2.10.4.tgz 地址：http://www.scala-lang.org/download/2.10.4.html#Software_Requirements 下载好后，使用rz命令上传到/home/tools下后解压 tar -zxf scala-2.10.4.tgz -C ../softwares

2016-11-15 12:01:09 4727

原创 java获取两个字符串日期之间的时间间隔天数，以及遍历这些天数

public static List<String> getBetweenDays(String stime,String etime){ SimpleDateFormat df=new SimpleDateFormat("yyyy-MM-dd"); Date sdate=null; Date eDate=null;

2016-11-15 11:42:32 6681 3

原创 Hadoop分布式文件系统——HDFS概念以及hdfs读写数据

HDFS一流式数据访问模式来存储超大文件，运行于商用硬件集群上。一、HDFS 的概念 1、数据块：（1）每个磁盘都有默认的数据块大小，这是磁盘进行数据读/写的最小单位（2） HDFS有数据块的概念，默认是64M，hadoop2中是128M。对分布式文件系统中的块进行抽象会带来很多好处。 * 最明显的好处就是，一个文件的大小可以大于网络中任意一

2016-11-15 11:37:15 4639

原创 HDFS基本命令

欢迎使用Markdown编辑器写博客本Markdown编辑器使用StackEdit修改而来，用它写博客，将会带来全新的体验哦：Markdown和扩展Markdown简洁的语法代码块高亮图片链接和图片上传LaTex数学公式UML序列图和流程图离线写博客导入导出Markdown文件丰富的快捷键快捷键加粗 Ctrl + B 斜体 Ctrl + I 引用 Ctrl

2016-11-14 17:43:31 71739 1

俺叫赵小邪的博客