2018年01月_九师兄

12月 11月 10月 09月 08月 07月 06月 05月 04月 03月 02月 01月

原创 14-Scala之隐式转换

1.为什么要隐式转换　　我们经常引入第三方库，但当我们想要扩展新功能的时候通常是很不方便的，因为我们不能直接修改其代码。scala提供了隐式转换机制和隐式参数帮我们解决诸如这样的问题。　　Scala中的隐式转换是一种非常强大的代码查找机制。当函数、构造器调用缺少参数或者某一实例调用了其他类型的方法导致编译不通过时，编译器会尝试搜索一些特定的区域，尝试使编译通过。2.　优点　通过隐式

2018-01-25 10:45:38 1897 1

原创 05-IntelliJ IDEA清空项目缓存

IntelliJ IDEA清空项目缓存点击File -> Invalidate caches

2018-01-25 09:47:33 13146 1

原创 02-好用的maven镜像

mirror> id>alimavenid> name>aliyun mavenname> url>http://maven.aliyun.com/nexus/content/groups/public/url> mirrorOf>centralmirrorOf> mirror> mirror> id>

2018-01-22 17:21:17 529

原创 01-centos安装界面，远程连接

1 。检查Linux系统是否能够联网。执行命令yum -y groupinstall Desktop 2 。等上面的命令执行完后，再执行这条命令yum -y groupinstall "X Window System"3 。再修改/etc/inittab文件，把默认运行级别改为5，再加入以下行：x:5:respawn:/usr/sbin/gdm4

2018-01-22 16:45:59 598

转载 13-Java和Scala中的Future

随着CPU的核数的增加，异步编程模型在并发领域中的得到了越来越多的应用，由于Scala是一门函数式语言，天然的支持异步编程模型，今天主要来看一下Java和Scala中的Futrue，带你走入异步编程的大门。Future 很多同学可能会有疑问，Futrue跟异步编程有什么关系？从Future的表面意思是未来，一个Future对象可以看出一个将来得到的结果，这就和异步执行的概念很像，你只管自己去

2018-01-19 13:05:49 804

转载 05-Prohibited package name: java异常原因

Prohibited package name: java异常原因今天用eclipse创建了一个java project，然后建了一个名为“java”的文件夹，当启动里面的主函数时，出现如下异常：Exception in thread "main" java.lang.SecurityException: Prohibited package name: java at jav

2018-01-19 11:31:48 2209

原创 07-netty之Socket

原始版本html界面：html>head>meta charset="UTF-8">Netty WebSocket 时间服务器head>br>body>br>script type="text/javascript">var socket;if (!window.WebSocket) { window.WebSocket = window.MozWebS

2018-01-18 10:37:15 612

原创 01-maven build项目

以前从来不知道maven的 build有什么用，但是有次遇到 ant的自动化测试运行，发现挺有趣的，maven应该也有，所以 02-eclipse中构建ant项目和编译运行ant ：http://blog.csdn.net/qq_21383435/article/details/79082023 这里是maven的测试1.首先看一个maven项目/HelloMavenpackage

2018-01-17 14:59:30 3351

原创 02-eclipse中构建ant项目和编译运行ant

Eclipse中已经集成了Ant，我们可以直接在Eclipse中运行Ant。 1、用 Ant 来构建简单系统新建一个 Java project, 命名为Hello Hello .java 文件内容package example;public class Hello { public static void main(String[] args) {

2018-01-17 10:13:40 17377

原创 01-ant的内容

apache ant　　Apache Ant,是一个将软件编译、测试、部署等步骤联系在一起加以自动化的一个工具，大多用于Java环境中的软件开发。由Apache软件基金会所提供。　简介　　用户群：大多数的Java设计都被用于管理大量信息流，例如纽约州就使用Apache Ant去管理美国最大的青年计划，每天可以实时更新超过25万学生的记录。　　　　只要使用过Linux系统

2018-01-17 09:56:30 675

原创 06-netty之http之文件服务器

Netty是一个NIO框架，让你快速、简单的的开发网络应用。它是一种新的开发网络应用的方式，使得开发网络应用更加简单，容易扩展。它隐藏了许多复杂的细节，并提供简单的api让你的业务逻辑和网络处理代码分离开来。Netty的所有api都是异步的，如果大家不了解异步IO,可以先学习一下异步IO方面的知识。package netty.http;import io.netty.bootstrap.S

2018-01-15 21:48:28 3224 4

原创 05-netty小例子

Netty是NIO的包装本次例子，必须是5.0.0.Alpha1版本的，不然不能使用 dependency> groupId>io.nettygroupId> artifactId>netty-allartifactId> version>5.0.0.Alpha1version> depe

2018-01-14 20:11:29 597

转载 05-BIO,NIO,AIO几种通讯模式的比较

Java NIO ：同步非阻塞，服务器实现模式为一个请求一个线程，即客户端发送的连接请求都会注册到多路复用器上，多路复用器轮询到连接有I/O请求时才启动一个线程进行处理。Java AIO(NIO.2) ：异步非阻塞，服务器实现模式为一个有效请求一个线程，客户端的I/O请求都是由OS先完成了再通知服务器应用去启动线程进行处理，NIO方式适用于连接数目多且连接比较短（轻操作）的架构，比如聊

2018-01-14 15:56:27 769

原创 04-ＡＩＯ通讯模型

NIO 2.0引入了新的异步通道的概念，并提供了异步文件通道和异步套接字通道的实现。异步的套接字通道时真正的异步非阻塞I/O，对应于UNIX网络编程中的事件驱动I/O（AIO）。他不需要过多的Selector对注册的通道进行轮询即可实现异步读写，从而简化了NIO的编程模型。package AIO;import java.io.IOException;/** * @au

2018-01-14 14:57:54 700

原创 04-并发编程-CountDownLatch、CyclicBarrier和 Semaphore

在java 1.5中，提供了一些非常有用的辅助类来帮助我们进行并发编程，比如CountDownLatch，CyclicBarrier和Semaphore，今天我们就来学习一下这三个辅助类的用法。以下是本文目录大纲：一.CountDownLatch用法二.CyclicBarrier用法三.Semaphore用法一.CountDownLatch用法CountDownLatch类

2018-01-14 14:18:02 608

原创 03-NIO通讯模型

现在使用NIO的场景越来越多，很多网上的技术框架或多或少的使用NIO技术，譬如Tomcat，Jetty。学习和掌握NIO技术已经不是一个JAVA攻城狮的加分技能，而是一个必备技能。再者，现在互联网的面试中上点level的都会涉及一下NIO或者AIO的问题（AIO下次再讲述，本篇主要讲述NIO）,掌握好NIO也能帮助你获得一份较好的offer。驱使博主写这篇文章的关键是网上关于NIO的文章并不是很

2018-01-13 12:46:32 1367

转载大数据面试-07-大数据工程师面试题

面试问题:1.从前到后从你教育背景(学过哪些课)到各个项目你负责的模块,问的很细(本以为他是物理学博士,但是所有的技术都懂) 2.hadoop 的 namenode 宕机,怎么解决先分析宕机后的损失，宕机后直接导致client无法访问，内存中的元数据丢失，但是硬盘中的元数据应该还存在，如果只是节点挂了，重启即可，如果是机器挂了，重启机器后看节点是否能重启，不能重启就要找到原因修复了

2018-01-12 15:30:09 7682

转载大数据面试-06-大数据工程师面试题

3.141、一个Hadoop环境，整合了HBase和Hive，是否有必要给HDFS和Hbase都分别配置压缩策略？请给出对压缩策略的建议。hdfs在存储的时候不会将数据进行压缩，如果想进行压缩，我们可以在向hdfs上传数据的时候进行压缩。1）、采用压缩流[java] view plain copy print?//压缩文件 public static void compress(St

2018-01-12 15:29:17 5594

转载大数据面试-05-大数据工程师面试题

2）HashMap和HashTable，ArrayList和Vector，ArrayList和LinkedList的区别1 HashMap不是线程安全的hashmap是一个接口是map接口的子接口，是将键映射到值的对象，其中键和值都是对象，并且不能包含重复键，但可以包含重复值。HashMap允许null key和null value，而hashtable不允许。2 HashTable是

2018-01-12 15:28:25 1797

转载大数据面试-04-大数据工程师面试题

2.23. 我们开发job时，是否可以去掉reduce阶段。可以。设置reduce数为0 即可。 2.24. datanode在什么情况下不会备份 datanode在强制关闭或者非正常断电不会备份。 2.25. combiner出现在那个过程出现在map阶段的map方法后等。 2.26. hdfs的体系结构 hdfs有namenode、secondraynamenode、data

2018-01-12 15:26:24 7713

转载大数据面试-03-大数据工程师面试题

2.13. 简述hadoop的调度器 FIFO schedular：默认，先进先出的原则 Capacity schedular：计算能力调度器，选择占用最小、优先级高的先执行，依此类推 Fair schedular：公平调度，所有的job具有相同的资源。 2.14. 列出你开发mapreduce的语言 java 2.15. 书写程序 wordcount mapper： Strin

2018-01-12 15:24:22 2121

转载大数据面试-02-大数据工程师面试题

2.7. 用mapreduce来实现下面需求？现在有10个文件夹,每个文件夹都有1000000个url.现在让你找出top1000000url。方法一：运用2个job，第一个job直接用filesystem读取10个文件夹作为map输入，url做key，reduce计算url的sum，下一个job map用url作key，运用sum作二次排序，reduce中取top1000000

2018-01-12 15:23:24 2311 1

转载大数据面试-01-大数据工程师面试题

1. 选择题1.1. 下面哪个程序负责 HDFS 数据存储。c)Datanode 答案 C datanode1.2. HDfS 中的 block 默认保存几份？a)3 份答案 A 默认 3 份1.3. 下列哪个程序通常与 NameNode 在一个节点启动？d)Jobtracker 答案 D1.4. HDFS 默认 Block Si

2018-01-12 14:52:38 6142 2

原创 02-伪异步I/O通讯模型

采用线程池和任务队列可以实现一种叫做伪异步的I/O通讯框架。当有新的客户端接入的时候，将客户端的Socket封装成一个Task（该任务实现java.lang.Rnnnable接口）投递到后端的线程池中进行处理，JDK的线程池维护一个消息队列和N个活跃线程对消息队列中的人物进行处理。由于线程池可以设置消息队列大小和最大线程数，因此他占用的资源师可控的，无论多少个客户端并发访问，都不会导致资源耗尽和

2018-01-09 22:41:20 614

原创【netty】BIO通讯模型

才用BIO通讯模型的服务器，通常由一个独立的Acceptor线程负责监听客户端的连接，它接收到客户端连接请求后为每个客户端创建一个新的线程进行链路处理，处理完成后，通过输出流返回应答给客户端，线程销毁，这就是典型的已请求一应答通讯模型。下面做个测试代码，做的是maven项目 pom.xml<?xml version="1.0" encoding="UTF-8"?><project xmlns="

2018-01-09 21:36:01 658

原创 spark学习-72-源代码：Endpoint模型介绍(4)-Spark为何使用Netty通信框架替代Akka

问题导读：spark 如何在1.6.0之后使用Netty替代了Akka？Spark Network Common怎么实现？BlockTransfer 与 Shuffle 之间的联系？Akka 实现原理是什么？解决方案：一直以来，基于Akka实现的RPC通信框架是Spark引以为豪的主要特性，也是与Hadoop等分布式计算框架对比过程中一大亮点，但是时代和技术都在演化，从Spa

2018-01-05 17:12:16 914