2018年03月_爱萨萨

12月 11月 10月 09月 08月 07月 06月 05月 04月 03月

转载学习别跟我谈兴趣

2018-03-02大蕉一名叫大蕉的程序员一名叫大蕉的程序员一名叫大蕉的程序员WeChat IDDaBananaTalkIntro感谢订阅，我叫杨钊，也叫big banana，大家都叫我大蕉。技术探针一枚。主要分享最近关注或者将要关注的东西。万一能对您有一点点的帮助那就更好了。许岑老师说：学习别跟我谈什么兴趣，成年人学习不需要兴趣。听了很多人在吐槽，现在所做的东西有多么不开心，有多么不喜欢，但还是...

2018-03-08 08:14:38 642

原创关于学习和复习

经常有学员问我：学习一两个月以后，就把最开始学习的东西忘记了，然后就要复习。但是每天都要学习新东西，那么晚上自习时就不知道该看当天学习的内容，还是看以前学习的内容。经常觉得在瞎忙活，什么都没有弄明白，不知道从哪里下手。我分析：一般这样的学员就是以前的基础没有打好，那么就应该从基础开始复习。复习非常重要，从任何时候开始复习都不晚。培训的课程一般都安排的比较紧，当天学习的东西一定要复习；而以前不会或者...

2018-03-05 21:54:55 770

转载 Java进阶3 —— 类和接口设计原则

原文链接：http://www.javacodegeeks.com/2015/09/how-to-design-classes-and-interfaces.html本文是Java进阶课程的第三篇。本课程的目标是帮你更有效的使用Java。其中讨论了一些高级主题，包括对象的创建、并发、序列化、反射以及其他高级特性。本课程将为你的精通Java的旅程提供帮助。内容纲要引言接口标记性接口函数式接口，默认方...

2018-03-30 07:02:19 387

转载 Java进阶2 —— 使用Object的通用方法

原文链接：http://www.javacodegeeks.com/2015/09/using-methods-common-to-all-objects.html本文是Java进阶课程的第二篇。本课程的目标是帮你更有效的使用Java。其中讨论了一些高级主题，包括对象的创建、并发、序列化、反射以及其他高级特性。本课程将为你的精通Java的旅程提供帮助。内容提纲引言equals和hashCode方法...

2018-03-30 07:01:04 269

转载 Java进阶1 —— 对象的创建与销毁

原文链接：http://www.javacodegeeks.com/2015/09/how-to-create-and-destroy-objects.html本文是Java进阶课程的第一部分。本课程的目标是帮你更有效的使用Java。其中讨论了一些高级主题，包括对象的创建、并发、序列化、反射以及其他高级特性。本课程将为你的精通Java的旅程提供指导。内容提纲引言实例构造2.1 隐式(产生的)构造方...

2018-03-30 07:00:15 1674

转载 [译]GC专家系列5－Java应用性能优化的原则

原文链接：http://www.cubrid.org/blog/dev-platform/the-principles-of-java-application-performance-tuning/本文是GC专家系列中的第五篇。在第一篇理解Java垃圾回收中我们学习了几种不同的GC算法的处理过程，GC的工作方式，新生代与老年代的区别。所以，你应该已经了解了JDK 7中的5种GC类型，以及每种GC对...

2018-03-30 06:58:32 171

转载 [译]GC专家系列4-Apache的MaxClients设置及其对Tomcat Full GC的影响

原文链接：http://www.cubrid.org/blog/dev-platform/maxclients-in-apache-and-its-effect-on-tomcat-during-full-gc/本文是GC专家系列中的第四篇。在第一篇理解Java垃圾回收中我们学习了几种不同的GC算法的处理过程，GC的工作方式，新生代与老年代的区别。所以，你应该已经了解了JDK 7中的5种GC类型，...

2018-03-30 06:57:26 285

转载 [译]GC专家系列3-GC调优

原文链接：http://www.cubrid.org/blog/dev-platform/how-to-tune-java-garbage-collection/本篇是GC专家系列的第三篇。在第一篇理解Java垃圾回收中我们学习了几种不同的GC算法的处理过程，GC的工作方式，新生代与老年代的区别。所以，你应该已经了解了JDK 7中的5种GC类型，以及每种GC对性能的影响。在第二篇Java垃圾回收的...

2018-03-30 06:55:17 241

转载 [译]GC专家系列2：Java 垃圾回收的监控

原文链接：http://www.cubrid.org/blog/dev-platform/how-to-monitor-java-garbage-collection/这是GC专家系列文章的第二篇。在第一篇理解Java垃圾回收中我们学习了几种不同的GC算法的处理过程，GC的工作方式，新生代与老年代的区别。到目前为止，你应该已经了解了JDK 7中的5种GC类型，以及每种GC对性能的影响。在本篇中，我...

2018-03-30 06:54:04 236

转载 [译]深入理解JVM

原文链接：http://www.cubrid.org/blog/dev-platform/understanding-jvm-internals每个使用Java的开发者都知道Java字节码是在JRE中运行(JRE: Java 运行时环境)。JVM则是JRE中的核心组成部分，承担分析和执行Java字节码的工作，而Java程序员通常并不需要深入了解JVM运行情况就可以开发出大型应用和类库。尽管如此，如...

2018-03-30 06:52:59 494

转载 [译]GC专家系列1：理解Java垃圾回收

牧曦之晨 2016年01月01日发布原文链接：http://www.cubrid.org/blog/de...了解Java的垃圾回收(GC)原理能给我们带来什么好处？对于软件工程师来说，满足技术好奇心可算是一个，但重要的是理解GC能帮忙我们更好的编写Java应用程序。上面是我个人的主观的看法，但我相信熟练掌握GC是成为优秀Java程序员的必备技能。如果你对GC执行过程感兴趣，也许你只是有一定的开...

2018-03-30 06:50:17 167

转载 Spring IOC三种注入方式（接口注入、setter注入、构造器注入）

IOC ，全称 (Inverse Of Control) ，中文意思为：控制反转， Spring框架的核心基于控制反转原理。什么是控制反转？控制反转是一种将组件依赖关系的创建和管理置于程序外部的技术。由容器控制程序之间的关系，而不是由代码直接控制由于控制权由代码转向了容器，所以称为反转对象与对象之间的关系可以简单的理解为对象之间的依赖关系：依赖关系：在 A 类需要类 B 的一个实例来进行某些操作，...

2018-03-28 16:04:30 11276

转载 Oozie简介

Oozie是一种Java Web应用程序，它运行在Java servlet容器——即Tomcat——中，并使用数据库来存储以下内容：工作流定义当前运行的工作流实例，包括实例的状态和变量Oozie工作流是放置在控制依赖DAG（有向无环图 Direct Acyclic Graph）中的一组动作（例如，Hadoop的Map/Reduce作业、Pig作业等），其中指定了动作执行的顺序。我们会使用hPDL（...

2018-03-27 13:20:40 3141

转载 MapReduce多节点工作机制图

刚才发现一张讲解mapreduce整个工作机制图，跟大家分享一下，大家发表一下建议，对mapreduce工作机制有何看法，或者那里有不清楚。mapreduce每一个工作阶段，对我们在工作中处理某种业务都是有很大帮助的。图中1：表示待处理数据，比如日志，比如单词计数图中2：表示map阶段，对他们split，然后送到不同分区图中3：表示reduce阶段，对这些数据整合处理。图中4：表示二次map...

2018-03-27 11:42:14 906

转载什么是分布式系统，如何学习分布式系统

什么是分布式系统，如何学习分布式系统目录什么是分布式系统分布式系统挑战分布式系统特性与衡量标准组件、理论、协议用一个请求串起来一个简化的架构图概念与实现总结references 正文　　虽然本人在前面也写过好几篇分布式系统相关的文章，主要包括CAP理论、分布式存储与分布式事务，但对于分布式系统，并没有一个跟清晰的概念。分布式系统涉及到很多的技术、理论与协议，很多人也说，分布式系统是“入门容易，深入...

2018-03-27 09:20:46 211

转载理解 Linux 的硬链接与软链接

从 inode 了解 Linux 文件系统Linux 的文件与目录现代操作系统为解决信息能独立于进程之外被长期存储引入了文件，文件作为进程创建信息的逻辑单元可被多个进程并发使用。在 UNIX 系统中，操作系统为磁盘上的文本与图像、鼠标与键盘等输入设备及网络交互等 I/O 操作设计了一组通用 API，使他们被处理时均可统一使用字节流方式。换言之，UNIX 系统中除进程之外的一切皆是文件，而 Linu...

2018-03-26 16:53:34 471

转载 hadoop生态系统的详细介绍-详细一点

前提日常喜欢看一些微信分享的好文，总结下来，可以作为过滤器吧（节约更多人的时间！），在这里引用的是别人的文章！对原文的作者表示感谢！确实写的很好！hadoop生态系统的详细介绍简介Hadoop是一个开发和运行处理大规模数据的软件平台,是Appach的一个用java语言实现开源软件框架，实现在大量计算机组成的集群中对海量数据进行分布式计算。今天我们来详细介绍下hadoop的生态系统。Hadoop生态...

2018-03-26 06:19:56 32556

转载 Hadoop生态系统-一般详细

首先我们先了解一下Hadoop的起源。然后介绍一些关于Hadoop生态系统中的具体工具的使用方法。如:HDFS、MapReduce、Yarn、Zookeeper、Hive、HBase、Oozie、Mahout、Pig、Flume、Sqoop。Hadoop的起源Doug Cutting是Hadoop之父，起初他开创了一个开源软件Lucene（用Java语言编写，提供了全文检索引擎的架构，与Goog...

2018-03-26 06:10:41 802

转载 hdoop1.0与hadoop2.0的区别-比较清晰

1）从整体框架来说： a、 Hadoop1.0即第一代Hadoop，由分布式存储系统HDFS和分布式计算框架MapReduce组成，其中HDFS由一个NameNode和多个DateNode组成，MapReduce由一个JobTracker和多个TaskTracker组成。 b、Hadoop2.0即第二代Hadoop为克服Hadoop1.0中的不足：针对Hadoop1.0单Name...

2018-03-25 07:52:46 2221

转载 Hadoop1.0和Hadoop2.0的区别

文章转载自「开发者圆桌」一个关于开发者入门、进阶、踩坑的微信公众号什么是Hadoop1.0？Hadoop1.0即第一代Hadoop，指的是版本为Apache Hadoop 0.20.x、1.x或者CDH3系列的Hadoop，内核主要由HDFS和MapReduce两个系统组成，其中MapReduce是一个离线处理框架，由编程模型（新旧API）、运行时环境（JobTracker和TaskTracker...

2018-03-25 07:50:20 1798

转载深度好文丨读完此文，就知道Hadoop了！

　　“昔我十年前，与君始相识。”　　一瞬间Hadoop也到了要初中择校的年龄了。　　十年前还没有Hadoop，几年前国内IT圈里还不知道什么是Hadoop，而现在几乎所有大型企业的IT系统中有已经有了Hadoop的集群在运行了各式各样的任务。　　2006年项目成立的一开始，“Hadoop”这个单词只代表了两个组件——HDFS和MapReduce。到现在的10个年头，这个单词代表的是“核心”（即Co...

2018-03-25 07:27:40 1186 3

转载 2017年大数据版图

2017年大数据版图作为对比我们先看看2016年版本：2016版大数据版图，分析见此处2017年大数据版图：高清版此处下载，全部公司列表此处下载　　2017分割放大版　　基础架构　　INFRASTRUCTURE　　▼　　分析　　ANALYTICS　　▼　　分析&基础架构跨界　　CROSS-INFRASTRUCTURE/ANALYTICS　　▼　　开源系统　　OPEN SOURCE　　▼　　...

2018-03-25 06:47:16 508

转载大数据量、高并发量网站解决方案

一个小型的网站，可以使用最简单的html静态页面就实现了，配合一些图片达到美化效果，所有的页面均存放在一个目录下，这样的网站对系统架构、性能的要求都很简单。随着互联网业务的不断丰富，网站相关的技术经过这些年的发展，已经细分到很细的方方面面，尤其对于大型网站来说，所采用的技术更是涉及面非常广，从硬件到软件、编程语言、数据库、WebServer、防火墙等各个领域都有了很高的要求，已经不是原来...

2018-03-20 13:10:20 715

转载 nexus-2.14.2-01-bundle构建maven私服

一、下载nexus地址：https://sonatype-download.global.ssl.fastly.net/nexus/oss/nexus-2.14.2-01-bundle.zip二、启动服务解压nexus-2.14.2-01-bundle.zip在bin/jsw下有不同的版本，这里我选择window 64位操作系统的版本。console-nexus.bat 是以命令窗口的形式启动，...

2018-03-19 16:13:14 3844

转载大数据相关面试题整理-带答案-简单

1、hadoop： 1）hadoop是大数据分析的完整生态系统，从数据采集，存储，分析，转运，再到页面展示，构成了整个流程 2）采集可以用flume， 3）存储用hbase，hdfs，mangodb就相当于hbase， 4）分析用Mapreduce自己写算法， 5）还有hive做数据仓库， 6）pig做数据流处理， 7）转储方面有sqoop，可以将hdfs中的数据转换存储到mys...

2018-03-19 06:58:13 2797

转载大数据相关面试题整理-带答案-难一点

1、fsimage和edit的区别？大家都知道namenode与secondary namenode 的关系，当他们要进行数据同步时叫做checkpoint时就用到了fsimage与edit，fsimage是保存最新的元数据的信息，当fsimage数据到一定的大小事会去生成一个新的文件来保存元数据的信息，这个新的文件就是edit，edit会回滚最新的数据。2、列举几个配置文件优化？ --发挥 ...

2018-03-19 06:58:03 30242 7

转载 Hive,Hbase,HDFS等之间的关系

Hive：Hive不支持更改数据的操作，Hive基于数据仓库，提供静态数据的动态查询。其使用类SQL语言，底层经过编译转为MapReduce程序，在Hadoop上运行，数据存储在HDFS上。HDFS:HDFS是GFS的一种实现，他的完整名字是分布式文件系统，类似于FAT32，NTFS，是一种文件格式，是底层的。Hive与Hbase的数据一般都存储在HDFS上。Hadoop HDFS为他们提供了高可...

2018-03-19 06:57:48 7320

转载大数据时代的技术hive：hive的数据类型和数据模型

在上篇文章里，我列举了一个简单的hive操作实例，创建了一张表test，并且向这张表加载了数据，这些操作和关系数据库操作类似，我们常把hive和关系数据库进行比较，也正是因为hive很多知识点和关系数据库类似。　　关系数据库里有表（table），分区，hive里也有这些东西，这些东西在hive技术里称为hive的数据模型。今天本文介绍hive的数据类型，数据模型以及文件存储格式。这些知识大家可以类...

2018-03-18 07:19:52 314

转载大数据时代的技术hive：hive介绍

我最近研究了hive的相关技术，有点心得，这里和大家分享下。　　首先我们要知道hive到底是做什么的。下面这几段文字很好的描述了hive的特性：　　1.hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供完整的sql查询功能，可以将sql语句转换为MapReduce任务进行运行。其优点是学习成本低，可以通过类SQL语句快速实现简单的MapReduce统计，...

2018-03-18 07:18:20 467

转载大数据工程师面试题(7)

9. 面试问题:1.从前到后从你教育背景(学过哪些课)到各个项目你负责的模块,问的很细(本以为他是物理学博士,但是所有的技术都懂)2.hadoop 的 namenode 宕机,怎么解决先分析宕机后的损失，宕机后直接导致client无法访问，内存中的元数据丢失，但是硬盘中的元数据应该还存在，如果只是节点挂了，重启即可，如果是机器挂了，重启机器后看节点是否能重启，不能重启就要找到原因修复了。但是最终的...

2018-03-18 06:03:45 1778

转载大数据工程师面试题(6)

3.141、一个Hadoop环境，整合了HBase和Hive，是否有必要给HDFS和Hbase都分别配置压缩策略？请给出对压缩策略的建议。hdfs在存储的时候不会将数据进行压缩，如果想进行压缩，我们可以在向hdfs上传数据的时候进行压缩。1）、采用压缩流[java] view plain copy//压缩文件 public static void compress(String codecC...

2018-03-18 06:02:36 888

转载大数据工程师面试题(5)

2）HashMap和HashTable，ArrayList和Vector，ArrayList和LinkedList的区别1 HashMap不是线程安全的hashmap是一个接口是map接口的子接口，是将键映射到值的对象，其中键和值都是对象，并且不能包含重复键，但可以包含重复值。HashMap允许null key和null value，而hashtable不允许。2 HashTable是线程安全...

2018-03-18 06:01:53 278

转载大数据工程师面试题(4)

2.23. 我们开发job时，是否可以去掉reduce阶段。可以。设置reduce数为0 即可。2.24. datanode在什么情况下不会备份datanode在强制关闭或者非正常断电不会备份。2.25. combiner出现在那个过程出现在map阶段的map方法后等。2.26. hdfs的体系结构hdfs有namenode、secondraynamenode、datanode组成。为n+1模式n...

2018-03-18 06:00:58 2045

转载大数据工程师面试题(3)

2.13. 简述hadoop的调度器FIFO schedular：默认，先进先出的原则Capacity schedular：计算能力调度器，选择占用最小、优先级高的先执行，依此类推Fair schedular：公平调度，所有的job具有相同的资源。2.14. 列出你开发mapreduce的语言java2.15. 书写程序wordcountmapper：String vStr = value.toS...

2018-03-18 06:00:16 507

转载大数据工程师面试题(2)

2.7. 用mapreduce来实现下面需求？现在有10个文件夹,每个文件夹都有1000000个url.现在让你找出top1000000url。方法一：运用2个job，第一个job直接用filesystem读取10个文件夹作为map输入，url做key，reduce计算url的sum，下一个job map用url作key，运用sum作二次排序，reduce中取top100000001：首先进行w...

2018-03-18 05:59:36 368

转载大数据工程师面试题(1)

1. 选择题1.1. 下面哪个程序负责 HDFS 数据存储。c)Datanode 答案 C datanode1.2. HDfS 中的 block 默认保存几份？a)3 份答案 A 默认 3 份1.3. 下列哪个程序通常与 NameNode 在一个节点启动？d)Jobtracker答案 D1.4. HDFS 默认 Block Sizec)128MB答案：C1.5. 下列哪项通常是集群...

2018-03-18 05:57:51 523

转载 Ubuntu server版中安装虚拟工具条open-vm-tools，共享文件夹

环境：VMware Workstation 11.0虚拟机中的系统：Ubuntu 16.04.2物理机：window 7 安装VMware Tools经常会出现兼容性不好，系统之间复制文件失灵，并且安装时提示建议使用open-vm-tools，于是放弃vmware-tools的安装，尝试使用open-vm-toolsopen-vm-tools 是 VMware Tools 的开源实施，由一套虚拟化...

2018-03-16 07:27:53 1012

转载 Oracle自定义存储过程和函数

如果只有一个返回值就用存储函数，否则，就用存储过程存储过程存储函数都是存储在数据库中供所有用户程序调用的子程序。他们的区别就在于是否用return 语句返回值存储过程：--创建一个带参数的存储过程--给指定的员工涨100块的工资，并且打印涨前和涨后的工资 CREATE OR REPLACE PROCEDURE SALARY (inno IN NUMBER,inzhang in number,zon...

2018-03-09 20:42:52 167

转载 mysql创建自定义函数和存储过程

一创建自定义函数在使用mysql的过程中，mysql自带的函数可能不能完成我们的业务需求，这时就需要自定义函数,例如笔者在开发过程中遇到下面这个问题：mysql表结构如下[sql] view plain copyDROP TABLE IF EXISTS `test`; CREATE TABLE `test` ( `id` int(10) unsigned NOT NULL AUTO_IN...

2018-03-09 20:37:58 349

原创 ssm框架整合时，日期的处理

1、设置实体类的日期字段为 java.util.Date类型（数据库的表中正常就是 date类型），但是要通过@DateTimeFormat注解进行转换，如下：2、mybatis的映射文件正常写，直接对日期赋值：3、查询结果展示时，在jsp头部增加 fmt标签库然后下面代码中对日期值进行转换 4、在增加或者修改页面中，也是通过类似查询结果展示时的处理，让值为 “yyyy-MM-dd”的格式；5、...

2018-03-09 07:36:03 3846