独照松月冷别赋-CSDN博客

原创 RDD基本特性

RDD基本特性1、什么叫RDD?2、RDD有怎么样的特性？1、RDD是Spark提供的核心抽象，全称为Resillient Distributed Dataset，即弹性分布式数据集。2、RDD在抽象上来说是一种元素集合，包含了数据。它是被分区的，分为多个分区，每个分区分布在集群中的不同节点上，从而让RDD中的数据可以被并行操作。（分布式数据集）3、RDD通常通过Hadoop上

2017-09-22 15:54:11 700

原创 spark性能调优之数据本地化

spark性能调优之调节数据本地化等待时长数据本地化级别1.PROCESS_LOCAL：进程本地化，代码和数据在同一个进程中，也就是在同一个executor中；计算数据的task由executor执行，数据在executor的BlockManager中；性能最好2.NODE_LOCAL：节点本地化，代码和数据在同一个节点中；比如说，数据作为一个HDFS bloc

2017-09-22 16:36:47 343

原创 Hadoop+zookeepker安装与配置:

在hadoop-env.sh,hdfs-env.sh,mapred-env.sh中添加export JAVA的环境变量修改hostname文件的名称，/etc/hosts文件配置主机名和ip的映射关系，将mstaer，slave的主机名和ip地址都添加进来配置ssh免密钥配置Ssh-keygen –t rsa在./.ssh文件中生成两个文件id_rsa（私钥），id_rsa.

2017-08-10 08:56:00 539

转载堆排序

堆排序与快速排序，归并排序一样都是时间复杂度为O(N*logN)的几种常见排序方法。学习堆排序前，先讲解下什么是数据结构中的二叉堆。二叉堆的定义二叉堆是完全二叉树或者是近似完全二叉树。二叉堆满足二个特性：1．父结点的键值总是大于或等于（小于或等于）任何一个子节点的键值。2．每个结点的左子树和右子树都是一个二叉堆（都是最大堆或最小堆）。当父结点的键值总是大于或等于任何一个子节

2017-08-04 20:35:07 209

转载快速排序，快速搞定

快速排序由于排序效率在同为O(N*logN)的几种排序方法中效率较高，因此经常被采用，再加上快速排序思想----分治法也确实实用，因此很多软件公司的笔试面试，包括像腾讯，微软等知名IT公司都喜欢考这个，还有大大小的程序方面的考试如软考，考研中也常常出现快速排序的身影。总的说来，要直接默写出快速排序还是有一定难度的，因为本人就自己的理解对快速排序作了下白话解释，希望对大家理解有帮助，达到快速排序

2017-08-04 20:06:22 237

原创 linux yum命令详解

yum---->Yellow dog Updater, Modified）是一个在Fedora和RedHat以及SUSE中的Shell前端软件包管理器。基於RPM包管理，能够从指定的服务器自动下载RPM包并且安装，可以自动处理依赖性关系，并且一次安装所有依赖的软体包，无须繁琐地一次次下载、安装。yum提供了查找、安装、删除某一个、一组甚至全部软件包的命令，而且命令简洁而又好记。yum的

2017-08-03 09:02:48 466

转载 Maven仓库的简介，学习

Maven仓库仓库中jar包定位在maven世界中任何一个依赖、插件或者项目构建的输出都可以称为构件，任何一个构件都有一个坐标作为唯一的标识。这个坐标就是：group、artifactId、version；根据这个坐标就可以定义其在仓库的唯一存储路径，那么就可以在项目中引用。

2017-06-20 10:18:54 317

原创 Maven学习，解析,Maven坐标简介

学习Maven之一接下来我们介绍下面这几个核心概念： Maven坐标 Maven仓库 POM(Project Object Model) Maven插件 Maven生命周期 Maven依赖管理 Maven坐标在我

2017-06-20 09:56:23 395

原创 HDFS概念，HDFS详解

HDFS概念磁盘的block大小，是可以读写的最小单位。单一磁盘文件系统处理这些block中的数据，它通常是磁盘block大小的整数倍。文件系统的block大小通常是几kb，而磁盘block通常是 512b。这对于只是简单读写任意长度文件的文件系统使用者来说是透明的。尽管如此，还是有一些工具来维护文件系统，如df和fsck，它是在文件系统的block级别操作的。

2017-06-19 08:56:41 1033

转载 HBase概述，HBase入门

1-HBase的安装HBase是什么？HBase是Apache Hadoop中的一个子项目，Hbase依托于Hadoop的HDFS作为最基本存储基础单元，通过使用hadoop的DFS工具就可以看到这些这些数据存储文件夹的结构,还可以通过Map/Reduce的框架(算法)对HBase进行操作，如右侧的图所示：HBase在产品中还包含了Jetty，在HBase启动时采

2017-06-19 08:53:44 337

原创 JAVA中的MAP及其子类

JAVA中的MAP及其子类Map（地图集合）：保存具有映射关系的键值对数据，key里面不能允许重复，value里面可以是null。这样一来的话Map跟Set集合很像，把value全部设为null时，其实就相当于实现了Set。Map的子类典型有HashMap、Hashtable(哈希地图），LinkedHashMap（链式哈希地图），TreeMap（树地图）、EnumMap（枚举地图）。

2017-06-19 08:39:04 974

转载 Zookeeper 的学习与运用

引子云计算越来越流行的今天，单一机器处理能力已经不能满足我们的需求，不得不采用大量的服务集群。服务集群对外提供服务的过程中，有很多的配置需要随时更新，服务间需要协调工作，这些信息如何推送到各个节点？并且保证信息的一致性和可靠性？众所周知，分布式协调服务很难正确无误的实现，它们很容易在竞争条件和死锁上犯错误。如何在这方面节省力气？Zookeeper是一个不错的选择。 Zookeepe

2017-06-13 09:32:29 237

转载 ZooKeeper 基本介绍

Zookeeper 作为一个分布式的服务框架，主要用来解决分布式集群中应用系统的一致性问题，它能提供基于类似于文件系统的目录节点树方式的数据存储， Zookeeper 作用主要是用来维护和监控存储的数据的状态变化，通过监控这些数据状态的变化，从而达到基于数据的集群管理。1 Zookeeper基本框架Zookeeper集群主要角色有Leader，Learner（Follower，O

2017-06-13 08:38:54 325

原创 spring的注解说明

@controller 控制器（注入服务）@service 服务（注入dao）@repository dao（实现dao访问）@component （把普通pojo实例化到spring容器中，相当于配置文件中的） @Component,@Service,@Controller,@Repository注解的类，并把这些类纳入进spring容器中管理。下面写这个是引入compo

2017-06-09 08:44:17 223

转载 hadoop2.x的简要说明，新特性yarn的加入

简要介绍在hadoop1.x中，MRv1主要由编程模型(MapReduce API)、资源管理与作业控制块(由JobTracker和TaskTracker组成)和数据处理引擎(由MapTask和ReduceTask组成)三部分组成。在hadoop2.x中出现了YARN，资源管理模块则交由YARN实现，这样为了让MapReduce框架运行在YARN上，仅需要一个Application

2017-06-08 16:33:44 1013

转载 Python中的list集合的判断，如何判断一个list是否为空

今天一个刚刚学习Python的朋友问我。在用for遍历list时有时会报错，错误原因是list为空。有两种方法可以解决：方法一if len(list): ........else: ...........方法二在Python中空 list 等同于 False，所以可以这样写：if list: .........else: .

2017-06-02 11:18:57 12483 1

原创 Struts2,action中用spring注入，启动服务时注入成功，action运行时对象又变成null了

在软件群中遇到一个求助者：问各位大神一个问题，ssh框架里，action中用spring注入，启动服务时注入成功，action运行时对象又变成null了，这是怎么回事啊？问题所在：看了他的配置文件后发现他用spring的依赖注入，在applictionContext.xml配置了相关的bean，但是在struts2的文件中配置action时使用的是类的全路径，没有引用spring

2017-06-02 11:00:23 2743

原创 Data truncation: Incorrect datetime value: '' for column 'start' at row 1的解决方法

公司有一个项目报错如下:java.lang.RuntimeException: java.sql.BatchUpdateException: Data truncation: Incorrect datetime value: '' for column 'start' at row 1at com.honghe.dss.CommonSql.execUpdate(CommonSql.jav

2017-06-01 18:02:37 20443 2

转载 spring注解的部分解释

一：配置web.xml 1)问题：spring项目中有多个配置文件mvc.xml dao.xml 2）解决：在web.xml中 contextConfigLocation /WEB-INF/xxx/*.xml xxx表示xml文件

2017-06-01 17:57:14 308

原创屏蔽谷歌浏览器的自动更新

公司以前有个项目是基于谷歌浏览器开发的，但是最近老是自动更新，搞得项目运行不了。最后的解决办法是屏蔽谷歌浏览器自动更新。用到的是更改注册表：第一步：创建一个TXT文本文件第二步：写入如下内容：Windows Registry Editor Version 5.00[HKEY_LOCAL_MACHINE\SOFTWARE\Policies\Google\Update]

2017-05-31 09:24:59 2233 2

辣条君的博客