小鑫鑫的太阳-CSDN博客

原创 Spring用注解方式实现IOC和DI

1. 什么是注解所谓注解就是给程序看的提示信息,很多时候都用来作为轻量级配置的方式,(java基础加强部分内容)2. Spring中的注解Spring除了默认的使用xml配置文件的方式实现配置之外,也支持使用注解方式实现配置,这种方式效率更高,配置信息清晰,修改方便,推荐使用.引入context名称空间:在编辑软件中导入spring-context-3.2.xsd约束文件,要求Sprin...

2018-12-20 15:01:10 182

原创 Spring DI

set方法注入通常的javabean属性都会私有化,二对外暴露setXxx(),getXxx()方法,此时spring可以通过这样的setXxx()方法将属性的值注入对象a. 内置的可以直接注入类型的注入package cn.tedu.beans; import java.util.List;import java.util.Map;import java.util.Properti...

2018-12-20 14:26:26 130

Spring IOCIOC(DI) - 控制反转(依赖注入)所谓的IOC诚挚为控制反转,简单来说就是将对象创建的权力及对象的生命周期的管理过程交由Spring框架来处理,从此在开发过程中不在需要关注对象的创建和生命周期的管理,而是在需需要时由Spring框架提供,这个由Spring框架管理对象创建个生命周期的机制称之为控制反转,而在创建对象的过程中Spring可以依据配置对对象的属性进行设置,...

2018-12-20 12:27:51 199

原创 flume的Sink(目的地)

一、Logger Sink记录指定级别（比如INFO，DEBUG，ERROR等）的日志，通常用于调试要求，在 --conf参数指定的目录下有log4j的配置文件根据设计，logger sink将体内容限制为16字节，从而避免屏幕充斥着过多的内容。如果想要查看调试的完整内容，那么你应该使用其他的sink，也许可以使用file_roll sink，它会将日志写到本地文件系统中。可配置项说明...

2018-12-18 13:43:53 1106

原创 flume的Source(数据源)

source学习网址：http://flume.apache.org/FlumeUserGuide.html一、Avro类型的Source监听Avro 端口来接收外部avro客户端的事件流。和netcat不同的是，avro-source接收到的是经过avro序列化后的数据，然后反序列化数据继续传输。所以，如果是avro-source的话，源数据必须是经过avro序列化后的数据。而netcat...

2018-12-18 13:28:28 5859

原创 Flume的安装和配置

实现步骤：1.安装jdk，1.6版本以上2.上传flume的安装包3.解压安装4.在conf目录下，创建一个配置文件，比如：template.conf（名字可以不固定,后缀也可以不固定）5.配置agent组件相关配置：#配置Agent a1 的组件a1.sources=r1a1.channels=c1 (可以配置多个，以空格隔开，名字自己定）a1.sinks=s1 (可以配...

2018-12-18 13:04:09 201

原创 flume基本概念

概述:Flume最早是Cloudera提供的日志收集系统，后贡献给Apache。所以目前是Apache下的项目，Flume支持在日志系统中定制各类数据发送方，用于收集数据。Flume是一个高可用的，高可靠的鲁棒性（robust 健壮性），分布式的海量日志采集、聚合和传输的系统，Flume支持在日志系统中定制各类数据发送方，用于收集数据(source);同时，Flume提供对数据进行简单处理，...

2018-12-17 21:10:31 490

原创 MapReduce其他功能

序列化 – Writable序列化/反序列化机制：当自定义了一个类之后,如果想要产生的对象在hadoop中进行传输,那么需要这个类实现Hadoop提供的Writable的接口只需要将按序写出并进行序列化/反序列化Writable案例1:统计每一个人产生的总流量文件:flow.txt13877779999 bj zs 214513766668888 sh ls 1028137666688...

2018-12-17 20:54:08 359

原创 Hadoop练习

将这两个文件中的内容进行合并整合，输出格式：1001 date=20170710 name=apple num=2 price=5999 sum=599921002 date=20170710 name=xiaomi num=100 price=2999 sum=2999100文件1：order.txt1001 20170710 4 21002 20170710 3 1001003 2...

2018-12-15 15:46:06 294

原创 Hadoop完全分布式配置

关闭防火墙临时关闭 : service iptables stop永久关闭 : shkconfig iptables off(需要重启)修改主机名在Hadoop集群中,主机名中不允许出现 _ 以及-,如果出现会导致找不到这台主机vim /etc/sysconfig/network编辑 : HOSTNAME=hadoop01 (可以随便起名,但是得记住)(让他生效...

2018-12-14 13:39:32 218

原创 MapReduce

复习序列化 – Writable序列化/反序列化机制：在MapReduce中，一个对象要想进行传输，那么这个对象对应的类必须实现Hadoop提供的序列化接口 - Writable - 只需要将按序写出控制分区 – Partitioner分区 - Partitioner：默认是按照键的哈希码进行分区，但是实际使用过程中需要手动指定分区情况，就需要写一个类继承Partitioner来指...

2018-12-13 13:58:18 141

古龙