大数据正式30

最新推荐文章于 2024-03-11 13:01:06 发布
最新推荐文章于 2024-03-11 13:01:06 发布
阅读量261 收藏
点赞数 1
分类专栏： 达内实训 大数据学习痕迹
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/eieiei438/article/details/78872232
版权

大数据正式30

课程回顾

  • AOP
    • AOP概念：面向切面编程
    • 连接点：目标方法
    • 切入点：规则（Expression），满足表达式的方法才称之为切入点
    • 切面：类 （事务、权限、异常）
    • 通知：额外的方法

今天：表达式

  • 切入点的Execution表达式 

    execution（modifiers-pattern? ret-type-pattern declaring-type-pattern?
 name-pattern（param-pattern） throws-pattern?）
modifiers-pattern ? ret-type-pattern declaring-type-pattern? name-pattern （param-pattern） throws-pattern ?
修饰符
(可有可无)		 返回值 全类名
(可有可无)		 方法名 参数列表 抛出异常
(可有可无)
  • 例
    • 任意公共方法的执行： 

      execution（public * *（..））
    • 任何一个名字以“set”开始的方法的执行： 

      execution（* set*（..））
    • AccountService接口定义的任意方法的执行： 

      execution（* com.xyz.service.AccountService.*（..））
    • 在service包中定义的任意方法的执行： 

      execution（* com.xyz.service.*.*（..））
    • 在service包或其子包中定义的任意方法的执行： 

      execution（* com.xyz.service..*.*（..））
  • 注：xxx..yyy xxx开头yyy结尾即可，中间随便

五大通知

  1. 环绕通知around
  2. 前置通知before
    1. 事务开始
  3. 后置通知after-returning
    1. 事务的提交
    2. 有异常它不执行
  4. 异常通知after-throwing
    1. JoinPoint必须放在Throwable前面（Error：：0）
    2. 事务回滚
  5. 最终通知after

环绕通知的嵌套

例子

  • 正常的通知（关键代码）

    • 切面类

      package com.peng.aspect;

import org.aspectj.lang.JoinPoint;
import org.aspectj.lang.ProceedingJoinPoint;
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.beans.factory.annotation.Qualifier;
import org.springframework.stereotype.Component;

import com.peng.manager.Manager;

/**
 * 切面
 * 
 * @author Administrator
 * 
 */
@Component(value = "txaspect")
public class TxAspect {
    @Autowired
    @Qualifier(value = "manager")
    Manager manager;

    // 前置通知
    public void before(JoinPoint jp) {
        System.out.println("前置通知类：" + jp.getTarget().getClass());
        System.out.println("前置通知方法：" + jp.getSignature().getName());
    }

    // 环绕通知
    public Object around(ProceedingJoinPoint joinPoint) throws Throwable {
        manager.start();// 开始事务
        // 执行目标方法
        System.out.println("asdfghj");
        Object result = joinPoint.proceed();
        System.out.println("asdfghj");
        manager.commit();// 提交事务
        return result;
    }

    // 后置通知
    public void after_returning(JoinPoint jp) {
        System.out.println("后置通知类：" + jp.getTarget().getClass());
        System.out.println("后置通知方法：" + jp.getSignature().getName());
    }

    // 异常通知
    public void throwable(JoinPoint jp, Throwable tw) {
        System.out.println("异常通知类：" + jp.getTarget().getClass());
        System.out.println("异常通知方法：" + jp.getSignature().getName());
        System.out.println("异常类型：" + tw.getClass());
        System.out.println("异常信息：" + tw.getMessage());
    }

    // 最终通知
    public void after(JoinPoint jp) {
        System.out.println("最终通知类：" + jp.getTarget().getClass());
        System.out.println("最终通知方法：" + jp.getSignature().getName());
    }

}

    • service层的业务逻辑

      package com.peng.service;

import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.beans.factory.annotation.Qualifier;
import org.springframework.stereotype.Service;

import com.peng.dao.PersonDao;
import com.peng.pojo.Person;

@Service(value = "serviceImpl")
public class PersonServiceImpl implements PersonService {
    @Autowired
    @Qualifier(value = "personDao")
    private PersonDao dao;

    @Override
    public void savePerson(Person p) {
        if (null != dao) {
            // int a = 1 / 0;//异常通知实验
            dao.savePerson(p);
        }
    }
}

    • 配置文件

      <?xml version="1.0" encoding="UTF-8"?>
<beans xmlns="http://www.springframework.org/schema/beans"
    xmlns:context="http://www.springframework.org/schema/context"
    xmlns:aop="http://www.springframework.org/schema/aop" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
    xsi:schemaLocation="http://www.springframework.org/schema/beans http://www.springframework.org/schema/beans/spring-beans-3.2.xsd
    http://www.springframework.org/schema/context http://www.springframework.org/schema/context/spring-context-3.2.xsd
        http://www.springframework.org/schema/aop http://www.springframework.org/schema/aop/spring-aop-3.2.xsd">
    <!-- 开启包扫描 -->
    <context:component-scan base-package="com.peng"></context:component-scan>
    <!-- 开启注解开关 -->
    <context:annotation-config></context:annotation-config>
    <aop:config>
        <!-- 切入点(规则:其实就是个路径) -->
        <aop:pointcut expression="execution(* com.peng.service.*.*(..))"
            id="pc" />
        <!-- 配置切面 -->
        <aop:aspect ref="txaspect">
            <!-- 方法 通知 -->
            <aop:before method="before" pointcut-ref="pc" />
            <aop:around method="around" pointcut-ref="pc" />
            <aop:after-returning method="after_returning"
                pointcut-ref="pc" />
            <aop:after-throwing method="throwable" throwing="tw"
                pointcut-ref="pc" />
            <aop:after method="after" pointcut-ref="pc" />
        </aop:aspect>
    </aop:config>
</beans>

    • 执行效果

      十二月 22, 2017 10:59:26 上午 org.springframework.context.support.AbstractApplicationContext prepareRefresh
INFO: Refreshing org.springframework.context.support.ClassPathXmlApplicationContext@873b9f: startup date [Fri Dec 22 10:59:26 CST 2017]; root of context hierarchy
十二月 22, 2017 10:59:26 上午 org.springframework.beans.factory.xml.XmlBeanDefinitionReader loadBeanDefinitions
INFO: Loading XML bean definitions from class path resource [applicationContext.xml]
十二月 22, 2017 10:59:28 上午 org.springframework.beans.factory.support.DefaultListableBeanFactory preInstantiateSingletons
INFO: Pre-instantiating singletons in org.springframework.beans.factory.support.DefaultListableBeanFactory@9ea162: defining beans [txaspect,personDao,manager,person,serviceImpl,serviceImpl2,personServlet,org.springframework.context.annotation.internalConfigurationAnnotationProcessor,org.springframework.context.annotation.internalAutowiredAnnotationProcessor,org.springframework.context.annotation.internalRequiredAnnotationProcessor,org.springframework.context.annotation.internalCommonAnnotationProcessor,org.springframework.aop.config.internalAutoProxyCreator,pc,org.springframework.aop.aspectj.AspectJPointcutAdvisor#0,org.springframework.aop.aspectj.AspectJPointcutAdvisor#1,org.springframework.aop.aspectj.AspectJPointcutAdvisor#2,org.springframework.aop.aspectj.AspectJPointcutAdvisor#3,org.springframework.aop.aspectj.AspectJPointcutAdvisor#4,org.springframework.context.annotation.ConfigurationClassPostProcessor.importAwareProcessor]; root of factory hierarchy
=================懒加载在此之后=================
============构造函数===========
=====Person=====init==========
前置通知类：class com.peng.service.PersonServiceImpl
前置通知方法：savePerson
start................
asdfghj
保存了~~名称：张三，年龄：12
asdfghj
commit................
后置通知类：class com.peng.service.PersonServiceImpl
后置通知方法：savePerson
最终通知类：class com.peng.service.PersonServiceImpl
最终通知方法：savePerson
十二月 22, 2017 10:59:28 上午 org.springframework.context.support.AbstractApplicationContext doClose
INFO: Closing org.springframework.context.support.ClassPathXmlApplicationContext@873b9f: startup date [Fri Dec 22 10:59:26 CST 2017]; root of context hierarchy
十二月 22, 2017 10:59:28 上午 org.springframework.beans.factory.support.DefaultSingletonBeanRegistry destroySingletons
INFO: Destroying singletons in org.springframework.beans.factory.support.DefaultListableBeanFactory@9ea162: defining beans [txaspect,personDao,manager,person,serviceImpl,serviceImpl2,personServlet,org.springframework.context.annotation.internalConfigurationAnnotationProcessor,org.springframework.context.annotation.internalAutowiredAnnotationProcessor,org.springframework.context.annotation.internalRequiredAnnotationProcessor,org.springframework.context.annotation.internalCommonAnnotationProcessor,org.springframework.aop.config.internalAutoProxyCreator,pc,org.springframework.aop.aspectj.AspectJPointcutAdvisor#0,org.springframework.aop.aspectj.AspectJPointcutAdvisor#1,org.springframework.aop.aspectj.AspectJPointcutAdvisor#2,org.springframework.aop.aspectj.AspectJPointcutAdvisor#3,org.springframework.aop.aspectj.AspectJPointcutAdvisor#4,org.springframework.context.annotation.ConfigurationClassPostProcessor.importAwareProcessor]; root of factory hierarchy
=====Person=====destory==========

  • 有异常的通知

    • 切面类

      package com.peng.aspect;

import org.aspectj.lang.JoinPoint;
import org.aspectj.lang.ProceedingJoinPoint;
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.beans.factory.annotation.Qualifier;
import org.springframework.stereotype.Component;

import com.peng.manager.Manager;

/**
 * 切面
 * 
 * @author Administrator
 * 
 */
@Component(value = "txaspect")
public class TxAspect {
    @Autowired
    @Qualifier(value = "manager")
    Manager manager;

    // 前置通知
    public void before(JoinPoint jp) {
        System.out.println("前置通知类：" + jp.getTarget().getClass());
        System.out.println("前置通知方法：" + jp.getSignature().getName());
    }

    // 环绕通知
    public Object around(ProceedingJoinPoint joinPoint) throws Throwable {
        manager.start();// 开始事务
        // 执行目标方法
        System.out.println("asdfghj");
        Object result = joinPoint.proceed();
        System.out.println("asdfghj");
        manager.commit();// 提交事务
        return result;
    }

    // 后置通知
    public void after_returning(JoinPoint jp) {
        System.out.println("后置通知类：" + jp.getTarget().getClass());
        System.out.println("后置通知方法：" + jp.getSignature().getName());
    }

    // 异常通知
    public void throwable(JoinPoint jp, Throwable tw) {
        System.out.println("异常通知类：" + jp.getTarget().getClass());
        System.out.println("异常通知方法：" + jp.getSignature().getName());
        System.out.println("异常类型：" + tw.getClass());
        System.out.println("异常信息：" + tw.getMessage());
    }

    // 最终通知
    public void after(JoinPoint jp) {
        System.out.println("最终通知类：" + jp.getTarget().getClass());
        System.out.println("最终通知方法：" + jp.getSignature().getName());
    }

}

    • service层的业务逻辑

      package com.peng.service;

import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.beans.factory.annotation.Qualifier;
import org.springframework.stereotype.Service;

import com.peng.dao.PersonDao;
import com.peng.pojo.Person;

@Service(value = "serviceImpl")
public class PersonServiceImpl implements PersonService {
    @Autowired
    @Qualifier(value = "personDao")
    private PersonDao dao;

    @Override
    public void savePerson(Person p) {
        if (null != dao) {
            int a = 1 / 0;//异常通知实验
            dao.savePerson(p);
        }
    }
}

    • 配置文件

      <?xml version="1.0" encoding="UTF-8"?>
<beans xmlns="http://www.springframework.org/schema/beans"
    xmlns:context="http://www.springframework.org/schema/context"
    xmlns:aop="http://www.springframework.org/schema/aop" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
    xsi:schemaLocation="http://www.springframework.org/schema/beans http://www.springframework.org/schema/beans/spring-beans-3.2.xsd
    http://www.springframework.org/schema/context http://www.springframework.org/schema/context/spring-context-3.2.xsd
        http://www.springframework.org/schema/aop http://www.springframework.org/schema/aop/spring-aop-3.2.xsd">
    <!-- 开启包扫描 -->
    <context:component-scan base-package="com.peng"></context:component-scan>
    <!-- 开启注解开关 -->
    <context:annotation-config></context:annotation-config>
    <aop:config>
        <!-- 切入点(规则:其实就是个路径) -->
        <aop:pointcut expression="execution(* com.peng.service.*.*(..))"
            id="pc" />
        <!-- 配置切面 -->
        <aop:aspect ref="txaspect">
            <!-- 方法 通知 -->
            <aop:before method="before" pointcut-ref="pc" />
            <aop:around method="around" pointcut-ref="pc" />
            <aop:after-returning method="after_returning"
                pointcut-ref="pc" />
            <aop:after-throwing method="throwable" throwing="tw"
                pointcut-ref="pc" />
            <aop:after method="after" pointcut-ref="pc" />
        </aop:aspect>
    </aop:config>
</beans>

    • 执行效果

      十二月 22, 2017 11:01:30 上午 org.springframework.context.support.AbstractApplicationContext prepareRefresh
INFO: Refreshing org.springframework.context.support.ClassPathXmlApplicationContext@873b9f: startup date [Fri Dec 22 11:01:30 CST 2017]; root of context hierarchy
十二月 22, 2017 11:01:30 上午 org.springframework.beans.factory.xml.XmlBeanDefinitionReader loadBeanDefinitions
INFO: Loading XML bean definitions from class path resource [applicationContext.xml]
十二月 22, 2017 11:01:31 上午 org.springframework.beans.factory.support.DefaultListableBeanFactory preInstantiateSingletons
INFO: Pre-instantiating singletons in org.springframework.beans.factory.support.DefaultListableBeanFactory@7561aa: defining beans [txaspect,personDao,manager,person,serviceImpl,serviceImpl2,personServlet,org.springframework.context.annotation.internalConfigurationAnnotationProcessor,org.springframework.context.annotation.internalAutowiredAnnotationProcessor,org.springframework.context.annotation.internalRequiredAnnotationProcessor,org.springframework.context.annotation.internalCommonAnnotationProcessor,org.springframework.aop.config.internalAutoProxyCreator,pc,org.springframework.aop.aspectj.AspectJPointcutAdvisor#0,org.springframework.aop.aspectj.AspectJPointcutAdvisor#1,org.springframework.aop.aspectj.AspectJPointcutAdvisor#2,org.springframework.aop.aspectj.AspectJPointcutAdvisor#3,org.springframework.aop.aspectj.AspectJPointcutAdvisor#4,org.springframework.context.annotation.ConfigurationClassPostProcessor.importAwareProcessor]; root of factory hierarchy
=================懒加载在此之后=================
============构造函数===========
=====Person=====init==========
前置通知类：class com.peng.service.PersonServiceImpl
前置通知方法：savePerson
start................
asdfghj
异常通知类：class com.peng.service.PersonServiceImpl
异常通知方法：savePerson
异常类型：class java.lang.ArithmeticException
异常信息：/ by zero
最终通知类：class com.peng.service.PersonServiceImpl
最终通知方法：savePerson

AOP的注解形式

  • 切面类

    package com.peng.aspect;

import org.aspectj.lang.ProceedingJoinPoint;
import org.aspectj.lang.annotation.Around;
import org.aspectj.lang.annotation.Aspect;
import org.aspectj.lang.annotation.Before;
import org.aspectj.lang.annotation.Pointcut;
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.beans.factory.annotation.Qualifier;
import org.springframework.stereotype.Component;

import com.peng.manager.Manager;

/**
 * 切面
 * 
 * @author Administrator
 * 
 */
@Component
@Aspect
public class TxAspect {
    @Autowired
    @Qualifier(value = "manager")
    Manager manager;

    // /创建一个切入点表达式的引用
    @Pointcut("within(com.peng.service.*)")
    public void pc() {
    }

    // 此方法当代理对象执行方法的时候去执行---------连接点
    @Around(value = "pc()")
    public Object around(ProceedingJoinPoint joinPoint) throws Throwable {
        manager.start();// 开始事务
        // 执行目标方法
        Object result = joinPoint.proceed();
        manager.commit();// 提交事务
        return result;
    }

}

  • 配置文件

    <?xml version="1.0" encoding="UTF-8"?>
<beans xmlns="http://www.springframework.org/schema/beans"
    xmlns:context="http://www.springframework.org/schema/context"
    xmlns:aop="http://www.springframework.org/schema/aop" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
    xsi:schemaLocation="http://www.springframework.org/schema/beans http://www.springframework.org/schema/beans/spring-beans-3.2.xsd
    http://www.springframework.org/schema/context http://www.springframework.org/schema/context/spring-context-3.2.xsd
        http://www.springframework.org/schema/aop http://www.springframework.org/schema/aop/spring-aop-3.2.xsd">
    <!-- 开启包扫描 -->
    <context:component-scan base-package="com.peng"></context:component-scan>
    <!-- 开启注解开关 -->
    <context:annotation-config>
    </context:annotation-config>
    <!-- aop注解开关 -->
    <aop:aspectj-autoproxy></aop:aspectj-autoproxy>
</beans>

自定义注解

  • 方便自己来更好的控制
  • 步骤
    • 声明注解
    • 使用注解
    • 判断注解
  • 使用前景
    • 事务
    • 安全
    • 。。。

  • 例子

    • 自定义注解

      package com.peng.create;

import java.lang.annotation.ElementType;
import java.lang.annotation.Retention;
import java.lang.annotation.RetentionPolicy;
import java.lang.annotation.Target;

@Target(ElementType.METHOD)
// 注解类型--方法
@Retention(RetentionPolicy.RUNTIME)
// 时间点--运行时
public @interface Transication {
    // 参数声明
    String value() default "small";// 有default可以不用写，没有default必须写--------------具体用到的注解中
}

    • service层

      package com.peng.service;

import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.beans.factory.annotation.Qualifier;
import org.springframework.stereotype.Service;

import com.peng.create.Transication;
import com.peng.dao.PersonDao;
import com.peng.pojo.Person;

@Service(value = "serviceImpl")
public class PersonServiceImpl implements PersonService {
    @Autowired
    @Qualifier(value = "personDao")
    private PersonDao dao;

    @Override
    @Transication(value = "save")
    public void savePerson(Person p) {
        if (null != dao) {
            dao.savePerson(p);
        }
    }

}

    • 切面

      package com.peng.aspect;

import org.aspectj.lang.ProceedingJoinPoint;
import org.aspectj.lang.annotation.Around;
import org.aspectj.lang.annotation.Aspect;
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.beans.factory.annotation.Qualifier;
import org.springframework.stereotype.Component;

import com.peng.create.Transication;
import com.peng.manager.Manager;

/**
 * 切面
 * 
 * @author Administrator
 * 
 */
@Component
@Aspect
public class TxAspect {
    @Autowired
    @Qualifier(value = "manager")
    Manager manager;

    // /创建一个切入点表达式的引用

    // 此方法当代理对象执行方法的时候去执行---------连接点
    @Around(value = "within(com.peng.service.*) && @annotation(ts)")
    public Object around(ProceedingJoinPoint joinPoint, Transication ts)
            throws Throwable {

        System.out.println(ts.value());
        // TODO权限
        // 获取用户的权限
        // 获取注解中的权限--权限类（静态list）
        // 判断当前用户中是否有该权限，并执行相应的操作

        manager.start();// 开始事务
        // 执行目标方法
        Object result = joinPoint.proceed();
        manager.commit();// 提交事务
        return result;
    }

}

    • 配置文件

      <?xml version="1.0" encoding="UTF-8"?>
<beans xmlns="http://www.springframework.org/schema/beans"
    xmlns:context="http://www.springframework.org/schema/context"
    xmlns:aop="http://www.springframework.org/schema/aop" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
    xsi:schemaLocation="http://www.springframework.org/schema/beans http://www.springframework.org/schema/beans/spring-beans-3.2.xsd
    http://www.springframework.org/schema/context http://www.springframework.org/schema/context/spring-context-3.2.xsd
        http://www.springframework.org/schema/aop http://www.springframework.org/schema/aop/spring-aop-3.2.xsd">
    <!-- 开启包扫描 -->
    <context:component-scan base-package="com.peng"></context:component-scan>
    <!-- 开启注解开关 -->
    <context:annotation-config>
    </context:annotation-config>
    <!-- aop注解开关 -->
    <aop:aspectj-autoproxy></aop:aspectj-autoproxy>
</beans>
乘风御浪云帆之上
关注
  • 1
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 1
    评论
专栏目录
大数据设计方案
悦分享
10-07 322
熟悉技能 : Hadoop, Hive, Flume, Kafka, Azkaban, Java/Scala, Spark, Sqoop, Zookeeper, Redis, MySQL, Xshell。日活,周活,用户活跃,用户新增,用户留存,漏斗分析,Gmv,流失用户,增长率,成交转化率,询单量,询单转化率,退单率等等。了解技能 : SparkStreaming, Flink, Hbase, Phoenix, ES。时活,订单量,接货量,交易额,广告点击,区域订单等等。
2021年MathorCup大数据竞赛论文格式及提交规范1
08-03
正文控制在30页左右，附录页数不限。所有引用的资料必须正确标注参考文献。 4. **参考文献格式**：引用他人成果时，正文引用处用方括号标注编号，如[1][3]，并在参考文献列表中详细列出。书籍、期刊论文和网络资源...
大数据完结正式步入项目阶段
小坏说后端
11-09 586
争取30天搞完d第一个实时数仓项目。争取30天搞完d第二个实时数仓项目。
大数据与云计算
最新发布
Morse_Chen的博客
03-11 1555
云计算是处理大数据的手段，大数据与云计算是一杖硬币的正反面。大数据是需求，云计算是手段。本文介绍大数据和云计算的相关概念，以及之间的关系。
认识大数据
weixin_42283818的博客
09-20 1704
大数据基础，了解大数据
大数据简介
盲流子的博客
05-18 1808
1. 大数据简介 大数据指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。 目前主要解决海量数据的存储和海量数据的分析计算问题。 按顺序给出数据存储单位：bit、Byte、KB、MB、GB、TB、PB、EB、ZB、YB、BB、NB、DB。 1Byte = 8bit 1K = 1024Byte 1MB = 1024K 1G = 1024M 1T = 1024G 1P = 1024T 1.2 大数
大数据的理解
kailzhu的博客
06-23 5670
大数据讲解1、大数据概念2、大数据特点2.1 Volume（大量）2.2 Variety（多样）2.3 Velocity（高速）2.4 Value（价值）3 大数据技术发展史4 大数据应用场景4.1医疗大数据看病更高效4.2生物大数据改良基因4.3金融大数据理财利器4.4零售大数据最懂消费者4.5电商大数据精准营销法宝4.6农牧大数据量化生产4.7交通大数据畅通出行4.8教育大数据因材施教4.9体育大数据夺冠精灵4.10环保大数据对抗PM2.54.11食品大数据舌尖上的安全4.12政府调控和财政支出大数据令
【大数据】大数据初识
技术能量站
01-04 4551
花了一个月时间整理了一份我当初学习的大数据学习路线，从最基础的大数据集群搭建开始，希望能帮助到大家。 不过在开始之前，我还是希望大家能想清楚，如果自己很迷茫，为了什么原因想往大数据方向发展，还有就是我就想问一下，你的专业是什么，对于计算机/软件，你的兴趣是什么？ 是计算机专业，对操作系统、硬件、网络、服务器感兴趣？是软件专业，对软件开发、编程、写代码感兴趣？还是数学、统计学专业，对数据和数字特别感兴趣？ 这其实也就关系到大数据的三个发展方向： 平台搭建/优化/运维/监控 大数据开发/设计/架构
大数据生态
IT成长记
01-15 2115
一、Hadoop是什么？ 1）Hadoop是一个由Apache基金会所开发的分布式系统基础架构。 2）主要解决，海量数据的存储和海量数据的分析计算问题。 3）广义上来说，Hadoop通常是指一个更广泛的概念——Hadoop生态圈。 二、Hadoop发展史 Lucene框架是Doug Cutting开创的开源软件，用Java书写代码，实现与Google类似的全文搜索功能，它提供了全文检索引擎的架构，包括完整的查询引擎和索引引擎。 2001年年底Lucene成为Apache基金会的一个子项目。 对于海量数据
大数据之Hadoop图解概述
热门推荐
努力让自己发光，对的人才能迎着光而来
10-22 2万+
文章目录1 Hadoop是什么2 Hadoop 发展历史（了解）3 Hadoop 三大发行版本（了解）3.1 Apache Hadoop（常用）3.2 Cloudera Hadoop3.3 Hortonworks Hadoop4 Hadoop 优势（4 高）5 Hadoop 组成（面试重点）5.1 HDFS 架构概述5.2 YARN 架构概述5.3 MapReduce 架构概述5.4 HDFS、YARN、MapReduce 三者关系6 大数据技术生态体系7 推荐系统框架图 1 Hadoop是什么 1）Had
UCPfor大数据解决方案30.pptx
03-23
计划投资2亿美元以上，正式启动“大数据发展计划”，旨在科学研究、环境、生物医学等领域利用大数据技术进行突破。 大数据的应用案例 大数据的应用案例包括： * 谷歌流感趋势工具：通过跟踪搜索词相关数据来判断...
JAVA大数据教育培训服务合同保证就业版.pdf
05-22
乙方需要具备基本的参训条件，包括符合报名基本标准、大专及以上学历、30周岁以下、身体健康，无重大疾病及传染病，不影响就业推荐。乙方确保提供的个人资料包括学历证明等真实可信，无隐瞒真实学历和年龄；乙方保证...
大数据预科班作业8
菜鸟零号 kungfu~peng
09-12 7177
大数据预科班作业8（一二套） (第一套) 1. （static 属性）有如下代码 class MyClass{ static int a; int b; } public class TestMain{ public static void main(String args[]){ MyClass mc1 = new MyClass(); MyClass mc2 = new MyClas
大数据预科班作业7
菜鸟零号 kungfu~peng
09-12 6794
大数据预科班作业7 1. （继承、this 和super 关键字）有以下代码 class Super{ public Super(){ System.out.println("Super()"); } public Super(String str){ System.out.println("Super(String)");
大数据预科班1~4天习题
菜鸟零号 kungfu~peng
09-06 6053
第一、第二天作业 1.（标识符命名）下面几个变量中，那些是对的？那些是错的？错的请说明理由 A. ILoveJava B. $20 C. learn@java D. antony.lee E. Hello_World F. 2tige 正确的：A B E  错误的：C(@符号不满足) D(.符号不满足) F(数字不能开头) 2.假设有如下程序： package com.corej
京淘项目总结
菜鸟零号 kungfu~peng
02-12 5796
京淘项目总结项目整体结构项目设计初衷--有一套高可用、高并发的系统架构代码下载地址http://download.csdn.net/download/eieiei438/10250016
大数据预科班作业13
菜鸟零号 kungfu~peng
09-27 5562
大数据预科班作业13 1. （File 类）以下关于 File 类说法正确的是： A． 一个 File 对象代表了操作系统中的一个文件或者文件夹 B． 可以使用 File 对象创建和删除一个文件 C． 可以使用 File 对象创建和删除一个文件夹 D． 当一个 File 对象被垃圾回收时，系统上对应的文件或文件夹也被删除 ABC 2. （File 类）有如下代码：
大数据预科班作业10
菜鸟零号 kungfu~peng
09-22 4758
大数据预科班作业10 1. 填空 Collection 接口的特点是元素是_________；List 接口的特点是元素_____（有 |无）顺序，______（可以|不可以）重复； Set 接口的特点是元素_____（有| 无）顺序，______（可以|不可以）重复； Map 接口的特点是元素是__________, 其中_____可以重复，________不可以重复。
大数据开发方案详解：架构设计与选型策略
- 数据量分析根据用户行为和业务数据计算出所需的存储空间，如日活跃用户产生的数据量、日志量、压缩后的大小、备份策略等，预估了整个集群的总存储需求大约为30TB。 4. 集群规模与规划 - 根据预计的数据量和备份...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

乘风御浪云帆之上

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值