- 博客(8)
- 收藏
- 关注
RSS订阅翻译 软件测试进阶之路
软件测试进阶之路1、一线互联网公司的软件测试1.1 新时代测试人员职责测试人员职责入门的测试：执行用例，找缺陷合格的测试：积极主动地发现、暴露缺陷、并团队合作、解决问题优秀的测试：半个产品半个开发，提高质量和交付速率测试人员工作内容需求阶段：需求评审，明确测试边界；提取功能点与测试点测试设计：测试计划、方案、用例系统架构：清楚系统的架构实现，数据走向，代码逻辑...
2019-05-06 13:00:44
1518
2
原创 spark_SparkStreaming
SparkStreaming流式处理1、主要内容1、掌握SparkStreaming底层原理2、掌握Dstream常用操作3、掌握SparkStreaming整合flume4、掌握SparkStreaming整合kafka2、SparkStreaming概述2.1 什么是SparkStreamingSpark Streaming makes it easy to build s...
2018-11-09 13:02:21
454
原创 spark_基础知识
spark_day01学习笔记1、课程目标1、掌握spark相关概念2、掌握搭建一个spark集群3、掌握编写简单的spark应用程序2、spark概述2.1 spark是什么Apache Spark™ is a unified analytics engine for large-scale data processing.spark是一个针对于大规模数据处理的统一分...
2018-11-06 14:44:41
466
原创 Spark_RDD函数操作详解
**1、**RDD操作详解启动spark-shellspark-shell --master spark://hdp-node-01:7077 1.1 基本转换Transformation操作1) mapmap是对RDD中的每个元素都执行一个指定的函数来产生一个新的RDD。 任何原RDD中的元素在新RDD中都有且只有一个元素与之对应。举例：scala> val a = ...
2018-11-06 14:37:27
359
原创 spark_RDD
spark_RDD1、课程目标1、掌握RDD底层原理2、掌握RDD常用的算子操作3、掌握RDD的依赖关系4、掌握RDD的缓存机制5、掌握划分stage6、掌握spark任务调度流程2、RDD概述2.1 RDD是什么RDD（Resilient Distributed Dataset）叫做弹性分布式数据集，是Spark中最基本的数据抽象，它代表一个不可变、可分区、里面的元素可并...
2018-11-06 14:11:08
177
原创 spark案例---实现ip地址查询
通过Spark实现ip地址查询1.需求分析 在互联网中，我们经常会见到城市热点图这样的报表数据，例如在百度统计中，会统计今年的热门旅游城市、热门报考学校等，会将这样的信息显示在热点图中。通过日志信息（运行商家或者网站自己生成）和城市ip段信息来判断用户的ip段，统计热点经纬度。2.技术调研因为我们的需求是完成一张报表信息，所以对程序的实时性没有要求，所以可以选择内存计算s...
2018-11-06 12:27:23
529
原创 sql_50(sql版）
Mysql版本：mysql没有四大排名函数，需要自定义实现排序的功能表名和字段–1.学生表 Student(s_id,s_name,s_birth,s_sex) –学生编号,学生姓名, 出生年月,学生性别 –2.课程表 Course(c_id,c_name,t_id) – –课程编号, 课程名称, 教师编号 –3.教师表 Teacher(t_id,t_name) –教师编号...
2018-10-25 10:28:54
307
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人