排序:
默认
按更新时间
按访问量

15大自动化测试面试问题与解答

1)什么是自动化测试?自动化测试是一种使用自动化工具编写和执行测试人员测试脚本和案例的技术。自动化测试的主要目标是减少手动运行的测试用例数量,而不是完全取消手动测试。2)什么时候自动化测试?在以下情况下首选自动化重复性任务烟雾和理智测试使用多个数据集进行测试回归测试用例通常,决定基于ROI(投资回...

2018-07-12 13:54:49

阅读数:862

评论数:0

PERL如何用于自动化测试

Perl广泛用于自动化。它可能不是世界上最好的编程语言,但它最适合某些类型的任务。我们来讨论Perl用于自动化测试的位置和原因。存储测试什么是存储?数据存储在Files中。假设,我们有一个与存储相关的测试用例,我们必须在一个分区上写入数据,读取并验证数据是否正确写入。这可以手动完成,但手动测试仪可...

2018-07-12 13:54:00

阅读数:163

评论数:0

分布式之数据库和缓存双写一致性方案解析

引言为什么写这篇文章?首先,缓存由于其高并发和高性能的特性,已经在项目中被广泛使用。在读取缓存方面,大家没啥疑问,都是按照下图的流程来进行业务操作。但是在更新缓存方面,对于更新完数据库,是更新缓存呢,还是删除缓存。又或者是先删除缓存,再更新数据库,其实大家存在很大的争议。目前没有一篇全面的博客,对...

2018-07-10 16:20:27

阅读数:42

评论数:0

6 大主流 Web 框架优缺点对比

 在这篇文章中,我们将对这个系列中所提到的每款框架做一个总结,包括我们所认为的强项和弱项。另外,我们为你留下了一些值得思考的问题。我是否需要使用框架?如果不尝试回答这个问题就是我们的失职,这越来越成为社会上某些人的口头禅,在网络平台上的争论也已经发展到犹如不需要额外编写 API 能更简单创建 We...

2018-07-10 16:15:48

阅读数:165

评论数:0

数据库事务四大特性以及事务的隔离级别

如果一个数据库声称支持事务的操作,那么该数据库必须要具备以下四个特性原子性(Atomicity)一致性(Consistency)隔离性(Isolation)持久性(Durability)1原子性(Atomicity)原子性是指事务包含的所有操作要么全部成功,要么全部失败回滚,这和前面两篇博客介绍事...

2018-07-10 16:12:09

阅读数:50

评论数:0

你可能感兴趣的人——大数据推荐系统理论与实战

什么是推荐系统金角大王将宝葫芦倒置,喊声:孙行者。悟空应了一声,嗖的一声便被吸了进去。金角大王查看时,里面除了孙悟空,还有行者武松、苍井空、孙权、六耳猕猴、金刚等一干人。金角大王惊讶道:只喊孙行者,怎来了这许多。宝葫芦开口言到:这都是你“可能感兴趣的人”。在大家平时生活中一定也遇到过不少类似的事情...

2018-07-05 21:32:23

阅读数:299

评论数:0

日志实时收集之FileBeat+Kafka

之前,我们的某一个业务用于实时日志收集处理的架构大概是这样的:在日志的产生端(LogServer服务器),都部署了FlumeAgent,实时监控产生的日志,然后发送至Kafka。经过观察,每一个FlumeAgent都占用了较大的系统资源(至少会占用一颗CPU 50%以上的资源)。而另外一个业务,L...

2018-07-02 14:55:27

阅读数:275

评论数:0

SparkSQL读取HBase数据

这里的SparkSQL是指整合了Hive的spark-sql cli(关于SparkSQL和Hive的整合,见文章后面的参考阅读).本质上就是通过Hive访问HBase表,具体就是通过hive-hbase-handler .环境篇hadoop-2.3.0-cdh5.0.0apache-hive-0...

2018-07-02 14:43:04

阅读数:243

评论数:0

Spark RDD学习笔记

一、学习Spark RDDRDD是Spark中的核心数据模型,一个RDD代表着一个被分区(partition)的只读数据集。RDD的生成只有两种途径:一种是来自于内存集合或外部存储系统;另一种是通过转换操作来自于其他RDD;一般需要了解RDD的以下五个接口:partition分区,一个RDD会有一...

2018-07-02 14:38:06

阅读数:30

评论数:0

Spark读取HDFS文件,任务本地化(NODE_LOCAL)

Spark也有数据本地化的概念(Data Locality),这和MapReduce的Local Task差不多,如果读取HDFS文件,Spark则会根据数据的存储位置,分配离数据存储最近的Executor去执行任务。这么理解没错,我搭建的Spark集群情况是这样:15台DataNode节点的HD...

2018-07-02 14:35:15

阅读数:106

评论数:0

作为一名程序员,需要会多少门技术?

想要成为一名程序员,光是会敲键盘可是不够的,你还需要会“物理”、“化学”、“生物”、“文学”……等等方面的知识,也就是说你要先从“高中”毕业,然后上“大学”后,选择一门自己喜欢的专业去学习。零·高中阶段那么,在“高中”阶段,我们都需要学会什么呢?"物理"指的是基...

2018-06-28 22:09:21

阅读数:114

评论数:0

Spark性能调优总结

1、Spark调优背景目前Zeppelin已经上线一段时间,Spark作为底层SQL执行引擎,需要进行整体性能调优,来提高SQL查询效率。本文主要给出调优的结论,因为涉及参数很多,故没有很细粒度调优,但整体调优方向是可以得出的。环境:服务器600+,spark 2.0.2,Hadoop 2.6.0...

2018-06-23 22:15:30

阅读数:30

评论数:0

Laravel的中大型项目构架

初学者学习Laravel时分两种,一种是乖乖的将程序填入MVC构架内,导致controller与model异常的肥大,日后一样很难维护;一种是常常不知道程序该写在哪一个class内而犹豫不决,毕竟传统PHP都是一个页面一个档案。本文整理出最适合Laravel的中大型项目构架,兼具容易维护、容易扩充...

2018-06-23 17:16:19

阅读数:533

评论数:0

浅谈web网站架构演变过程

前言  我们以javaweb为例,来搭建一个简单的电商系统,看看这个系统可以如何一步步演变。  该系统具备的功能:用户模块:用户注册和管理商品模块:商品展示和管理交易模块:创建交易和管理  阶段一、单机构建网站  网站的初期,我们经常会在单机上跑我们所有的程序和软件。此时我们使用一个容器,如tom...

2018-06-23 17:00:06

阅读数:84

评论数:0

6个人如何维护上千规模的大数据集群?

本文主要介绍如何通过对计算引擎入口的统一,降低用户接入门槛;如何让用户自助分析任务异常及失败原因,以及如何从集群产生的任务数据本身监控集群计算/存储资源消耗,监控集群状况,监控异常任务等。其中 6 人的离线团队需要维护大数据集群规模如下:Hadoop 集群规模 1300+HDFS 存量数据 40+...

2018-06-23 16:37:22

阅读数:202

评论数:0

零基础学习大数据,搭建Hadoop处理环境

由于Hadoop需要运行在Linux环境中,而且是分布式的,因此个人学习只能装虚拟机,本文都以VMware  Workstation为准,安装CentOS7,具体的安装此处不作过多介绍,只作需要用到的知识介绍。VMware的安装,装好一个虚拟机后利用复制虚拟机的方式创建后面几个虚拟机,省时省力,需...

2018-06-22 21:41:07

阅读数:149

评论数:0

大数据Hadoop的HA高可用架构集群部署

1 概述在Hadoop 2.0.0之前,一个Hadoop集群只有一个NameNode,那么NameNode就会存在单点故障的问题,幸运的是Hadoop 2.0.0之后解决了这个问题,即支持NameNode的HA高可用,NameNode的高可用是通过集群中冗余两个NameNode,并且这两个Name...

2018-06-21 20:30:59

阅读数:155

评论数:0

大数据存储平台之异构存储实践深度解读

经常做数据处理的伙伴们肯定会有这样一种体会:最近一周内的数据会被经常使用到,而比如最近几周的数据使用率会有下降,每周仅仅被访问几次;在比如3月以前的数据使用率会大幅下滑,存储的数据可能一个月才被访问几次。这就产生了一种热和冷数据,对需要频繁访问的数据我们称之为“热”数据,反之我们称之为”冷”数据,...

2018-06-21 20:14:17

阅读数:297

评论数:0

大数据计算架构Hadoop、Spark和Storm 三者技术比较

短短几年时间,大数据这个词便已家喻户晓。但在大数据这个名词被命名之前,人类对数据的搜集与分析已有着悠久的历史。从人工统计分析到电脑/大型机再到今天的分布式计算平台,数据处理速度飞速提高的背后则是整体架构的不断演进。今天大数据架构最火热的莫过于hadoop,Spark和Storm这三种,而Spark...

2018-06-20 22:05:55

阅读数:169

评论数:0

用Hadoop构建电影推荐系统

前言Netflix电影推荐的百万美金比赛,把“推荐”变成了时下最热门的数据挖掘算法之一。也正是由于Netflix的比赛,让企业界和学科界有了更深层次的技术碰撞。引发了各种网站“推荐”热,个性时代已经到来。一、 推荐系统概述电子商务网站是个性化推荐系统重要地应用的领域之一,亚马逊就是个性化推荐系统的...

2018-06-20 22:00:20

阅读数:31

评论数:0

提示
确定要删除当前文章?
取消 删除
关闭
关闭