- 博客(28)
- 资源 (45)
- 收藏
- 关注
原创 大数据学习笔记-------------------(28)
第28章 HIVEQLHIVEQL(HIVEQuery Language:Hive查询语言)是一种查询语言,该语言为Hive处理并分析Metastore的结构数据。28.1查询语句(SELECT ...WHERE)SELECT语句被用于检索表中的数据。WHERE子句的工作原理类似于条件。它用条件过滤数据并给出一个有限结果。内置的运算符和函数生成一个满足条件的表达式。SELECT查询语法
2016-10-31 11:00:48 717 1
原创 大数据学习笔记-------------------(27)
第27章视图与索引 本章描述如何创建和管理视图(VIEW)。视图基于用户的需求产生,保存任何结果把数据设为一个view。Hive中View的使用与SQL中View的使用一样。它是一个标准的RDBMS概念。可以在视图上执行所有DML操作。27.1 创建视图(Creatinga View)在执行一个SELECT语句时,创建一个视图。语法如下:CREATE VIEW [IF
2016-10-28 09:46:30 314
原创 大数据学习笔记-------------------(26)
第26章内置函数26.1内置函数Hive支持的内置函数列表如下:26.1.1内置函数实例 26.2 聚合函数(AggregateFunctions)Hive支持的内建聚合函数。这些函数和sql的聚合函数使用方法一样:
2016-10-28 08:51:12 386
原创 大数据学习笔记-------------------(25)
第25章内置运算符本章用来解释Hive的内置运算符,Hive有四种运算符:关系运算符、算术运算符、逻辑运算符、复杂运算符。25.1 关系运算符关系运算符被用于两个操作数的比较。下表描述了Hive中可以使用的关系运算符。运算符操作数 描述 A = B all primitive types
2016-10-27 17:22:40 383
原创 大数据学习笔记-------------------(24)
第24章分区 Hive组织table进入分区。该方法是把一个表分层相关的部分,每个部分基于分区列的值,如日期、城市、部门等。用分区,很容易查询一部分数据。表(Table) 或分区(Partition)被细分成桶(buckets),为了提供额外的结构,该结构使数据可以用于更有效的查询。buckets工作是基于表的某列的哈希函数值。例如,Tab1表包含employee数据例如id、name
2016-10-27 15:32:37 503
原创 大数据学习笔记-------------------(23)
第23章数据表操作23.1创建数据表创建数据表和在表中插入数据。HIVE创建数据表的语法和SQL创建数据表非常类似。23.1.1 创建数据表HIVE创建数据表的语句如下:CREATE [TEMPORARY] [EXTERNAL] TABLE [IF NOT EXISTS] [db_name.] table_name [(col_name data_type [COMMENT co
2016-10-26 12:03:22 656
原创 HIVE+MYSQL+HADOOP环境配置(用于学习)
注意:一切的操作,都要在root用户下,不然会由于权限问题产生很多问题Step_1:安装并配置ssh通过命令: apt-get install openssh-server 安装SSH 。安装成功后,通过命令:ssh-keygen -t rsa生成秘钥,进入到.ssh目录下执行命令:cp id_rsa.pub authorized_keys ,操作成功之后执行ssh localh
2016-10-25 12:26:15 3985
原创 大数据学习笔记-------------------(22)
第22章数据库操作22.1 创建数据库 Hive是一个数据库技术,该技术可以定义数据库和表用于分析结构数据。结构化数据分析的主题是以表格方式存储数据,并传递查询以对其进行分析。本章是用来描述如何创建数据库。Hive包含一个默认的数据库(default)。22.1.1创建数据库语句 创建数据库的语句用来在Hive创建数据库。Hive中的数据库是命名空间
2016-10-24 11:50:17 523
原创 大数据学习笔记-------------------(21)
第21章 HIVE 数据类型 Hive中所有的数据类型都符合如下四种类型:列类型(Column Type)、文本类型(Literals)、Null类型(Null Values)、复杂类型(Complex Type)。21.1列类型(ColumnType) Hive中被用作列类型的的数据类型如下:整型、字符型、时间戳、日期、浮点型、集合。21.1.1整
2016-10-24 09:28:17 376
原创 大数据学习笔记-------------------(20_2)
Step_4:HIVE安装Step_4.1:下载Hive通过:http://apache.petsads.us/hive/hive-2.1.0/,链接下载。记录下载的路径/下载,进入到下载路径下,下载成功会发现:apache-hive-2.1.0-bin.tar.gzStep_4.2:解压并验证Hive压缩问价进入到hive所在路径,执行:tarzxvf apache-
2016-10-20 16:27:58 701
原创 大数据学习笔记-------------------(20_1)
第20章 HIVE 安装在安装HIVE之前,需要安装JDK、Hadoop,由于在安装Spark时,已经安装过并配置过JDK,因此该章将从Hadoop的安装和配置开始。20.1Hadoop安装在安装Hadoop之前,先验证机器上是否已经安装Hadoop,检验是否安装过Hadoop的命令:hadoop version。如果机器已经安装,将会给出如下响应信息:如果没有
2016-10-20 09:44:42 597
原创 web页面登录+参数化+多线程自动化脚本
#coding=utf-8from selenium import webdriverimport threadingimport csvimport timefrom selenium.webdriver.common.action_chains import ActionChains#登录界面的Url,例如:http://www.baidu.com#url="http://www
2016-10-19 15:26:53 3356
原创 大数据学习笔记-------------------(19)
第四部分HIVE学习 该部分,主要对HIV学习笔记进行记录,学习资料翻译自《hive_tutorial》,学习网站:www.tutorialspoint.com该部分为10个章节来学习HIVE:Ø 第19章 HIVE介绍Ø 第20章 HIVE 安装Ø 第21章 HIVE 数据类型Ø 第22章 数据库操作Ø 第23章 数据表操作Ø 第24章 分区Ø
2016-10-19 08:57:35 471
原创 大数据学习笔记-------------------(18)
第18章 KAFKA与SPARK集成18.1Kafka与spark集成 Kafka是Spark流式传输潜在消息和集成的平台。Kafka充当实时数据流的中心枢纽,并使用Spark Streaming中的复杂算法进行处理。一旦数据被处理,Spark Streaming可以将结果发布到另一个Kafka topic或存储在HDFS,数据库或控制面板中。 1
2016-10-17 09:37:58 406
原创 python nose模块简单使用
当运行Nose时,它会自动寻找其名称以"test_"开头的文件,跟测试模块的名称一样,测试函数的名称也必须以test_开头。#coding=utf-8#-----------------------------------------------------------------------------#nose模块:调用run()或runmodule()方法,nose会制动查找源码中[
2016-10-14 16:55:24 3304
原创 大数据学习笔记-------------------(17_3)
17.3 消费者群例子消费群是多线程或多机器接收KafkaTopic。17.3.1 消费者群Ø 消费者可以通过使用相同的“group.id”来加入组。Ø 组的最大并行数目是组中消费者数Ø Kafka将Topic分区分配给组中的消费者,以便每个分区都由组中的一个消费者使用。Ø Kafka保证消息只能被组中的一个消费者读取。Ø 消费者可以按照消息存储在日志中的顺序
2016-10-14 10:27:30 342
原创 大数据学习笔记-------------------(17_2)
17.2 简单消费者实例 已经创建一个producer给Kafka集群发送信息。现在需要创建一个consumer来接收来自集群中的信息。KafkaConsumer API习惯用语接收来自Kafka集群的信息。KafkaConsumer类结构定义如下:publicKafkaConsumer(java.util.Map configs)config:返回消费者配置信息的ma
2016-10-14 09:46:12 990
原创 大数据学习笔记-------------------(17_1)
第17章 KAFKA 生产者与消费者实例17.1 生产者实例用Java客服端来创建一个发布和订阅消息的应用程序。Kafka生产者客服端由如下API组成。17.1.1KafkaProducer API KafkaProducerAPI的核心组成部分是"KafkaProducer"类。KafkaProducer类提供一个选项去连接一个kafka中间件,在这个结构内带有如下方法。
2016-10-13 10:50:21 929
原创 Windows系统的BAT命令解释说明
ASSOC 显示或修改文件扩展名关联。ATTRIB 显示或更改文件属性。BREAK 设置或清除扩展式 CTRL+C 检查。BCDEDIT 设置启动数据库中的属性以控制启动加载。CACLS 显示或修改文件的访问控制列表(ACL)。CALL 从另一个批处理程序调用这一个。CD
2016-10-12 14:29:37 550
原创 JEMETER+Mysql简单测试样例
Mysql下载链接:https://pan.baidu.com/s/1kVjmFVD 密码:5rbx创建数据库+数据表+插入数据:http://blog.csdn.net/henni_719/article/details/51435356Jemeter的mysql驱动:https://pan.baidu.com/s/1c1CWTBM 密码:fbvhJemeter下载链接:ht
2016-10-12 10:50:36 1390
原创 大数据学习笔记-------------------(16)
第16章 KAFKA基本操作首先开始实现“单个单节点中间件(single node-single broker)”配置,然后将设置迁移到单个多节点中间件配置。机器上已经安装Java、ZooKeeper和Kafka。 在迁移到kafka集群之前,首先需要启动ZooKeeper,因为Kafka集群依赖于ZooKeeper。16.1 启动zookeeper服务打开一个新的终端,输入命令:
2016-10-11 14:17:09 418
原创 大数据学习笔记-------------------(15)
第15章 KAFKA安装 安装kafka在之前,安装过jdk、spark、zookeeper的机器上,安装步骤如下:step_1:下载kafka下载链接:https://www.apache.org/dyn/closer.cgi?path=/kafka/0.9.0.0/kafka_2.11-0.9.0.0.tgz下载kafka_2.11-0.9.0.0.tgz到机器上。step_2
2016-10-11 08:47:43 348
转载 Linux LTP安装与使用
1. Introduction1. Purposeof this documentLinuxTest Project (LTP) is an open source project with a goal to deliver test suitesto the open source community that validate the reliability, robustn
2016-10-10 16:35:33 4457
转载 LTP(Linux Test Project)介绍
==============================LTP介绍开始===================================LTP--Linux Test Project 简介: LTP套件是由 Linux Test Project 所开发的一套系统测试套件。它基于系统资源的利用率统计开发了一个测试的组合,为系统提供足够的压力。 通
2016-10-10 14:25:34 5285
原创 大数据学习笔记-------------------(14)
第14章 KAFKA工作流程 KAFKA是一个被简单地分割成一个或多个分区的Topic集合。一个KAFKA分区是一个线性有序消息序列,在该序列中的每个消息被它们的索引(偏移量offset)标识。在KAFKA集群中的所有数据是不想交的分区并集。收到的信息被写入分区的末尾,由消费者依次读取消息。由不同的中间件不间断的复制信息。 KAFKA提供PUB-SUB和基于
2016-10-10 10:58:47 337
原创 git打补丁(patch)
1. 在git源码目录下执行git diff 如生成补丁patch文件:git diff build.xml>patch2. 测试(补丁)patch检查patch文件git apply --stat patch查看是否能应用成功git apply --check patch3. 应用patchgit am -s
2016-10-09 12:03:15 997
原创 Jenkins+Ant+Git持续集成
在配置Jenkins+ant_git之前,需要提前配置JDK环境:JDK配置步骤如下:step_1:下载JDKjdk下载的官网:点击打开链接 step_2:解压jdk文件,并安装设置好安装的路径,如:C:\Program Files (x86)\Java\jdk1.8.0_11step_3:设置环境变量 新建系统变量JAVA_HOME,设置值为“C:\P
2016-10-09 11:19:28 5932
原创 大数据学习笔记-------------------(13)
第13章 KAFKA基本组成与集群架构13.1 KAFKA的基本组成 在深入学习KAFKA之前,必须知道的专业术语如:主题(topics)、中间件(brokers)、生产者(producers)和消费者(consumers)。下图说明主要用语和表格详细介绍了图中的组件: 在上面的图中,(Topics)主题配置为三个分区(Partition)。分区(P
2016-10-08 09:59:29 339
大数据学习笔记.pdf
2016-11-03
大数据学习笔记
2016-10-31
游戏测试-----端游 页游 手游
2016-07-18
( 处理器个数和队列长度之间关系
2016-07-14
JMeterPlugins-Standard-1.4.0.zip
2016-06-24
AppiumForWindows
2016-04-18
jenkins-the-definitive-guide.pdf
2016-02-18
Perl Testing程序高手秘籍
2015-04-30
人工智能-提示工程-课件
2023-11-22
TDH培训材料.zip
2020-12-16
tensorflow-windows_x86_64.zip
2019-11-27
使用Jmeter进行接口与性能测试
2019-01-31
centos:7.2.1511的docker镜像
2018-11-16
Redhat7.3局域网使用ambari安装大数据平台
2018-09-16
gmongo与mongo_java_driver的JAR文件
2018-03-15
SOAPUI学习笔记(1-150页)
2018-03-05
soapUI CookBook+书中实例(纯英文,下载请注意)
2018-01-16
hadoop-1.2.1-bin.tar.gz
2017-09-05
ADBShell操作手册
2017-03-24
Python自动发送邮件并添加附件的源代码
2017-03-06
大数据测试简述
2017-02-07
Jenkins学习笔记
2017-01-03
Shell脚本学习笔记
2017-01-03
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人