- 博客(16)
- 资源 (2)
- 收藏
- 关注
RSS订阅原创 Elasticsearch的介绍
Elasticsearch是一个高度可扩展的开源全文搜索和分析引擎。它允许你快速和近实时地存储，搜索和分析大量数据。它通常用作为具有复杂搜索功能和要求的应用程序提供支持的基础引擎/技术。以下是Elasticsearch可用于的几个示例用例： 1、你运行在线网上商店，你可以允许客户搜索你销售的产品。在这种情况下，你可以使用Elasticsearch存储整个产品目录和库存，并为它们提供搜索和自动完成创
2016-10-27 00:08:17
715
原创 Hadoop1中Reduce task内部实现原理
与map task 一样，reduce task也分为4种，即job-setup task、job-cleanup task、task-cleanup task和reduce task。本文中重点介绍reduce task。reduce task要从各个map task上读取一片数据，经排序后，以组为单位交给用户编写的reduce( )函数处理，并将结果写到HDFS上reduce task整体流程
2016-10-25 00:49:08
891
原创 Map task 内部实现原理和运行机制
hadoop1.x中，map task分为4种，分别是 job-setup task、job-cleanup task、task-cleanup task和map task。其中，job-setup task 和job-cleanup task分别是作业运行时启动的第一个任务和最后一个任务，主要工作分别是进行一些作业初始化和收尾工作，比如创建和删除作业临时输出目录；而task-cleanup ta
2016-10-17 00:32:17
3646
1
原创 kafka管理工具
创建一个xlucas的topic 6个分区 3个副本[hadoop@master bin]$ ./kafka-topics.sh --create --zookeeper 192.168.1.101:2181 --topic xlucas --partitions 6 --replication-factor 3Created topic "xlucas".包含了Topic各个分区的相关信息[ha
2016-10-16 17:23:48
1743
原创 TaskTracker启动过程
TaskTracker是Hadoop集群中运行于各个节点上的服务，是Jobtracker和task之间的桥梁，一方面，它从Jobtracker端接收并执行各种命令，比如运行任务、提交任务、杀死任务等；另一方面，它将本节点上的各个任务状态通过周期性心跳汇报给Jobtracker
2016-10-16 17:17:30
685
原创 GO环境的安装和测试
go语言官方下载地址：https://golang.org/dl/ 我用的是window7 64的操作系统，下载的是 go1.7.1.windows-amd64安装其实很简单，一直下一步能安装成功， 我这边截图了几个 总共9步 设置环境变量的时候需要修改path的值，在后面增加go的安装路径 在dos窗口输入 go version可以查看go的版本 测试程序 hello world在
2016-10-16 00:29:45
6034
原创 Hive分析函数五
ntile,row_number,rank,dense_rank版本0.13.1准备的数据create table emp_function( deptno string, sal int, hiredate string)row format delimited fields terminated by '|' 10|1300|1982-01-23 00:00:00.
2016-10-12 23:57:31
502
原创 Hive分析函数四
版本0.13.1准备的数据create table emp_function( deptno string, sal int, hiredate string)row format delimited fields terminated by '|' 10|1300|1982-01-23 00:00:00.010|5000|1981-11-17 00:00:00.0
2016-10-12 23:53:45
739
原创 Hive分析函数三
GROUPING SETS,GROUPING__ID,CUBE,ROLLUP 版本0.13.1准备的数据create table group_test( month string, day string, name string)row format delimited fields terminated by '|' 2015-09|2015-03-10|te
2016-10-12 23:50:42
765
原创 Hive分析函数二
版本0.13.1准备的数据create table emp_function( deptno string, sal int, hiredate string)row format delimited fields terminated by '|' 10|1300|1982-01-23 00:00:00.010|5000|1981-11-17 00:00:00.0
2016-10-12 23:46:31
579
原创 Hive分析函数一
lag lead first_value last_value版本0.13.1准备的数据 create table emp_function ( deptno string, sal int, hiredate string) row format delimited fields terminated by ‘|’ 10|1300|1982-01-23 00:
2016-10-12 23:38:18
1002
原创 Selenium标签的基本使用
代码import org.openqa.selenium.By;import org.openqa.selenium.WebDriver;import org.openqa.selenium.chrome.ChromeDriver;import org.openqa.selenium.firefox.FirefoxDriver;public class Seleniumtest {public
2016-10-09 00:32:22
1856
原创 hive UDF函数开发
编写代码 hive的UDF函数只需要继承UDF这个类就可以，如果重写evaluate方向就可以了，里面的具体实现可以用java来实现这里面的逻辑package function_duf;import org.apache.hadoop.hive.ql.exec.UDF;import org.apache.hadoop.io.Text;public class UDFCOMP extends UD
2016-10-07 11:03:57
2392
原创 selenium环境搭建
selenium的介绍 Selenium也是一个用于Web应用程序测试的工具。Selenium测试直接运行在浏览器中，就像真正的用户在操作一样。支持的浏览器包括IE、Mozilla Firefox、Mozilla Suite等。这个工具的主要功能包括：测试与浏览器的兼容性——测试你的应用程序看是否能够很好得工作在不同浏览器和操作系统之上。测试系统功能——创建衰退测试检验软件功能和用户需
2016-10-07 10:41:38
622
原创 Drill的安装
1、解压[root@master opt]# tar -zxvf apache-drill-1.7.0.tar.gz [root@master opt]# lsapache-drill-1.7.0 apache-drill-1.7.0.tar.gz hadoop-2.6.22.启动[hadoop@master bin]$ ./drill-embedded Invalid initial h
2016-10-01 00:11:36
1527
原创 Job和Task运行时的信息维护
Jobtracker最重要的功能之一是状态监控，包括tasktracker、job、task等运行时状态的监控，Tasktracker监控比较简单，只要记录其最近心跳汇报时间和健康状态就可以了，1、作业描述模型 Jobtracker在其内部以“三层多叉树”的方式描述和跟踪每个作业的运行状态。Jobtracker为每个作业创建一个JobInProgress对象以跟踪和监控其运行状态
2016-10-01 00:01:12
1857
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人