郭首志的博客

重度技术控

大数据之电商项目实战

架构设计: 数据来源: 手机,PC(用户标识) 用户标识可以用饼干记录 用户画像保存在Redis的或者mysql的或HBase的中 业务服务器 电商网站,推荐系统 集群服务器 HDFS 火花 架构1.0阶段 用户:手机,PC 业务服务器:tomcat的,记录日志,水槽采集日...

2018-12-21 21:04:56

阅读数 377

评论数 1

impala和hive的关系

  Impala和Hive的关系    Impala是基于Hive的大数据实时分析查询引擎,直接使用Hive的元数据库Metadata,意味着impala元数据都存储在Hive的metastore中。并且impala兼容Hive的sql解析,实现了Hive的SQL语义的子集,功能还在不断的完善...

2018-11-29 20:07:32

阅读数 414

评论数 0

用MapReduce实现矩阵乘法

Hadoop家族系列文章,主要介绍Hadoop家族产品,常用的项目包括Hadoop, Hive, Pig, HBase, Sqoop, Mahout, Zookeeper, Avro, Ambari, Chukwa,新增加的项目包括,YARN, Hcatalog, Oozie, Cassandra...

2018-10-27 10:42:04

阅读数 55

评论数 0

算法练习

1、线性查找 /**  *  线性查找  */ public void linearSearch(int value){     for (int i = 0; i < arraySize; i++) {         if(value == array[i]){    ...

2018-10-24 08:26:08

阅读数 48

评论数 0

3次握手4次挥手

简明理解三次握手和四次挥手 三次握手与四次挥手分别对应TCP连接建立过程与断开过程,先上TCP报文格式:   三次握手过程:   问题1: 为什么要三次握手? 答:三次握手的目的是建立可靠的通信信道,说到通讯,简单来说就是数据的发送与接收,而三次握手最主要的目的就是双方确认自己...

2018-10-11 09:20:29

阅读数 71

评论数 0

Spring clound

Spring Cloud是一系列框架的有序集合。它利用Spring Boot的开发便利性巧妙地简化了分布式系统基础设施的开发,如服务发现注册、配置中心、消息总线、负载均衡、断路器、数据监控等,都可以用Spring Boot的开发风格做到一键启动和部署。Spring Cloud并没有重复制造轮子,它...

2018-10-11 09:09:17

阅读数 79

评论数 0

Spring Boot

Spring Boot是由Pivotal团队提供的全新框架,其设计目的是用来简化新Spring应用的初始搭建以及开发过程。该框架使用了特定的方式来进行配置,从而使开发人员不再需要定义样板化的配置。通过这种方式,Spring Boot致力于在蓬勃发展的快速应用开发领域(rapid applicati...

2018-10-11 09:08:01

阅读数 54

评论数 0

Spring SpringMVC

Spring  Spring是一个开放源代码的设计层面框架,他解决的是业务逻辑层和其他各层的松耦合问题,因此它将面向接口的编程思想贯穿整个系统应用。Spring是于2003 年兴起的一个轻量级的Java 开发框架,由Rod Johnson创建。简单来说,Spring是一个分层的JavaSE/EE...

2018-10-11 09:06:52

阅读数 56

评论数 0

Ambari扫盲

Apache Ambari是一种基于Web的工具,支持Apache Hadoop集群的供应、管理和监控。Ambari已支持大多数Hadoop组件,包括HDFS、MapReduce、Hive、Pig、 Hbase、Zookeeper、Sqoop和Hcatalog等。 Apache Ambari 支...

2018-10-11 08:55:23

阅读数 92

评论数 0

一个神奇的window搜索系统

everything 可以快速搜素各种系统中的有关文件,解决了 本人多年文件乱找不着的问题

2018-09-16 20:23:28

阅读数 131

评论数 1

Flume中的拦截器(Interceptor)介绍与使用

Flume中的拦截器(interceptor),用户Source读取events发送到Sink的时候,在events header中加入一些有用的信息,或者对events的内容进行过滤,完成初步的数据清洗。这在实际业务场景中非常有用,Flume-ng 1.6中目前提供了以下拦截器: Timest...

2018-09-16 20:19:19

阅读数 644

评论数 1

什么是区块链?

一 . 区块链是什么?本质上就是一个分布式的数据库 区块链作用: (1)存取数据 (2)去中心化 任何人都可以架设服务器,加入区块链网络,成为一个节点。区块链的世界里面,没有中心节点,每个节点都是平等的,都保存着整个数据库。你可以向任何一个节点,写入/读取数据,因为所有节点最后都会同步,...

2018-09-16 20:14:48

阅读数 247

评论数 0

Druid 介绍及配置

1. Druid是什么? Druid是Java语言中最好的数据库连接池。Druid能够提供强大的监控和扩展功能。 2. 在哪里下载druid 正式版本下载: maven中央仓库: http://central.maven.org/maven2/com/alibaba/druid/  3. ...

2018-09-09 20:25:13

阅读数 43

评论数 0

js页面埋点

页面埋点的作用,其实就是用于流量分析。而流量的意思,包含了很多:页面浏览数(PV)、独立访问者数量(UV)、IP、页面停留时间、页面操作时间、页面访问次数、按钮点击次数、文件下载次数等。而流量分析又有什么用处: 1、提高网站的转化率          根据页面埋点可得到一些重要信息,它告诉你用...

2018-09-07 20:45:32

阅读数 262

评论数 0

phoenix教程

关于phoenix的名称,直译为凤凰,在中国有凤凰涅盘之说,咋一听似乎该项目之前挂过很多次,现在翻身了, 实际上其官网戏谑的说有此一问的,可以回家睡大觉了,没时间回答你。 phoenix是构建的Hbase之上的,使用标准的SQL操作Hbase,可以做联机事务处理,拥有低延迟的特性。 Apac...

2018-09-07 19:53:30

阅读数 1332

评论数 0

BI项目篇

从本篇开始,以实际项目为基础,依托BI理论知识,详细介绍BI项目的每个实施过程。 1.       项目启动步骤 1.1       了解项目背景 首先,了解甲方公司的社会背景、主营业务及其公司软硬件实力等信息。 然后,了解本次项目需要完成哪些功能模块、参考了哪些成果、采纳了哪些意见、借鉴...

2018-09-06 22:22:29

阅读数 233

评论数 0

kudu、Impala、交互式查询

1、Kudu Hadoop生态系统发展到现在,存储层主要由HDFS和HBase两个系统把持着,一直没有太大突破。在追求高吞吐的批处理场景下,我们选用HDFS,在追求低延迟,有随机读写需求的场景下,我们选用HBase,那么是否存在一种系统,能结合两个系统优点,同时支持高吞吐率和低延迟呢?有人尝试修...

2018-09-04 18:44:02

阅读数 985

评论数 0

JVM调优

参考 http://www.wannengye.com/pages/Mwh1g9FU/?from=timeline&isappinstalled=0

2018-09-04 00:44:38

阅读数 101

评论数 0

flume java介绍

背景 近期在做shark flume开发框架的测试,该框架是一个简单高效的面向数据的pipeline框架,采用flume java的思想,实现了一套flume java on MaxCompute的library。为了更好的了解shark自己也去阅读了flume java的paper,这里做一些...

2018-09-04 00:36:02

阅读数 989

评论数 0

Kafka 源码剖析方法

1.概述   在对Kafka使用层面掌握后,进一步提升分析其源码是极有必要的。纵观Kafka源码工程结构,不算太复杂,代码量也不算大。分析研究其实现细节难度不算太大。今天笔者给大家分析的是其核心处理模块,core模块。 2.内容   首先,我们需要对Kafka的工程结构有一个整体的认知度,K...

2018-09-03 23:58:17

阅读数 85

评论数 0

提示
确定要删除当前文章?
取消 删除
关闭
关闭