跋跋寒的博客

热爱大数据,热爱机器学习

SQL实现Structured Streaming

需要的配置只有一个sql文件 1.实现socket输入 console输出 配置: CREATE TABLE SocketTable( word String, valuecount int )WITH( type='socket', host='hadoo...

2018-12-12 14:19:09

阅读数:20

评论数:3

HIVE的十项企业级调优

原文地址:https://blog.csdn.net/Superman404/article/details/84074771 话不多说直接上货。。。。。。。。。。。。。。。。。。。。。。。。。。。 1.Fetch抓取  set hive.fetch.task.conversion=more(...

2018-11-23 10:09:56

阅读数:36

评论数:0

kudu 1.7  源码安装

kudu 1.7  源码安装 一. 安装环境依赖 yum install autoconf automake cyrus-sasl-devel cyrus-sasl-gssapi \   cyrus-sasl-plain flex gcc gcc-c++ gdb \   krb5-serv...

2018-11-22 18:00:48

阅读数:49

评论数:0

Waterdrop帮你快速玩转Spark数据处理

原文地址:https://blog.csdn.net/gaoyingju/article/details/79394729 Waterdrop 项目地址:https://interestinglab.github.io/waterdrop Databricks 开源的 Apache Spar...

2018-11-19 19:01:20

阅读数:32

评论数:0

单例模式

单例对象(Singleton)是一种常用的设计模式。在Java应用中,单例对象能保证在一个JVM中,该对象只有一个实例存在。这样的模式有几个好处: 1、某些类创建比较频繁,对于一些大型的对象,这是一笔很大的系统开销。 2、省去了new操作符,降低了系统内存的使用频率,减轻GC压力。 3、有些...

2018-11-16 13:39:36

阅读数:11

评论数:0

工厂模式

一、设计模式的分类 总体来说设计模式分为三大类: 创建型模式,共五种:工厂方法模式、抽象工厂模式、单例模式、建造者模式、原型模式。 结构型模式,共七种:适配器模式、装饰器模式、代理模式、外观模式、桥接模式、组合模式、享元模式。 行为型模式,共十一种:策略模式、模板方法模式、观察者模式、迭代...

2018-11-16 11:23:14

阅读数:25

评论数:0

Flink安装、部署、KafkaSource、SinKToMysql

flink安装、部署、测试 下载flink安装包 flink下载地址 https://archive.apache.org/dist/flink/flink-1.5.0/ 因为例子不需要hadoop,下载flink-1.5.0-bin-scala_2.11.tgz即可 上传至机器的/op...

2018-11-16 10:27:35

阅读数:44

评论数:0

Nginx配置hbaseweb转发

目标 为了公司集群的安全考虑,hadoop和hbase的web访问只能供有限的人访问 而要实现内网机器给外网访问,要解决的问题是:  1.hadoop、hbase页面上的url替换成外网能访问的url  2.通过有限的端口、外网ip对外提供整集群访问  下面就通过nginx反向代理的方式实现 ...

2018-11-15 16:00:41

阅读数:99

评论数:0

如何从根源上解决 HDFS 小文件问题

原文地址:https://www.iteblog.com/archives/2320.html 我们知道,HDFS 被设计成存储大规模的数据集,我们可以在 HDFS 上存储 TB 甚至 PB 级别的海量数据。而这些数据的元数据(比如文件由哪些块组成、这些块分别存储在哪些节点上)全部都是由 Nam...

2018-10-16 10:43:28

阅读数:2340

评论数:0

基于Kafka和ElasticSearch,LinkedIn如何构建实时日志分析系统?

今天,和跟大家分享我们在用ElasticSearch和Kafka做日志分析的时候遇到的问题,系统怎么样一步一步演变成现在这个版本。你如果想拿ElasticSearch和Kafka来做日志分析的话,会有一些启发。全文主要包括以下几个Topic:   日志分析系统的基本需求; LinkedIn的...

2018-09-19 17:16:11

阅读数:4407

评论数:2

互联网大数据面试题集锦

原文地址:http://hbase.group/article/89 以下面试题都是群里小伙伴提供的,现场真题(包含校招题)1.网易大数据面试题 说说项目 Spark哪部分用得好,如何调优 Java哪部分了解比较好 聊聊并发,并发实现方法,volatile关键字说说 HashMap的底...

2018-09-17 10:04:57

阅读数:4701

评论数:0

HBase的Region定位为什么只需一个META表

Hbase就不介绍了,直入正题。 为了让客户端找到包含特定主键的region,Hbase0.96之前提供了两张特殊的目录表-ROOT-和.META表,一下简称root和meta。 root表用来查询所有meta表中热region的位置。meta表则是用来查找所有table的region的位...

2018-09-14 13:47:59

阅读数:4791

评论数:0

美图个性化推荐的实践与探索

互 联网技术将我们带入了信息爆炸的时代,面对海量的信息,一方面用户难以迅速发现自己感兴趣的信息,另一方面长尾信息得不到曝光。为了解决这些问题,个性化推荐系统应运而生。美图拥有海量用户的同时积累了海量图片与视频,通过推荐系统有效建立了用户与内容的连接,大幅度提升产品的用户体验。 在第七期美图技术...

2018-09-13 09:46:03

阅读数:4842

评论数:0

Flink 原理与实现:内存管理

原文地址:https://yq.aliyun.com/articles/57815?spm=a2c4e.11153940.blogrightarea64820.29.71e5167cM5y5cc 摘要: 如今,大数据领域的开源框架(Hadoop,Spark,Storm)都使用的 JVM,当然也包...

2018-09-07 11:35:13

阅读数:5260

评论数:0

帮你解决垃圾邮件,这家公司还想让你边看邮件边挣钱!

一个解决垃圾邮件的好的思路! 原文地址:https://blog.csdn.net/kXYOnA63Ag9zqtXx0/article/details/82112596 每天上班,第一时间打开邮箱页面,有多少个小伙伴是跟我一样痛苦的?     好,先不要说 Gmail 无法上,就算小...

2018-09-05 23:43:05

阅读数:5313

评论数:1

从将机器学习模型转化成真正产品和服务中学到的经验教训

人工智能依然处于它的幼年时期。今天,只有15%的企业在使用机器学习,但是有30%的企业已经在它们未来的发展路线图里包括了机器学习。像Intel的CEO这样的公众人物宣称,每一个企业都应该有一个机器学习的战略,否则就会有落后的风险。那么机器学习进入你的组织机构就仅仅只是个时间问题。当然,它目前还没有...

2018-09-02 10:09:16

阅读数:5607

评论数:1

Hbase集群间实现数据相互同步

本次测试机器master2 、node1为第一个集群,node2、node3第二个集群,版本均为1.2.6 在第一个集群的每个节点下添加如下配置: <property> <name>hbase.repli...

2018-08-30 09:29:24

阅读数:5960

评论数:0

Hive性能优化(全面)

原文地址:https://mp.weixin.qq.com/s/sVtfUFwoAbAyUq93W2M0wA 1.介绍 首先,我们来看看Hadoop的计算框架特性,在此特性下会衍生哪些问题? 数据量大不是问题,数据倾斜是个问题。 jobs数比较多的作业运行效率相对比较低,比如即...

2018-08-27 14:32:55

阅读数:5986

评论数:1

Java GC 及HBase RegionServer GC调优

原文地址:https://blog.csdn.net/wwwxxdddx/article/details/50981089 1背景 1.1问题描述 HBase RegionServer由于GC等原因Stop World超过40s,RS在ZK上创建的临时节点被删除,造成Master认为RS已经...

2018-08-24 13:47:02

阅读数:4834

评论数:0

SparkSQL – 从0到1认识Catalyst

原文地址:http://hbasefly.com/2017/03/01/sparksql-catalyst/ 最近想来,大数据相关技术与传统型数据库技术很多都是相互融合、互相借鉴的。传统型数据库强势在于其久经考验的SQL优化器经验,弱势在于分布式领域的高可用性、容错性、扩展性等,假以时日,让其经...

2018-08-23 21:13:59

阅读数:5968

评论数:0

提示
确定要删除当前文章?
取消 删除
关闭
关闭