跋跋寒的博客

热爱大数据,热爱机器学习

机器学习入门知识

什么事机器学习?我们会发现这里涉及很多基于经验做出的预判.例如,为 什么看到微温路面、感到和风、看到晚霞,就认为明天是好天呢?这是因为在 我们的生活经验中已经遇见过很多类似情况,头一天观察到上述特征后,第二 天天气通常会很好。为什么色泽青绿、根蒂蜷缩、敲声浊晌,就能判断出是正 熟的好瓜?因为我们吃...

2018-06-29 17:35:53

阅读数:2528

评论数:1

Hbase自定义过滤器

import org.apache.commons.lang.StringUtils; import org.apache.hadoop.hbase.Cell; import org.apache.hadoop.hbase.CellUtil; import org.apache.hadoop.hb...

2018-06-29 17:01:31

阅读数:2130

评论数:0

Hbase-Filter算子大全

public static void ValueFilterExam() throws Exception{ Configuration config = HBaseConfiguration.create(); config.set("hbase...

2018-06-29 16:59:01

阅读数:2162

评论数:0

大数据与kafka系列之Produce源码分析(三)

上篇说了kafka produce过程中的分区和拦截器,这节继续。 int partition = partition(record, serializedKey, serializedValue, cluster); int serializedSize = Records.LOG...

2018-06-28 19:42:29

阅读数:2126

评论数:0

Hbase 技术细节笔记(下)

原文地址:https://cloud.tencent.com/developer/article/1006044四、RegionServer的故障恢复我们知道,RegionServer的相关信息保存在ZK中,在RegionServer启动的时候,会在Zookeeper中创建对应的临时节点。Regi...

2018-06-28 09:51:27

阅读数:2107

评论数:0

Hbase 技术细节笔记(上)

原文地址:https://cloud.tencent.com/developer/article/1006043前言最近在跟进Hbase的相关工作,由于之前对Hbase并不怎么了解,因此系统地学习了下Hbase,为了加深对Hbase的理解,对相关知识点做了笔记,并在组内进行了Hbase相关技术的分...

2018-06-28 09:46:11

阅读数:2100

评论数:0

基于redis(key分段,避免一个key过大) 和db实现的 布隆过滤器(解决hash碰撞问题)

原文地址:https://yq.aliyun.com/articles/167466摘要: 基于redis(key分段,避免一个key过大) 和db实现的 布隆过滤器(解决hash碰撞问题)1.计算出key的哈希值。根据hash值和固定段大小取模计算出偏移位offset。根据固定前置+hash值/...

2018-06-27 19:12:01

阅读数:2078

评论数:0

深入理解Spark ML:基于ALS矩阵分解的协同过滤算法与源码分析

原文地址:https://blog.csdn.net/u011239443/article/details/517529041. 引言随着互联网的迅猛发展,为了满足人们在繁多的信息中获取自己需要内容的需求,个性化推荐应用而生。协同过滤推荐是其中运用最为成功的技术之一。其中,基于用户的最近邻法根据相...

2018-06-27 18:50:54

阅读数:2117

评论数:0

hbase源码系列(一)Balancer 负载均衡

原文地址:https://www.cnblogs.com/cenyuhai/p/3650943.html看源码很久了,终于开始动手写博客了,为什么是先写负载均衡呢,因为一个室友入职新公司了,然后他们遇到这方面的问题,某些机器的硬盘使用明显比别的机器要多,每次用hadoop做完负载均衡,很快又变回来...

2018-06-27 16:49:26

阅读数:2076

评论数:0

HBase 数据迁移

原文地址:https://utf7.github.io/2018/01/13/hbase-data-migration/本文介绍 HBase 常见的适合大数据量的迁移方法:DISTCP、SNAPSHOT1、DSTCP+FIX 元数据信息2、SNAPSHOT快照导出迁移DISTCP迁移DISTCP的...

2018-06-27 09:08:35

阅读数:2082

评论数:0

调优Apache Kafka集群

原文地址:http://www.cnblogs.com/huxi2b/p/6936348.html今天带来一篇译文“调优Apache Kafka集群”,里面有一些观点并无太多新颖之处,但总结得还算详细。该文从四个不同的目标出发给出了各自不同的参数配置,值得大家一读~ 原文地址请参考:https:/...

2018-06-26 16:36:07

阅读数:2108

评论数:0

大数据量下的集合过滤—Bloom Filter

原文地址:https://www.cnblogs.com/z941030/p/9218356.html算法背景如果想判断一个元素是不是在一个集合里,一般想到的是将集合中所有元素保存起来,然后通过比较确定。链表、树、散列表(又叫哈希表,Hash table)等等数据结构都是这种思路,存储位置要么是磁...

2018-06-26 16:33:59

阅读数:2114

评论数:0

大数据与kafka系列之Produce源码分析(二)

上篇文章主要讲解了produce源码中元数据更新相关内容,本次主要讲解produce的分区和拦截器。private Future<RecordMetadata> doSend(ProducerRecord<K, V&...

2018-06-26 15:43:56

阅读数:2138

评论数:0

HBase的RowKey设计原则

HBase是三维有序存储的,通过rowkey(行键),column key(column family和qualifier)和TimeStamp(时间戳)这个三个维度可以对HBase中的数据进行快速定位。HBase中rowkey可以唯一标识一行记录,在HBase查询的时候,有以下几种方式:通过ge...

2018-06-26 09:46:03

阅读数:2081

评论数:0

高手如何实践HBase?不容错过的滴滴内部技巧

原文地址:https://yq.aliyun.com/articles/601722?utm_content=m_1000001132摘要: HBase和Phoenix的优势大家众所周知,想要落地实践却问题一堆?replication的随机发送、Connection的管理是否让你头痛不已?本次分享...

2018-06-25 17:14:16

阅读数:2098

评论数:0

大数据与kafka系列之Produce源码分析(一)

首先一个普通的produce代码如下: final String kafkazk="localhost:9092"; String topic="testAPI"; Proper...

2018-06-25 15:14:32

阅读数:2116

评论数:1

Flink 原理与实现:理解 Flink 中的计算资源

原文地址   https://yq.aliyun.com/articles/64819摘要: 本文所讨论的计算资源是指用来执行 Task 的资源,是一个逻辑概念。本文会介绍 Flink 计算资源相关的一些核心概念,如:Slot、SlotSharingGroup、CoLocationGroup、Ch...

2018-06-22 09:15:51

阅读数:2272

评论数:0

大数据与Kafka系列之kafka消费者各种启动参数说明

建立一个普通的消费者。public static void CommonDemo() { final Properties properties = new Properties() {{ put("bootstrap.servers&am...

2018-06-21 14:10:20

阅读数:2430

评论数:0

大数据与Kafka系列之kafka生产者各种启动参数说明

首先是启动一个生产者, final String kafkazk="localhost:9092"; String topic="testAPI"; Properties properties = n...

2018-06-20 14:04:50

阅读数:2202

评论数:0

大数据与Kafka系列之你所不知道的ConsumerAPI

普通的APIpublic static void CommonDemo() { final Properties properties = new Properties() {{ put("bootstrap.servers&quo...

2018-06-19 13:43:25

阅读数:2138

评论数:0

提示
确定要删除当前文章?
取消 删除
关闭
关闭