自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

tianyeshiye

天之道,损有余而补不足.人之道,则不然,损不足以奉有余.孰能有余以奉天下?唯有道者...

原创 Hadoop 压缩格式

Hadoop应用处理的数据集非常大,因此需要借助于压缩。使用哪种压缩格式与待处理的文件的大小、格式和所使用的工具相关。下面有一些建议,大致是按照效率从高到低排列的。使用容器文件格式,例如顺序文件、Avro数据文件、ORCFiles或者Parquet文件,所有这些文件格式同时支持压缩和切分。通常最好...

2018-05-27 22:47:19

阅读数 118

评论数 0

转载 Mark : hive snappy的数据是否支持split的测试

转 : https://blog.csdn.net/bigdatahappy/article/details/42087317  我们hadoop2,4集群默认不支持snappy压缩,但是最近有业务方说他们的部分数据是snappy压缩的(这部分数据由另外一个集群提供给他们时就是snappy压缩格式...

2018-05-27 22:28:26

阅读数 741

评论数 0

转载 mark : hadoop 四种压缩格式

1 gzip压缩优点:压缩率比较高,而且压缩/解压速度也比较快;hadoop本身支持,在应用中处理gzip格式的文件就和直接处理文本一样;有hadoop native库;大部分linux系统都自带gzip命令,使用方便。缺点:不支持split。应用场景:当每个文件压缩之后在130M以内的(1个块大...

2018-05-27 22:19:55

阅读数 55

评论数 0

转载 Mark : hive文件存储格式

hive文件存储格式包括以下几类:TEXTFILESEQUENCEFILERCFILE自定义格式其中TEXTFILE为默认格式,建表时不指定默认为这个格式,导入数据时会直接把数据文件拷贝到hdfs上不进行处理。SequenceFile,RCFile格式的表不能直接从本地文件导入数据,数据要先导入到...

2018-05-27 22:14:00

阅读数 49

评论数 0

转载 Mark : 什么是ERC20,ERC721?两者的区别是什么?

刚搞懂ERC20,ERC721又来了原创 2018-02-20 林建锋 呆在区块链里0x00 前言有一阵子,Ethereum网络突然变的特别拥堵,原因是兴起了一款以太坊养猫的Dapp游戏,超级可爱的猫形象,再加上配种,繁殖和拍卖等丰富的玩法,风靡了币圈。 一时间币圈大大小小的人都在撸猫,以太坊网络...

2018-05-23 22:51:06

阅读数 585

评论数 0

转载 Mark : 博客专家 derrantcm 的博文目录

博文总目录https://blog.csdn.net/derrantcm/article/details/73456550Java虚拟机学习总结目录https://blog.csdn.net/derrantcm/article/details/51224529【常见面试问题总结目录】https:/...

2018-05-23 22:45:13

阅读数 54

评论数 0

转载 Mark : SpringBoot核心-非关系型数据库NoSQL

MongoDBMongoDB 是一个基于文档( Document )的存储型的数据瘁,使用面向对象的思想,每一条数据记录都是文档的对象。Spring 对MongoDB 的支持主要是通过Spring Data MongoDB 来实现的, Spring Data MongoDB 为我们提供了如下功能。...

2018-05-23 22:41:08

阅读数 34

评论数 0

原创 编程第一性原则

类似、先有鸡,还是先有蛋的问题问题: 提供者 : jar包、框架、各种服务等1、提供者提供什么功能,使用者用什么功能2、使用者认为(感知)应该真么做,提供者就会有该功能个人观点:也是从前辈(前公司的老大)处学到使用者正确、简单、合理的应用,提供者都会提供通用的功能举例子: 多线程开发时,concu...

2018-05-18 23:31:17

阅读数 141

评论数 0

原创 Spark 多线程模型

简单的说Spark框架,虽然是多线程模型对于写业务代码的人来说是不涉及多多线程的,原因是会复杂化,不符合编码工程学,简单易用才是最好的但Spark设置到的内存共享还是需要知道的...

2018-05-18 22:19:23

阅读数 1995

评论数 0

转载 Mark:大数据最佳学习路线

挺全的: 记录一下一,题记要说当下IT行业什么最火?ABC无出其右。所谓ABC者,AI + Big Data + Cloud也,即人工智能、大数据和云计算(云平台)。每个领域目前都有行业领袖在引领前行,今天我们来讨论下大数据Big Data这个方向。二,大数据里面的角色角色一:大数据工程大数据工程...

2018-05-18 21:45:47

阅读数 93

评论数 0

转载 Apache Spark 2.2.0 中文文档 - Structured Streaming 编程指南 | ApacheCN

Structured Streaming 编程指南概述快速示例Programming Model (编程模型)基本概念处理 Event-time 和延迟数据容错语义API 使用 Datasets 和 DataFrames创建 streaming DataFrames 和 streaming Dat...

2018-05-13 22:13:22

阅读数 46

评论数 0

转载 Structured Streaming 实现思路与实现概述

Structured Streaming 实现思路与实现概述[酷玩 Spark] Structured Streaming 源码解析系列 ,返回目录请 猛戳这里「腾讯·广点通」技术团队荣誉出品本文内容适用范围: * 2017.07.11 update, Spark 2.2 全系列 √ (已发布:2...

2018-05-13 21:15:26

阅读数 290

评论数 0

原创 Mark : Hadoop Raid-实战经验总结

分布式文件系统用于解决海量数据存储的问题,腾讯大数据采用 HDFS ( hadoop分布式文件系统)作为数据存储的基础设施,并在其上构建如 Hive 、 HBase 、Spark 等计算服务。  HDFS 块存储采用三副本策略来保证数据可靠性,随着数据量的不断增长,三副本策略为可靠性牺牲的存储空间...

2018-05-13 21:11:06

阅读数 469

评论数 0

转载 Mark : MessagePack简介及使用

什么是MessagePack官方msgpack官网用一句话总结:It’s like JSON.but fast and small.简单来讲,它的数据格式与json类似,但是在存储时对数字、多字节字符、数组等都做了很多优化,减少了无用的字符,二进制格式,也保证不用字符化带来额外的存储空间的增加。以...

2018-05-10 20:55:09

阅读数 83

评论数 0

原创 Java中>>和>>>的区别

>>:带符号右移。正数右移高位补0,负数右移高位补1。比如:4 >> 1,结果是2;-4 >> 1,结果是-2。-2 >> 1,结果是-1。>>&gt...

2018-05-10 00:08:48

阅读数 256

评论数 0

转载 Mark : Java BitSet使用场景和示例

一、什么是BitSet?  注:以下内容来自JDK API:  BitSet类实现了一个按需增长的位向量。位Set的每一个组件都有一个boolean值。用非负的整数将BitSet的位编入索引。可以对每个编入索引的位进行测试、设置或者清除。通过逻辑与、逻辑或和逻辑异或操作,可以使用一个 BitSet...

2018-05-09 22:26:42

阅读数 80

评论数 0

转载 Mark :Hive使用Spark on Yarn作为执行引擎

原文:http://lxw1234.com/archives/2016/05/673.htmHive从1.1之后,支持使用Spark作为执行引擎,配置使用Spark On Yarn作为Hive的执行引擎,首先需要注意以下两个问题:Hive的版本和Spark的版本要匹配;具体来说,你使用的Hive版...

2018-05-07 23:57:14

阅读数 3086

评论数 1

转载 Mark : Kafka分区机制介绍与示例

原文:http://lxw1234.com/archives/2015/10/538.htmKafka中可以将Topic从物理上划分成一个或多个分区(Partition),每个分区在物理上对应一个文件夹,以”topicName_partitionIndex”的命名方式命名,该文件夹下存储这个分区的...

2018-05-07 23:28:35

阅读数 64

评论数 0

转载 Mark : 谷歌验证器的原理及实现

这两年发现身边的很多应用和网站纷纷支持两步验证,并且呼吁用户使用两步验证。并且发现,除了Apple ID的两步验证之外,其它两步验证很多能看到谷歌验证器(Google Authenticator)的身影。这让我产生了浓厚的兴趣,到底谷歌验证器的原理是什么,我自己能实现一个类似的验证器吗?什么是两步...

2018-05-07 23:25:21

阅读数 4426

评论数 1

提示
确定要删除当前文章?
取消 删除