自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

数据之路

专注数据架构 外功修行,内功修神

  • 博客(12)
  • 资源 (3)
  • 论坛 (1)

转载 Reduce Side Join实现

Reduce Side Join ExampleUser and comment joinIn thisexample, we’ll be using theusers and comments tables from the StackOverflow dataset. Storing data in this matter makessense, as storingrepetitiv

2016-01-29 17:46:48 1013

原创 File file:/data1/hadoop/yarn/local/usercache/hp/appcache/application_* does not exi

AM Container for appattempt_1453292851883_0381_000002 exited with exitCode: -1000For more detailed output, check application tracking page:http://hadoop:8088/cluster/app/application_1453292851883_01

2016-01-24 16:21:53 5568

原创 Caused by: java.io.IOException: Filesystem closed的处理

org.apache.hadoop.hive.ql.metadata.HiveException: Unable to rename output from: hdfs://nameservice/user/hive/warehouse/om_dw.db/mac_wifi_day_data/tid=CYJOY/.hive-staging_hive_2016-01-20_10-19-09_200_1

2016-01-24 16:16:55 6706

原创 linux下nproc的作用

nproc是操作系统级别对每个用户创建的进程数的限制,在Linux下运行多线程时,每个线程的实现其实是一个轻量级的进程,对应的术语是:light weight process(LWP)。怎么知道一个用户创建了多少个进程呢,默认的ps是不显示全部进程的,需要‘-L' 才能看到所有的进程。举例:查看所有用户创建的进程数

2016-01-22 14:19:52 22680

转载 Spark Streaming 的一些问题

Spark Streaming 的一些问题,做选型前关注这些问题可以有效的降低使用风险。checkpointcheckpoint 是个很好的恢复机制。但是方案比较粗暴,直接通过序列化的机制写入到文件系统,导致代码变更和配置变更无法生效。实际场景是升级往往比系统崩溃的频率高太多。但是升级需要能够无缝的衔接上一次的偏移量。所以spark streaming在无法容忍

2016-01-18 01:19:24 1594

原创 分享周鸿祎的《如何建立一个“铁打的营盘”》

如何建立一个“铁打的营盘”?标签: 创业 团队建设 360 杂谈分类: 360中国有句古话,叫做铁打的营盘流水的兵。 我相信,创业初期,当团队里有人离开的时候,肯定有不少创业者拿这句话来安慰自己。但我觉得这句话有误

2016-01-17 20:40:48 752

原创 How to configue session timeout in Hive

This article explains how to configure the following settings in Hive:hive.server2.session.check.intervalhive.server2.idle.operation.timeouthive.server2.idle.session.timeout1). hive.se

2016-01-12 23:27:31 2727 1

原创 毕业十年纪念

亲爱的同学:弹指一挥间,一晃毕业十年。曾记否,毕业前,泪眼挥手相送;现如今,毕业后,记忆俨然朦胧。感慨万千,物是人非。环肥燕瘦者,如今为人妻为人母;英俊倜傥者,如今为人夫为人父。想目睹一下当初她(她)么?想必,风采不现,神韵依旧。轻候一声:你好么?不恨郎娶妾嫁,不怨造物弄人,只盼来生再遇。我愿,忍受五百年的风吹、五百年的日晒、五百年雨淋,只愿你从身旁走过。喝口孟婆汤,穿过奈河桥,三

2016-01-10 22:29:18 1898

原创 常用排序算法

瞬间学会数据结构常用排序算法分类: 数据结构 2014-10-30 20:05 1639人阅读 评论(0)收藏 举报本文是在学习中的总结,欢迎转载但请注明出处:http://blog.csdn.net/pistolove/article/details/40625351下面是用JAVA代码实现的数据结构中的7种基本排序算法,希望对你有所帮助。

2016-01-08 00:33:32 1226

原创 [异常处理]class kafka.common.UnknownTopicOrPartitionException (kafka.server.ReplicaFetcherThread)

在kafka.out日志里出现大量ERROR [ReplicaFetcherThread-0-1], Error for partition [FLAG_DATA_SYC,1] to broker 1:class kafka.common.UnknownTopicOrPartitionException (kafka.server.ReplicaFetcherThread)这是由于

2016-01-06 16:24:40 8640

原创 线程的几个状态

Runnable:一般指该线程正在执行状态中,该线程占用了资源,正在处理某个请求,有可能正在传递SQL到数据库执行,有可能在对某个文件操作,有可能进行数据类型等转换。Waiting on condition:等待资源,或等待某个条件的发生。具体原因需结合 stacktrace来分析。如果堆栈信息明确是应用代码,则证明该线程正在等待资源。一般是大量读取某资源,且该资源采用了资源锁的情况下,线

2016-01-04 00:27:13 1007

原创 星型模式

一个典型的星型模式包括一个大型的事实表和一组逻辑上围绕这个事实表的维度表。  事实表是星型模型的核心,事实表由主键和度量数据两部分组成。星型模型中各维度表主键的组合构成事实表的主键。事实表中存放的大量数据,是同主题密切相关的、用户最关心的度量数据。星级酒店最需要关注的是客户消费情况。为分析的需求,基础事实表中需要记载的是客人最低粒度的消费事实。即用何种促销手段使某位客人在某个时间进行了何种形

2016-01-03 23:59:56 1701

正则表达式验证工具.exe

正则表达式验证工具 验证正则正确与否的利器 验证java、javascript等等,非常棒的软件,推荐下

2013-03-28

GIAC架构大会-承载每天万级任务的调度系统架构是如何设计的.pdf

承载每天万级任务的调度系统架构是如何设计的 分布式任务调度系统如何设计? 开源分布式任务调度系统介绍

2019-07-07

ippicv_linux_20151201.tgz

Ubuntu16.04安装OpenCV3.2.0过程中,在cmake下载过程中可能会出现 ICV:DOWNLONDING ippicv_linux_20151201.tgz 但是一直下载不下来,自己可以手动下载,把压缩包放到opencv3.2.0->ippic->Download下

2018-04-07

代立冬的留言板

发表于 2020-01-02 最后回复 2020-01-02

空空如也
提示
确定要删除当前文章?
取消 删除