- 博客(12)
- 收藏
- 关注
原创 你好,我是铁头
之前介绍过公众号了:数据库漫游指南。今天介绍一下作者。对,就是我!关于我高中石家庄二中实验班,全班50多个人,前两次考试被拿了First Blood,从28名到了40名。开始好好考虑学习...
2018-06-30 21:33:03 444
原创 java字节流入门(缓冲输出流)
在网上学习java IO流的时候,会发现在 new 一个流时各种嵌套,有的甚至嵌套了三四层,完全不知道是啥套路。之前我们介绍的都是基础流,今天介绍一个可以封装其他流的流 BufferedO...
2018-06-28 15:45:26 153
原创 列式存储的起源:DSM
列式存储模型并不是最近十几年才有的,早在1985年就有人提出了类似的思想,即 Decomposition Storage Model(DSM)。 那么他把谁 decompose 了呢?那就...
2018-06-26 22:58:29 307
原创 SparkSQL读取Cassandra数据源
pom依赖 <dependency> <groupId>com.datastax.spark</groupId> <arti
2018-06-26 10:55:10 2361 4
原创 Spark:java.lang.ClassCastException
Spark程序运行中可能会遇到这个异常:Caused by: cannot assign instance of scala.collection.immutable.List$SerializationProxy to field org.apache.spark.rdd.RDD.org$apache$spark$rdd$RDD$$dependencies_ of type scala.co...
2018-06-22 15:17:00 6516 2
原创 大数据的列式存储格式:Parquet
之前简单介绍了一下列式存储:和谐号为啥快?因为铁轨是列式存储! 今天介绍一种大数据时代有名的列式存储文件格式:Parquet,被广泛用于 Spark、Hadoop 数据存储。Parqu...
2018-06-22 14:33:40 126
原创 Spark:Initial job has not accepted any resources
我在本地写了个 Spark 的 Driver,运行 local 模式没问题,当把 master 改成了远程的 spark://ip:7077 就会卡主,报下面这个 WARN:Initial job has not accepted any resources; check your cluster UI to ensure that workers are registered and ...
2018-06-22 11:00:42 1074
原创 数据库漫游指南
“文艺复兴以降,源远流长的科学精神和逐步形成的学术规范......你们这一脸迷茫的看着我,不知道我在说什么吗?这是机械工业出版社的前言!多么经典的书,回去好好看看!"上面这段话来自我本...
2018-06-20 13:57:05 231
原创 高考结束了,计算机专业了解一下?
高考结束了,前两天有同学找我咨询计算机专业,正好总结一下。虽然现在是软件工程了,但是我本科是计算机的,对软件学院的本科确实不了解,没有发言权,这篇文章就为高考选专业的学弟学妹们以及家长们提...
2018-06-16 14:22:04 131
原创 和谐号为啥快?因为铁轨是列式存储!
今天不讲和谐号,今天讲列式存储!列式存储是大数据时代的一个特色。每次一听用到了列式存储,就觉得,嗯,肯定nb了。今天我们就来把列式存储的衣服扒了!咳咳,,,揭开列式存储神秘的面纱~业务背景...
2018-06-13 21:14:47 135
原创 行百里者半九十,文件写90%崩了呢?
上篇文章我们介绍了第一个文件格式:什么是文件格式?在这里没有对文件有任何的异常处理。假如文件写坏了怎么办?如果一个文件很大,比如你在下片,好几个G,下到一半网断了,是不是很崩溃?这时候就...
2018-06-11 13:44:15 121
原创 什么是文件格式?
java 字节流汇总:java 字节流入门(读文件)有了之前 4 篇对文件的操作工具之后,终于到了文件格式的介绍部分!本文介绍文件格式的定义,并实现一个自己的文件格式。这个文件格式十分简...
2018-06-07 19:29:36 169
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人