- 博客(9)
- 收藏
- 关注
RSS订阅转载 Spark SQL的Parquet那些事儿
Parquet是一种列式存储格式，很多种处理引擎都支持这种存储格式，也是sparksql的默认存储格式。Spark SQL支持灵活的读和写Parquet文件，并且对parquet文件的schema可以自动解析。当Spark SQL需要写成Parquet文件时，处于兼容的原因所有的列...
2019-09-10 15:10:20
307
转载 Spark RDD coalesce()方法和repartition()方法对比
在Spark的RDD中，RDD是分区的。 有时候需要重新设置RDD的分区数量，比如RDD的分区中，RDD分区比较多，但是每个RDD的数量比较小，需要设置一个比较合理的分区。或者需要把RDD的分区数量调大。还有就是通过设置一个RDD的分区来达到设置生成的文件的数量。 有这两种方法...
2019-09-10 15:10:16
538
转载 Apache Commons-IO使用小技巧
Commons IO是一个帮助开发IO功能的实用程序库。 主要包括六个方面： 实用程序类- 使用静态方法执行常见任务 输入- 有用的输入流和读取器实现 输出- 有用的输出流和写入器实现 过滤器- 文件过滤器的各种实现 比较器...
2019-09-10 15:10:13
167
转载 Spark-UDF函数+SQL初步实践
在Spark中，也支持Hive中的自定义函数。自定义函数大致可以分为三种： UDF(User-Defined-Function)，即最基本的自定义函数，类似to_char,to_date等 UDAF（User- Defined Aggregati...
2019-09-10 15:10:09
415
转载 Flume到MongoDB的日志行为收集
需求概述 某公司需要对玩家行为日志进行统一收集，收集后全部存入MongoDB，同时部分写入Kafka，对接SparkSteaming 做实时计算处理。他们使用的日志收集框架完全自己手动管理 效率低 需要一款可以实现高可用 分布式横向扩展的日志收集框架这时候Flume来了...
2019-09-10 15:10:04
1379
转载 鹤望兰GSC DARLING in the FRANXX 到货评测
拿到手给我的第一就是感觉很大，第一次拼装模型，平时都是直接买GSC黏土人→_→ 此款还有特别的红色特别款，在B站有评测，大家可以去看看，在TV第15集时候出现~~~ 这里就不做详细介绍了 https://www.bilibili.com/read/cv2795323?share_me...
2019-09-10 15:10:00
940
转载 一文读懂 Spring Boot、微服务架构和大数据治理三者之间的故事
微服务架构 微服务的诞生并非偶然，它是在互联网高速发展，技术日新月异的变化以及传统架构无法适应快速变化等多重因素的推动下诞生的产物。互联网时代的产品通常有两类特点：需求变化快和用户群体庞大，在这种情况下，如何从系统架构的角度出发，构建灵活、易扩展的系统，快速应对...
2019-09-10 15:09:57
113
转载 Hbase简单介绍与使用
又到金三银四的季节，相信各位都已经找到适合自己的工作了~当然我也悄悄告诉你我也找到了，去到更广阔的平台 今年开始决定正式进入大数据领域工作，从事大数据方向方面的开发。因为之前我一直在游戏公司，所以我选择领域是游戏行业的大数据解决方案。目前我的工作主要是负责建立一套...
2019-09-10 15:09:53
130
转载 互联网公司的面试官是如何360°无死角考察候选人的？（上篇）
一、写在前面 最近收到不少同学反馈，说自己在应聘一些中大型互联网公司的Java工程师岗位时遇到了不少困惑。 这些同学说自己也做了精心准备，网上搜集了不少Java面试题，然而实际去互联网公司面试才发现，人家问的，和你准备的对不上号，这就很尴尬了。。。 因此，从这篇文章开始，笔者准备写一...
2018-12-13 10:03:00
275
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人