weixin_37746272的博客

Spark SQL结构化数据处理　　概要：　　　　　　01 Spark SQL概述　　　　　　02 Spark SQL基本原理　　　　　　03 Spark SQL编程　　　　　　04 分布式SQL引擎　　　　　　05 用户自定义函数　　　　　　06 性能调优Spark SQL概述　　Spark SQL是什么？　　　　S

DataFrame的推出，让Spark具备了处理大规模结构化数据的能力，不仅比原有的RDD转化方式更加简单易用，而且获得了更高的计算性能。Spark能够轻松实现从MySQL到DataFrame的转化，并且支持SQL查询。　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　图 　　DataFrame与RDD的区别 　　从上面的图中可以看出DataFrame

Spark SQL基本原理　　1、Spark SQL模块划分　　2、Spark SQL架构--catalyst设计图　　3、Spark SQL运行架构　　4、Hive兼容性      　　1、Spark SQL模块划分　　　　　　　　　　　　　　　　　　　　　　　　Spark SQL模块划分为C

maven是一个项目管理工具，基于项目对象模型(POM)，可以通过一小段描述信息来管理项目的构建。Maven主要做的是两件事：统一开发规范与工具统一管理jar包这两件事情他都做到了，而且还做了更多的事情。Maven还可以管理项目的整个声明周期，包括编 译，构建，测试，发布，报告等等。目前Apache下绝大多数项目都已经采用Maven进行管理。而Maven本身还支持多种插件，

在python下，获取当前执行主脚本的方法有两个：sys.argv[0]和__file__。1. sys.argv[0]获取主执行文件路径的最佳方法是用sys.argv[0]，它可能是一个相对路径，所以再取一下abspath是保险的做法，像这样：import os,sysdirname, filename = os.path.split(os.path.abspath(sys

读写文件是最常见的IO操作。Python内置了读写文件的函数，用法和C是兼容的。读写文件前，我们先必须了解一下，在磁盘上读写文件的功能都是由操作系统提供的，现代操作系统不允许普通的程序直接操作磁盘，所以，读写文件就是请求操作系统打开一个文件对象（通常称为文件描述符），然后，通过操作系统提供的接口从这个文件对象中读取数据（读文件），或者把数据写入这个文件对象（写文件）。读文件

JSON(JavaScript Object Notation, JS 对象标记) 是一种轻量级的数据交换格式。JSON的数据格式其实就是python里面的字典格式，里面可以包含方括号括起来的数组，也就是python里面的列表。在python中，有专门处理json格式的模块—— json 和 picle模块  Json   模块提供了四个方法： dumps、dump、loads、l

啊是大v啊啊

HiveQL是一种声明式语言，用户会提交声明式的查询，而Hive会将其转化成Mapreduce job。大多数情况下，用户不需要了解Hive内部是如何工作的，不过，当用户对于hive具有越来越多的经验后，学习下Hive背后的理论知识以及底层的一些实现细节，会让用户更加高效地使用Hive。要了解HIVE是如何工作的，第一个步骤就是了解EXPLAIN的功能，它能帮助我们学习hive如何将查询转化成

一、mail命令1.配置 vim /etc/mail.rc文件尾增加以下内容 set from=1968089885@qq.com smtp="smtp.qq.com"set smtp-auth-user="1968089885@qq.com" smtp-auth-password="123456"set smtp-auth=login说

数据加密技术是网络中最基本的安全技术，主要是通过对网络中传输的信息进行数据加密来保障其安全性，这是一种主动安全防御策略，用很小的代价即可为信息提供相当大的安全保护。一、加密的基本概念 "加密"，是一种限制对网络上传输数据的访问权的技术。原始数据（也称为明文，plaintext)被加密设备(硬件或软件)和密钥加密而产生的经过编码的数据称为密文（ciphertext）。将密文还原为

rollout n.首次展示manifest vt. 证明，表明；显示  n. 载货单，货单；旅客名单in the manifest expires n. 到期；有效期 v. 期满before expires 在到期之前desktops 台式机laptops 笔记本primary device 主设备preferable adj. 更