陌生的心酸-CSDN博客

原创 XML学习笔记

XML：eXtensible Markup Languge 可扩展标记语言特点：可扩展：所有的标签都是自定义的。功能：数据存储（HTML：展示数据）应用：1.做配置文件2.做数据传输-------------------------------------------------------------------HTML与xml的区别：1.HTML语法松散，XML语法严格（区分...

2020-09-17 16:28:23 113

spark学习（一）spark的基本认知：Spark的特点Spark角色介绍及运行模式spark的基本认知： spark是一种快速通用可扩展性的大数据分析引擎，2009 年诞生于加州大学伯克利分校 AMPLab，2010 年开源，2013 年 6 月成为 Apache 孵化项目，2014 年 2 月成为 Apache 顶级项目。项目是用 Scala 进行编写。目前，Spark 生态系统已经发展成为一个包含多个子项目的集合，其中包含 SparkSQL、Spark Streaming、Graph

2020-09-17 16:28:13 1081

原创 01_hive介绍

4.1 Hive基本概念1 Hive简介 [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-OWxcF0ty-1600326848702)(img/hive.jpg)]学习目标- 了解什么是Hive- 了解为什么使用Hive什么是 HiveHive 由 Facebook 实现并开源，是基于 Hadoop 的一个数据仓库工具，可以将结构化的数据映射为一张数据库表，并提供 HQL(Hive SQL)查询功能，底层数据是存储在 HDFS 上。Hive 本质: 将 SQ

2020-09-17 16:27:46 102

原创 03_hive的函数和自定义函数

4.3 Hive 函数1 内置运算符在 Hive 有四种类型的运算符：关系运算符算术运算符逻辑运算符复杂运算(内容较多，见《Hive 官方文档》》)2 内置函数https://cwiki.apache.org/confluence/display/Hive/LanguageManual+UDF简单函数: 日期函数字符串函数类型转换统计函数: sum avg distinct集合函数分析函数show functions; 显示所有函数desc func

2020-09-17 16:27:37 87

原创 hive

Hive简介及核心概念一、简介二、Hive的体系架构三、数据类型 3.1 基本数据类型 3.2 隐式转换 3.3 复杂类型四、内容格式五、存储格式六、内部表和外部表一、简介Hive 是一个构建在 Hado

2020-09-17 16:27:22 86

原创 Hbase

#HABSE##一、关系型数据库和非关系型数据库的特点关系型数据库：Mysql，Oracle非关系型数据库：Hbase，Mongo，Cassandra，redis数据库类型|特性|优点|缺点--|--|--|--关系型数据库|1、采用了关系模型来组织数据 2、事务的一致性；3、二维表格模型|1、容易理解 2、使用方便 3、易于维护 4、支持SQL，可用于复杂的查询。|1、为了维护一致性所付出的巨大代价就是其读写性能比较差；2、固定的表结构；3、高并发读写需求；4、海量数据的高效率读写；非关系

2020-09-17 16:27:07 290 1

原创 kafka

#KAFKA##一、Kafka整体架1、名词解释·Producer：向kafka broker发消息的客户端·Consumer：向kafka broker取消息的客户端·Topic ：可以理解为一个队列。·Consumer Group （CG）：这是kafka用来实现一个topic消息的广播和单播的手段，个topic可以有多个CG。topic的消息会复制到所有的CG。但每个partion只会把消息发给该CG中的一个consumer，如果需要实现广播，只要每个consumer有一个独立的CG就可

2020-09-17 16:26:50 93

原创 spark

Spark简介一、简介二、特点三、集群架构四、核心组件 3.1 Spark SQL 3.2 Spark Streaming 3.3 MLlib &nbs

2020-09-17 16:26:37 694

原创 scala

Scala简介及开发环境配置一、Scala简介二、配置IDEA开发环境一、Scala简介1.1 概念Scala 全称为 Scalable Language，即“可伸缩的语言”，之所以这样命名，是因为它的设计目标是希望伴随着用户的需求一起成长。Scala 是一门综合了面向对象和函数式编程概念的静态类型的编程语言，它运行在标准的 Java 平台上，可以与所有的 Java 类库无缝协作。1.2 特点1. Scala是面向对象的Scala 是一种面向对象的语言，每个值都是对象，每个方法都是调用。

2020-09-17 16:26:16 552

原创 sqoop、zk、storm

Sqoop 简介与安装一、Sqoop 简介二、安装 2.1 下载并解压 2.2 配置环境变量 2.3 修改配置 2.4 拷贝数据库驱动 2.5 验证一、Sqoop 简介Sqoop 是一个常用的数据迁移工具，主要用于在不同存储系统之间实现数据的导入与导出：

2020-09-17 16:25:44 192

原创 flink

Flink笔记–Flink介绍###数据数据集类型无穷数据集：无穷的持续集成的数据集合有界数据集：有限不会改变的数据集合它可以处理有界数据集、也可以处无界数据集、可以以流式的处理数据、也可以批量的处理数据–###Flink是什么？看图C:\Users\asus\Pictures\flink1.部署：Flink支持本地运行、能独立集群或者在被yarn或mesos管理集群上运行、也能部署在云上2.运行：flink的核心是分布式流式数据引擎，意味着数据以一次一个事件的形式被处理。3.API

2020-09-17 16:25:17 101

原创 c语言基础学习07_指针

=============================================================================涉及到的知识点有：1、指针、指针的概念、指针变量的定义、取地址运算符 &、无类型指针、指针占用内存的说明、野指针与空指针、空指针理解的扩展、指针的兼容性（即指针类型之间一定要匹配）、不同的数据类型在内存中占用的地址、指向常量的...

2019-11-04 14:23:27 778

原创字符与字节

字符与字节有什么区别呢？1、计算机存储信息的最小单位，称之为位(bit)，音译为比特，二进制的一个“0”或一个“1”叫一位。2、计算机存储容量基本单位是字节(Byte)，音译为拜特，8个二进制位组成1个字节。一般而言：一个标准英文字母占一个字节位置，一个标准汉字占二个字节位置。3、计算机存储容量大小以字节数来度量，1024进位制：　　1024B=1K(千)B　　1024KB=1M(兆)B...

2019-11-04 14:16:06 108

原创 linux学习

##linux基本命令学习01Unix/Linux最主要的应用领域是基础服务器应用，如DNS服务器（域名系统）、DHCP服务器（动态主机配置协议）、Web服务器（网站服务器）、FTP服务器（文件传输协议）、防火墙等。X Window系统不是Unix/Linux操作系统的必须的构成部分，而只是一个可选的应用程序组件。纯字符界面又叫文本模式。=======================...

2019-11-04 13:22:53 332

weixin_45380292的博客