- 博客(12)
- 收藏
- 关注
RSS订阅原创 个人对于网络编程理解
程序员面对的是一个统一的网络编程环境目的直接或间接的通过网络协议与其他的计算机进行通信两个主要问题如何准确的找到网络的一台或多台主机
2020-08-24 16:54:44
426
1
原创 Spark SQL基础理解
Spark SQL是什么是Spark处理结构化数据的模块优点易整合：无缝整合了Spark编程和SQL查询统一的数据访问：使用相同的方式连接不同的数据源兼容：可以在已有的仓库上使用HiveQL标准数据连接：通过 JDBC 或者 ODBC 来连接数据处理模型DataFrame：RDD+列表结构，可以理解为数据库中的一张表，SparkSQL可以通过DF知道数据集的详细信息（有哪些列，列名和数据类型）；实是泛型为ROW的DSDataSet：DataFrame+泛型约束可以理解为DataFrame
2020-08-13 14:56:46
186
原创 JDBC—Java数据库连接的个人理解
定义Java数据库连接，简称JDBC(Java Database Connectivity)，JDBC就是一个接口，定义了用来访问数据库的标准Java类库（java.sql,javax.sql），可以使开发人员以一种规范去访问提供了JDBC驱动的数据库资源体系面向应用的API：Java API，抽象接口，供应用程序开发人员使用面向数据库的API：Java Driver API，供开发商开发数据库驱动程序用作用连接数据库，执行SQL语句，获得结果流程1.导入要连接的数据库的驱动并初始化2.建
2020-08-12 12:13:29
218
原创 HQL(Hive Query Language)常用语句
HQL(Hive Query Language)常用数据类型：int 、string常用语句查询数据库： show databases创建数据库： create database [ if not exists ] mydb显示数据库信息： desc database mydb显示数据库详细信息： desc database extended mydb切换数据库： use mydb删除空数据库： drop database mydb删除非空数据库： drop database mydb
2020-08-11 19:39:35
539
原创 区分各个SQL的概念
SQLSQL(Structured Query Language)是一种结构化查询语言，是一种语言MySQLMySQL是一种关系型数据库管理系统，是一种系统，利用SQL语言来管理数据库Hive 的 SQL首先理解Hive，Hive是基于Hadoop的一个数据仓库工具，是一个工具注：Hive的查询语言并不是SQL而是人家自己的查询语言HQLHive架构1.Client：用户接口2.MetaStore：元数据库，存放表的元数据，推荐用MySQL进行存储3.Hadoop：使用HDFS存储，利用
2020-08-10 21:41:41
190
原创 SparkCore基础理解
定义Spark是一种基于内存的快速、通用、可扩展的大数据分析计算引擎与Hadoop的根本差异Spark和Hadoop的根本差异是多个作业之间的数据通信问题 : Spark多个作业之间数据通信是基于内存，而Hadoop是基于磁盘核心模块1.Spark Core中提供了Spark最基础与最核心的功能2.Spark SQL是Spark用来操作结构化数据的组件3.Spark Streaming是Spark平台上针对实时数据进行流式计算的组件，提供了丰富的处理数据流的API。4.MLlib是Spark
2020-08-06 16:45:36
343
原创 Scala控制抽象的简单操作
代码块要了解控制抽象首先要知道什么是代码块代码块就是说像{ …code… } 一样，代码直接由{ }包裹；代码块是有返回值的，返回值是代码最后一行表达式的结果值控制抽象Scala中可以自己定义类似于if-else，while的流程控制语句，即所谓的控制抽象而代码块可以视为无参函数，作为=>Unit类型的参数值//抽象控制案例 def loop(n:Int)(func: => Unit):Unit = { if (n>0) {
2020-08-06 14:48:47
250
原创 open matching files in associated application
今天不小心将要打开的文件设置为了open matching files in associated application模式，导致文件不能再打开，然后发现搜索不到对应解决方案。为了大家不小心和我一样误操作之后可以找到解决办法，现将自己的解决办法写在下面。File–>Settings–>Editor–>File types然后如下图找到红圈的设置，在下面紫圈中找到你不小心误操作的文件，最后点绿圈的删除键，将误操作的文件移除之后，就可以正常打开了。希望可以帮助到大家。...
2020-08-05 18:35:39
4090
原创 Java日期类简单操作
日期常用相关类java.util.Datejava.util.Calendarjava.text.SimpleDateFormat相关操作//Date类 用来获取当前时间Date date = new Date();System.out.println(date); // Thu Jul 30 14:55:37 CST 2020/*SimpleDateFormat类 用来格式化时间日期格式字符串：y表示年 M表示月 d表示天 H表示小时 m表示分 s表示秒*///1.创建一个Si
2020-07-30 16:03:15
106
原创 Json字符串和Json对象的转换
Json介绍Json是一种数据交换格式，采用完全独立于编程语言的文本格式来存储和表示数据。本质上是一串字符串语法规则：在JS语言中，一切皆对象。因此任何支持的类型都可以通过Json来表示，例如字符串，数字，对象，数组等。但是对象和数组是比较特殊且常用的两种类型：对象表示为键值对，数据由逗号分隔，由花括号 { } 保存； 数组由方括号 [ ] 保存Json键值对是用来保存JS对象的一种方式，和JS对象的写法也大同小异，键值对组合中的键名写在前面并用双引号 “ ” 包裹，键值之间由 冒号 ：分隔，冒号
2020-07-30 11:38:48
444
原创 JavaSE基础浅谈
Java开发环境JVM：Java虚拟机，用于与操作系统交互。（可以理解为翻译官）JRE：Java运行环境，包含JVM和Java核心类库JDK：Java开发工具，包含JRE和Java开发工具集三者关系：JDK包含JRE，JRE包含JVMJava开发步骤1.编写： .java 源文件2.编译：通过javac将 .java源文件 编译为一个或多个 .class字节码文件3.运行：通过 Java 命令进行运行，将一个或多个 .class 字节码文件加载到内存中注意：1.一个 .java 源文件可
2020-07-29 17:37:30
150
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人