- 博客(5)
- 收藏
- 关注
RSS订阅原创 idea原生打包操作（不是maven打包）
idae打包有时候，我们会用IDEA来开发一些小工具，需要打成可运行的JAR包；或者某些项目不是WEB应用，纯粹是后台应用，发布时，也需要打成可运行的JAR包。并且，如果依赖第三方jar时，又不希望第三方jar也打入最终的可运行jar包，并且还希望，组织下目录结构（如把第三方jar文件，放到最终可运行jar包的并行目录lib下）步骤1.进入project Structure2.在弹出的窗口中左侧选中”Artifacts”，点击”+”选择jar，然后选择”from modules with depe
2020-10-28 08:25:26
1809
2
原创 spark sql基础学习
spark sql基础学习一、概述1.什么是Spark SQL？2.RDD vs DataFrames vs DataSet(1)RDD(2)Dataframe(3)Dataset(4)1、RDD、DataFrame、Dataset全都是spark平台下的分布式弹性数据集，为处理超大型数据提供便利(5)三者的区别二、执行SparkSQL查询1、命令行查询流程2、IDEA创建SparkSQL程序三、SparkSQL解析1、新的起始点SparkSession2、创建DataFrames三、Spark SQL解析
2020-10-26 18:03:39
561
转载 count（*）和count（1）和count（列名）的区别
count（*）和count（1）和count（列名）的区别count是一种最简单的聚合函数，一般也是我们第一个开始学习的聚合函数，那么他们之间究竟由什么区别呢？有的人说count（1）和count（*）他们之间有区别，而有的人说他们之间没有区别那么他们之间到底有没有区别呢。从执行结果来说： count（1）和count（*）之间没有区别，因为count（*）count（1）都不会去过滤空值， 但count（列名）就有区别了，因为count（列名）会去过滤空值。从执行效率来说：
2020-10-25 21:01:12
296
原创 mysql学习笔记（i am小白）
MySQL小白学习笔记一、增删改查（基础操作）1.MySQL创建数据库2.选择数据库；3.创建数据表；4.给表插入数据5.查询数据6.删除数据表7.删除数据库二、补充语法1.where查询2.alter3.update4.delete删除5.模糊查询之like6.模糊查询之between and7.模糊查询之in8.模糊查询之is null和is not null9.union10.concat拼接11.order by排序12.group by 分组三、MySQL数据类型1.数值类型2.日期和时间类型3.
2020-10-25 20:55:03
280
2
原创 spark依赖、打包、上传、运行
spark依赖、打包、上传、运行EclipseEclipse1.解压所需要的lib目录2.将整个文件复制粘贴到项目中3.将lib包里的依赖全选进行包操作4.出现一个新的lib依赖包5.写完代码将需要的项目打包6.选择jar包地址后执行下一步操作选择mian方法的class7.之后将打包的代码以及数据上传到集群上8.将数据放hdfs上 9.进入到spark的bin目录下10.然后执行jar包将输出的文件写入到hdfs上11.执行成功后在hdfs上查看数据N
2020-10-21 10:44:01
292
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人