- 博客(34)
- 收藏
- 关注
RSS订阅原创 SQL查询每天，每月的平均值
这样的一张数据表按每天显示AQI的平均值SELECT DATE_FORMAT(CREATE_DATE,'%Y/%m/%d') AS `date`,AVG(AQI) AS `AVG`FROM `T_STHJJ_MSOP_AQI`GROUP BY `date` LIMIT 30查询结果为：SELECT YEAR(CREATE_DATE) AS `year`,MONTH(CREATE_DATE) AS `month`,DAY(CREATE_DATE) AS `day`,...
2021-05-26 16:06:24
6584
1
原创 遇到“msg“: “Content type ‘ ‘ not supported“的解决办法
在修改一个接口过程中，遇到该问题，在网上找了好久没有一个解决的办法。于是自己就一点一点的检查代码，因为没有代码爆红，所以检查特别不容易。在检查方法时发现红框里的这个没改，可能就是这个问题，删除了红框的内容后调试运行。问题解决。...
2021-02-24 16:49:28
10175
原创 mybatis异常：元素内容必须由格式正确的字符数据或标记组成。
遇到mybatis异常：元素内容必须由格式正确的字符数据或标记组成。异常原因：在sql语句select count(*) from user where YEAR(CURRENT_DATE) - YEAR(BIRTHDAY) <= 15的小于号（<）下爆红，就是这里出错了。小于号要使用转义字符（ <），原句改为select count(*) from user where YEAR(CURRENT_DATE) - YEAR(BIRTHDAY) <= 15 再重新运行，没
2021-01-14 17:14:47
259
原创 Linux常用命令（二）
1.补全Tab2.查找历史命令history3.清屏Ctrl+L 或者 clear4.展示当前目录下的可见文件ls5.展示当前目录下所有文件的详细信息ll -a6.在当前目录下创建一个test.txt的文件touch test.txt7.打包压缩命令tar -zcvf 打包压缩后的文件名 要打包压缩的文件其中：z：调用gzip压缩命令进行压缩 c：打包文件 v：显示运行过程 f：...
2020-10-30 15:16:47
336
2
原创 Linux常用命令
1.查看ipifconfig2.关闭防火墙system stop firewalld (临时关闭防火墙) system disable firewalld (永久关闭防火墙)3.修改主机名hostnamectl set-hostname xxx4.重启网络systemctl restart network5.设置静态IPvim /etc/sysconfig/network-scripts/ifcfg...
2020-10-29 20:29:39
79
原创 SparkSQL中的RDD，DF和DS的转换
package com.zyc.sparksqlimport java.text.SimpleDateFormatimport java.util.Localeimport org.apache.spark.rdd.RDDimport org.apache.spark.sql.{DataFrame, SparkSession}/*** Created with IntelliJ IDEA.* Author: [email protected]* Date: 2020/10/10 13:55
2020-10-12 20:16:16
938
原创 hive的基本操作（一）
hive的常用操作1.查看数据库show databases;2.使用（进入）数据库；use db_hive;(db_hive是数据库名)3.查看数据库内的数据表show tables;4.查看表结构desc extended student;5.查看表数据select * from student;6.向表中添加数据insert into student values(2,'daqiao',12),(3,'xiaoqiao',13);7.创建分.
2020-10-09 20:27:00
163
2
原创 hadoop中MapReduce对大量小文件的操作
package com.zyc.hadoop.mapreduce.weblog;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.FSDataInputStream;import org.apache.hadoop.fs.FileSystem;import org.apache.hadoop.fs.Path;import org.apache.hadoop.io.Text;import org.apa
2020-09-30 08:50:55
268
原创 hadoop中MapReduce的简单操作
package com.zyc.hadoop.mapreduce.flow;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.Path;import org.apache.hadoop.io.NullWritable;import org.apache.hadoop.io.Text;import org.apache.hadoop.mapreduce.Job;import org.apache.had
2020-09-29 19:47:01
209
原创 hadoop中MapReduce的map操作
package com.zyc.hadoop.mapreduce.flow;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.Path;import org.apache.hadoop.io.LongWritable;import org.apache.hadoop.io.Text;import org.apache.hadoop.mapreduce.Job;import org.apache.had
2020-09-29 19:43:44
262
1
原创 hadoop HDFS文件的上传与下载
package com.zyc.hadoop.hdfs;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.FileSystem;import org.apache.hadoop.fs.Path;import java.io.IOException;import java.net.URI;/*** Created with IntelliJ IDEA.** @Author: zyc2913@16
2020-09-29 19:33:46
372
原创 spark中的行动算子
package com.zyc.sparkimport org.apache.spark.rdd.RDDimport org.apache.spark.{SparkConf, SparkContext}/*** Created with IntelliJ IDEA.* Author: [email protected]* Date: 2020/9/28 15:14* Version: 1.0* Description:行动算子的应用分析*/object StudyAction { d.
2020-09-29 19:26:17
308
原创 spark中的转换算子（二）
combineByKey和aggregateByKey的应用分析package com.zyc.sparkimport org.apache.spark.rdd.RDDimport org.apache.spark.{SparkConf, SparkContext}/*** Created with IntelliJ IDEA.* Author: [email protected]* Date: 2020/9/27 16:41* Version: 1.0* Description: co
2020-09-29 19:19:26
442
原创 spark中的转换算子（一）
package com.zyc.sparkimport com.zyc.utils.DateUtilsimport org.apache.spark.rdd.RDDimport org.apache.spark.{Partitioner, SparkConf, SparkContext}/*** Created with IntelliJ IDEA.* Author: [email protected]* Date: 2020/9/25 16:30* Version: 1.0* Descri
2020-09-29 19:12:26
919
1
原创 spark中的连接算子join
package com.zyc.sparkimport org.apache.spark.rdd.RDDimport org.apache.spark.{HashPartitioner, SparkConf, SparkContext}/*** Created with IntelliJ IDEA.* Author: [email protected]* Date: 2020/9/28 11:51* Version: 1.0* Description: 与连接相关的几种算子*/objec
2020-09-29 19:02:49
845
原创 spark中的排序算子sortBy和sortByKey
package com.zyc.sparkimport org.apache.spark.rdd.RDDimport org.apache.spark.{SparkConf, SparkContext}/*** Created with IntelliJ IDEA.* Author: [email protected]* Date: 2020/9/27 20:07* Version: 1.0* Description:排序相关的算子的应用*/object StudySort { de.
2020-09-29 18:50:43
1620
原创 spark中保存文件的三种方法
package com.zyc.sparkimport org.apache.spark.{SparkConf, SparkContext}/*** Created with IntelliJ IDEA.* Author: [email protected]* Date: 2020/9/28 15:56* Version: 1.0* Description:文件保存方式*/object StudySave { def main(args: Array[String]): Unit = .
2020-09-29 18:45:38
2786
原创 hive的安装启动时报错分析
安装好mysql后，安装完hive，启动hive时报出上面的错误，是因为mysql的加载jar包未找到，下载jar包，下载好后解压，将mysql-connector-java-8.0.18.jar文件移动到 hive的安装目录下的lib目录下。由于没有初始化数据库，没有生成元数据。 需要执行以下指令(在hive的bin目录下执行) ：./schematool -initSchema -dbType mysql 之后再启动hive，在在hive的bin目录下执行：hive注意在启动...
2020-09-29 17:38:43
528
原创 日期格式转换的错误记录
这是我的工具类这是要执行的类这是报错信息，提示日期格式有错检查日期格式发现，是工具类的日期格式写错了，改正如下：修改之后再运行，没报错，运行正常。
2020-09-27 08:46:14
312
原创 scala习题（四）
scala习题训练之matchpackage com.zyc.scala.test/*** Created with IntelliJ IDEA.* Author: [email protected]* Date: 2020/9/24 19:47* Version: 1.0* Description:模式匹配*/object Test4 { def main(args: Array[String]): Unit = { /** * 1、利用模式匹配，编写一个swap函数...
2020-09-24 20:26:35
201
原创 scala习题（三）
scala习题训练之yieldpackage com.zyc.scala.testimport scala._import scala.collection.immutable.SortedMapimport scala.collection.mutableimport scala.collection.mutable.ArrayBufferimport scala.util.Random/*** Created with IntelliJ IDEA.* Author: zyc29
2020-09-24 20:24:02
2765
原创 scala习题（二）
scala习题训练之reversepackage com.zyc.scala.testimport scala.concurrent.duration.DoubleMult/*** Created with IntelliJ IDEA.* Author: [email protected]* Date: 2020/9/22 14:38* Version: 1.0* Description:习题训练*/object Test2 { def main(args: Array[Stri.
2020-09-24 20:21:09
909
原创 scala习题（一）
scala的简单练习package com.zyc.scala.test/*** Created with IntelliJ IDEA.* Author: [email protected]* Date: 2020/9/22 10:25* Version: 1.0* Description:习题训练*/object Test1 { def main(args: Array[String]): Unit = { /** * 1、在Scala REPL中，计算3的平方...
2020-09-24 20:16:59
730
转载 zookeeper可视化工具——zooinspector的安装和使用
可视化窗口工具:zooinspector版权声明：本文为博主原创文章，遵循CC 4.0 BY-SA版权协议，转载请附上原文出处链接和本声明。本文链接：http://blog.csdn.net/weixin_40160361/article/details/1047341091、下载后解压下载地址：https://issues.apache.org/jira/secure/attachment/12436620/ZooInspector.zip百度网盘链接：https://pan.b...
2020-09-24 17:14:10
1747
原创 scala学习笔记之reduce、fold和scan
reduce(化简)、fold(折叠)和scan(扫描)的应用package com.zyc.scala/*** Created with IntelliJ IDEA.* Author: [email protected]* Date: 2020/9/21 17:12* Version: 1.0* Description: reduce(化简)、fold(折叠)和scan(扫描)的应用*/object StudyReduce { def main(args: Array[String].
2020-09-21 20:05:50
291
原创 scala学习笔记之map的应用
获取日志中的所有IP，登录时间(time),登录标识码(code)package com.zyc.scalaimport java.io.Fileimport org.apache.commons.io.FileUtils/** * Created with IntelliJ IDEA. * Author: [email protected] * Date: 2020/9/21 15:19 * Version: 1.0 * Description:获取日志中的所有IP，登录时间(ti
2020-09-21 17:06:43
161
原创 scala学习笔记之Map和flatMap
应用Map和FlatMap将一个英文文档切分成单词并统计每个单词出现的次数package com.zyc.scalaimport java.io.Fileimport org.apache.commons.io.FileUtilsimport scala.collection.mutable/*** Created with IntelliJ IDEA.* Author: [email protected]* Date: 2020/9/20 19:50* Version: 1.0*
2020-09-21 15:12:53
727
原创 scala学习笔记之Tuple
元组的创建、赋值、取值、遍历package com.zyc.scala/*** Created with IntelliJ IDEA.* Author: [email protected]* Date: 2020/9/17 17:09* Version: 1.0* Description:元组的创建、赋值、取值、遍历*/object StudyTuple { def main(args: Array[String]): Unit = { /** * 元组 tuple...
2020-09-20 19:38:45
220
原创 scala学习笔记之Option
Option类型的使用package com.zyc.scalaimport scala.collection.mutable/*** Created with IntelliJ IDEA.* Author: [email protected]* Date: 2020/9/16 15:00* Version: 1.0* Description:Option类型的使用*/object StudyOption { def main(args: Array[String]): Unit .
2020-09-20 19:27:58
154
原创 scala学习笔记之Queue和Stack
package com.zyc.scalaimport scala.collection.mutable/*** Created with IntelliJ IDEA.* Author: [email protected]* Date: 2020/9/18 17:02* Version: 1.0* Description:Queue和Stack的创建、赋值、取值和遍历*/object StudyQueueAndStack { def main(args: Array[String]):.
2020-09-19 17:21:29
139
原创 scala学习笔记之Array
数组的创建、赋值、取值和遍历package com.zyc.scalaimport java.utilimport scala.collection.mutableimport scala.collection.mutable.ArrayBuffer/*** Created with IntelliJ IDEA.* Author: [email protected]* Date: 2020/9/17 16:01* Version: 1.0* Description:数组的创建、赋值、
2020-09-18 16:45:44
650
原创 scala学习笔记之List
List的创建、赋值、取值和遍历package com.zyc.scala/** * Created with IntelliJ IDEA. * Author: [email protected] * Date: 2020/9/18 15:54 * Version: 1.0 * Description:List的创建、赋值、取值和遍历 */object StudyList { def main(args: Array[String]): Unit = { /** *
2020-09-18 16:37:37
158
原创 scala学习笔记之Set
Set的创建、赋值、取值和遍历package com.zyc.scalaimport scala.collection.mutable/*** Created with IntelliJ IDEA.* Author: [email protected]* Date: 2020/9/18 15:08* Version: 1.0* Description:Set的创建、赋值、取值和遍历*/object StudySet { def main(args: Array[String]):.
2020-09-18 15:51:28
143
原创 scala学习笔记之Map
Map的创建、赋值、取值和遍历package com.zyc.scalaimport scala.collection.mutable/** * Created with IntelliJ IDEA. * Author: [email protected] * Date: 2020/9/17 21:54 * Version: 1.0 * Description:Map的创建、赋值、取值和遍历 */object StudyMap { def main(args: Array[Str
2020-09-18 15:03:30
358
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人