- 博客(31)
- 收藏
- 关注
RSS订阅原创 sql中位数
sql中位数select avg(字段) mid_item_cyclefrom( select 字段, row_number() over(order by 字段 asc) as rn, (count(1) over())/2 as cnt from 表) tmpwhere rn = cnt or (rn - cnt <=1 and rn - cnt >=0.5)注意：在排序的时候空也会被排序，空会影响中位数的结果，如果没必要保留空的话
2021-04-26 15:37:25
1507
原创 truncate和delete的区别
truncat和delete的区别（面试）truncat后面不带where子句，delete后面带where子句；truncat效率比delete高一点儿；truncat删除带有自增列数据之后，insert数据是从1开始，delete删除带有自增列数据之后，insert数据是从断点开始；truncate删除数据不可以回滚，delete删除数据可以回滚；truncate删除之后没有返回值，delete删除之后有返回值...
2021-03-18 20:49:43
300
原创 Zookeeper底层源码原理分析（一）
1、zk是什么？它是一个分布式服务框架，是Apache Hadoop 的一个子项目，它主要是用来解决分布式应用中经常遇到的一些数据管理问题，如：统一命名服务、集群管理、分布式应用配置项的管理等。（1）、 zk是一个数据库其可以存数据， ls /（查看根节点） create /luban 123（创建数据节点，内容为123） get /luban（查询）zk中有临时节点，也有持久化节...
2020-05-06 09:47:47
468
原创 Java三层架构：表示层，业务层，持久层
表示层（struts）Struts是一个表示层框架，主要作用是界面展示，接收请求，分发请求。在MVC框架中，Struts属于VC层次，负责界面表现，负责MVC关系的分发。（View：沿用JSP，HTTP，Form，Tag，Resourse ；Controller：ActionServlet，struts-config.xml，Action）业务层（spring）Spring是一个业务层框...
2020-01-07 10:04:54
1258
原创 RDD的依赖关系：宽依赖和窄依赖
**宽依赖**一般是指父RDD的每个分区都可能被多个子RDD分区所使用，子RDD分区通常对应所有的父RDD分区（O(n),与数据规模有关）（简单理解为一对多的关系），称为shuffle Depencency，shuffle的算子一般都会是宽依赖，比如groupByKey、reduceByKey、join等窄依赖一般是指父RDD的每个分区只被子RDD的一个分区所使用，子RDD分区通常对应常...
2020-01-02 18:52:55
925
原创 mysql和redis的区别和结合应用
1、区别https://blog.csdn.net/lyl194458/article/details/1001797332、结合方案https://www.cnblogs.com/daydaynobug/p/6649960.html
2019-12-04 15:07:35
222
原创 http与https区别
HTTP和HTTPS的区别https://www.cnblogs.com/zyy98877/p/8567128.html本文写的很详细
2019-12-04 09:41:41
87
原创 HDFS分布式文件系统
1、简介Hadoop分布式文件系统(HDFS)是指被设计成适合运行在通用硬件(commodity hardware)上的分布式文件系统（Distributed File System）。它和现有的分布式文件系统有很多共同点。但同时，它和其他的分布式文件系统的区别也是很明显的。HDFS是一个高度容错性的系统，适合部署在廉价的机器上。HDFS能提供高吞吐量的数据访问，非常适合大规模数据集上的应用。H...
2019-12-03 18:52:46
353
原创 FastDFS
1、简介FastDFS是以C语言开发一个开源的轻量级分布式文件系统，它对文件进行管理，功能包括：文件存储、文件同步、文件访问（文件上传、文件下载）等，解决了大容量存储和负载均衡的问题。特别适合以文件为载体的在线服务，如相册网站、视频网站等等。FastDFS为互联网量身定制，充分考虑了荣誉备份、负载均衡、先行扩容等机制，并注重高可用，高性能等指标，使用FastDFS很容易搭建一套高性能的文件服务...
2019-12-03 14:38:13
127
原创 linux中mysql遇到的错误及解决办法
1、ERROR 2002 (HY000): Can’t connect to local MySQL server through socket ‘/var/lib/mysql/mysqld.sock’解决办法：我的是前两种方法没解决，第三种方法才解决（1）、登录方式mysql -uroot -p（2）、mysql -h 127.0.0.1 -uroot -p（3）、修改/var...
2019-12-01 11:25:55
292
原创 Scala中的“->”和“-”以及“=>”
1、<-只会出现在for循环里for (i <- 1 to 10){ println(i + " * ")}2、->只会出现在k->v里面3、=>比较复杂，有四种用法（1）、表示函数的返回类型（Function Type）//定义一个方法def m(x: Int) = x + 3 //定义一个函数变量 var x:(Int) => Int...
2019-11-28 17:11:33
3203
原创 scala算子
1、Map和flatMapMap是将每一个数据拿出来执行一遍其传入的function，flatMap是将一条数据数据打散执行方法（注意，每一个数据和每一条数据是有区别的，hello you 是一条数据，其中的hello和you是每一个数据）例：val pairs: DStream[(String, Int)] = lines.flatMap(_.split(" ")).map((_,1)...
2019-11-28 13:59:08
403
原创 浅谈yarn的运行原理
1、yarn的诞生在1.0版本之前没有yarn的，在2.0版本之后诞生了yarn，当然，每个系统的诞生都是人类有一定的需求诞生的。在2.0版本之前，hadoop集群只有HDFS和MapReduce，2.0版本之后才有的yarn。首先，1.0版本，人们遇到的最大的问题就是资源管理。随着技术的发展，人们已经不再满足只有MapRduce一个计算框架，所以诞生了其他计算框架（例如：spark，Mars...
2019-11-26 11:25:08
335
原创 Lambda表达式
Lambda是一种匿名函数，，简单的说，它是没有声明的方法，也即没有访问修饰付，返回值声明和名字，java8的新特性。当接口中只有一个抽象式方法这样的类叫做函数式接口，可以通过Lambda表达式创建接口。表达式的语法：基本语法：（parameters）->exparession或者：（parameters）-> {statements}传统和Lambda表达式的对比：pub...
2019-11-14 09:12:37
101
原创 kafka往hdfs上传文件运行出现的错误及解决
1、启动脚本权限不够问题：解决方法：添加权限：chmod +x 脚本2、 Opening socket connection to server localhost/0:0:0:0:0:0:0:1:2181. Will not attempt to authenticate using SASL (unknown error)解决方法：查看zkServer是否成功启动3、 Missi...
2019-11-14 08:24:42
1782
原创 初识spark的wordcout程序运行错误
org.apache.hadoop.mapred.InvalidInputException: Input path does not exist: file:/spark/hello.txt解决办法：从本地上运行wordcount程序sc.textFile("/spark/hi.txt").flatMap(_.split(",")).map((_,1)).reduceByKey(_+_)...
2019-11-13 18:37:26
356
原创 分享乐事：更改配置文件
在jazyn用户下更改etc下的文件得到，更改配置文件还是要在root用户下要尊重老大root记录一下有趣的事，学习到自身，哈哈
2019-11-08 15:44:47
124
原创 Kibana配置安装
Kibana 是通向 Elastic 的窗口。 它可以在 Elasticsearch 中对数据进行视觉探索和实时分析，理解为可视化的Elastic 的窗口。1、上传kibana，解压tar -zxvf kibana2、修改配置文件# Kibana is served by a back end server. This setting specifies the port to use....
2019-11-06 17:00:33
190
原创 Elasticsearch配置安装
Elasticsearch 是一个开源的分布式 RESTful 搜索和分析引擎，能够解决越来越多不同的应用场景。1、上传elasticsearch-6.3.1.tar.gz，解压tar -zxvf 压缩包（简称es）2、修改config/elasticsearch.yml配置文件# ======================== Elasticsearch Configuration ==...
2019-11-06 16:49:48
74
原创 ider中常用注释的作用
@Controller ：被@Controller标记的类实际上就是个SpringMVC Controllerd对象，是一个控制器类，一个自定义的Controller类只能处理一个单一请求，而加上注解Controller的方式，可以时接口的定义更加简单，配合@RequestMapping注解，可以在一个类中定义多个接口，这样使用起来更加灵活@Controllerpublic class Log...
2019-11-04 13:01:12
1138
原创 大数据项目统计总访问量（一）次
1、将web项目打成jar包，上传到liunx集群上，并运行[root@hdp-1 apps]# java -jar demo-0.0.1-SNAPSHOT.jar测试是否运行成功：打开浏览器 --> 输入服务器名：web项目端口号，例：hdp-1：19972、启动HDFS[root@hdp-1 ~]# start-all.sh3、启动flume[root@hdp-1 bin...
2019-11-04 12:59:28
530
原创 MapReduce原理
MapReduce分为两部分：map阶段和reduce阶段MapReduce优点：并行计算MapReduce的整个工作过程input：输入原始数据mapreduce框架：自动将每一行数据用行号来编成key（输入给map之前）map：输入给map是k–v，经过map的处理，将每一行单独转换成另外的k—v段（注：map输出的数据有很多重复的，并且没有被排序，不利于下一步的reduce处理...
2019-10-28 18:45:39
119
原创 springboot结合kafka运用
pom.xml：<?xml version="1.0" encoding="UTF-8"?><project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://ma...
2019-10-22 18:59:03
109
原创 kafka的Java代码定时上传数据到hdfs
消费者：package com.zpark.kafkatest.one;import java.io.*;import java.net.URI;import java.net.URISyntaxException;import java.util.Collections;import java.util.Properties;import org.apache.hadoop....
2019-10-22 18:47:55
243
原创 kafka的Java代码创建生产者和消费者
1、创建Maven项目2、添加kafka依赖<dependency> <groupId>org.apache.kafka</groupId> <artifactId>kafka_2.12</artifactId> </dependency> &...
2019-10-17 10:05:02
814
原创 kafka在linux上创建生产者与消费者
1、在linux运行kafka[root@hdp-1 bin]# cd apps/kafka_2.12-2.2.0/bin[root@hdp-1 bin]# ./kafka-server-start ../config/server.properties2、创建主题test[root@hdp-1 bin]# cd apps/kafka_2.12-2.2.0/bin[root@hdp-1...
2019-10-16 18:35:14
2294
原创 kafka详细安装运行
1、Alt+p打开sftp，将kafka上传到linux，我上传到hdp-4，/root/appssftp> cd appssftp> put -r "C:\Users\ThinkPad\Documents\Tencent Files\840657524\FileRecv\kafka_2.12-2.2.0.tgz"Uploading kafka_2.12-2.2.0.tgz to...
2019-10-16 18:13:56
103
原创 ider中运行web项目出现的问题及解决方法
java.lang.IllegalArgumentException: Invalid character found in the request target. The valid characters are defined in RFC 7230and RFC 3986解决方法：重新写ajax的方法Public Key Retrieval is not allowed解决方法：...
2019-10-14 09:33:08
553
原创 Flume及nginx的安装运用
Flume采集数据到hdfs：1、启动HDFSstart-dfs.sh2、启动YARNstart-yarn.sh3、将flume上传到hdp-1的apps中，解压tar -zxvf flume-1.6.04、配置文件vi /etc/profileexport FLUME_HOME=/root/apps/flume-1.6.0export PATH=$FLUME_HOME/...
2019-10-11 16:12:34
407
原创 ider学习中出现的错误
记录学习中的问题。 就是端口被占用，dos中netstat -ano查询8080端口被哪个程序占用，当eclipse运行时，也会占用端口. ~~~~ warning no artifacts configured 当出现类似与人工部署的错误是就要注意artifacts，是maven中的概念（项目是maven项目），由于没有配置artifacts， 解决方法： Flie--Pr...
2019-09-05 16:05:37
225
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人