自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

原创 Java三层架构:表示层,业务层,持久层

表示层(struts) Struts是一个表示层框架,主要作用是界面展示,接收请求,分发请求。 在MVC框架中,Struts属于VC层次,负责界面表现,负责MVC关系的分发。 (View:沿用JSP,HTTP,Form,Tag,Resourse ;Controller:ActionServlet,...

2020-01-07 10:04:54

阅读数 35

评论数 0

原创 RDD的依赖关系:宽依赖和窄依赖

** 宽依赖 ** 一般是指父RDD的每个分区都可能被多个子RDD分区所使用,子RDD分区通常对应所有的父RDD分区(O(n),与数据规模有关)(简单理解为一对多的关系),称为shuffle Depencency,shuffle的算子一般都会是宽依赖,比如groupByKey、reduceByKe...

2020-01-02 18:52:55

阅读数 12

评论数 0

原创 mysql和redis的区别和结合应用

1、区别 https://blog.csdn.net/lyl194458/article/details/100179733 2、结合方案 https://www.cnblogs.com/daydaynobug/p/6649960.html

2019-12-04 15:07:35

阅读数 22

评论数 0

原创 图片服务器的搭建

本文很详细 https://cloud.tencent.com/developer/article/1459349

2019-12-04 10:29:32

阅读数 6

评论数 0

原创 http与https区别

HTTP和HTTPS的区别 https://www.cnblogs.com/zyy98877/p/8567128.html 本文写的很详细

2019-12-04 09:41:41

阅读数 7

评论数 0

原创 HDFS分布式文件系统

1、简介 Hadoop分布式文件系统(HDFS)是指被设计成适合运行在通用硬件(commodity hardware)上的分布式文件系统(Distributed File System)。它和现有的分布式文件系统有很多共同点。但同时,它和其他的分布式文件系统的区别也是很明显的。HDFS是一个高度容...

2019-12-03 18:52:46

阅读数 28

评论数 0

原创 FastDFS

1、简介 FastDFS是以C语言开发一个开源的轻量级分布式文件系统,它对文件进行管理,功能包括:文件存储、文件同步、文件访问(文件上传、文件下载)等,解决了大容量存储和负载均衡的问题。特别适合以文件为载体的在线服务,如相册网站、视频网站等等。 FastDFS为互联网量身定制,充分考虑了荣誉备份、...

2019-12-03 14:38:13

阅读数 22

评论数 0

原创 linux中mysql遇到的错误及解决办法

1、ERROR 2002 (HY000): Can’t connect to local MySQL server through socket ‘/var/lib/mysql/mysqld.sock’ 解决办法: 我的是前两种方法没解决,第三种方法才解决 (1)、登录方式 mysql -uroo...

2019-12-01 11:25:55

阅读数 5

评论数 0

原创 Scala中的“->”和“-”以及“=>”

1、<-只会出现在for循环里 for (i <- 1 to 10){ println(i + " * ") } 2、->只会出现在k->v里面 3、=>比较复杂,有四种用法 (1)、表示函数的返回类型(Function Type) //定义...

2019-11-28 17:11:33

阅读数 8

评论数 0

原创 scala算子

1、Map和flatMap Map是将每一个数据拿出来执行一遍其传入的function, flatMap是将一条数据数据打散执行方法 (注意,每一个数据和每一条数据是有区别的,hello you 是一条数据,其中的hello和you是每一个数据) 例: val pairs: DStream[(St...

2019-11-28 13:59:08

阅读数 8

评论数 0

原创 浅谈yarn的运行原理

1、yarn的诞生 在1.0版本之前没有yarn的,在2.0版本之后诞生了yarn,当然,每个系统的诞生都是人类有一定的需求诞生的。在2.0版本之前,hadoop集群只有HDFS和MapReduce,2.0版本之后才有的yarn。 首先,1.0版本,人们遇到的最大的问题就是资源管理。随着技术的发展...

2019-11-26 11:25:08

阅读数 17

评论数 0

原创 Lambda表达式

Lambda是一种匿名函数,,简单的说,它是没有声明的方法,也即没有访问修饰付,返回值声明和名字,java8的新特性。 当接口中只有一个抽象式方法这样的类叫做函数式接口,可以通过Lambda表达式创建接口。 表达式的语法: 基本语法:(parameters)->exparession 或者:...

2019-11-14 09:12:37

阅读数 8

评论数 0

原创 kafka往hdfs上传文件运行出现的错误及解决

1、启动脚本权限不够问题: 解决方法:添加权限:chmod +x 脚本 2、 Opening socket connection to server localhost/0:0:0:0:0:0:0:1:2181. Will not attempt to authenticate using SA...

2019-11-14 08:24:42

阅读数 18

评论数 0

原创 初识spark的wordcout程序运行错误

org.apache.hadoop.mapred.InvalidInputException: Input path does not exist: file:/spark/hello.txt 解决办法: 从本地上运行wordcount程序 sc.textFile("/spark/hi...

2019-11-13 18:37:26

阅读数 14

评论数 0

原创 分享乐事:更改配置文件

在jazyn用户下更改etc下的文件得到,更改配置文件还是要在root用户下 要尊重老大root 记录一下有趣的事,学习到自身,哈哈

2019-11-08 15:44:47

阅读数 10

评论数 0

原创 Kibana配置安装

Kibana 是通向 Elastic 的窗口。 它可以在 Elasticsearch 中对数据进行视觉探索和实时分析,理解为可视化的Elastic 的窗口。 1、上传kibana,解压 tar -zxvf kibana 2、修改配置文件 # Kibana is served by a back ...

2019-11-06 17:00:33

阅读数 10

评论数 0

原创 Elasticsearch配置安装

Elasticsearch 是一个开源的分布式 RESTful 搜索和分析引擎,能够解决越来越多不同的应用场景。 1、上传elasticsearch-6.3.1.tar.gz,解压tar -zxvf 压缩包(简称es) 2、修改config/elasticsearch.yml配置文件 # ====...

2019-11-06 16:49:48

阅读数 12

评论数 0

原创 ider中常用注释的作用

@Controller :被@Controller标记的类实际上就是个SpringMVC Controllerd对象,是一个控制器类,一个自定义的Controller类只能处理一个单一请求,而加上注解Controller的方式,可以时接口的定义更加简单,配合@RequestMapping注解,可以...

2019-11-04 13:01:12

阅读数 14

评论数 0

原创 大数据项目统计总访问量(一)次

1、将web项目打成jar包,上传到liunx集群上,并运行 [root@hdp-1 apps]# java -jar demo-0.0.1-SNAPSHOT.jar 测试是否运行成功:打开浏览器 --> 输入服务器名:web项目端口号,例:hdp-1:1997 2、启动HDFS [roo...

2019-11-04 12:59:28

阅读数 39

评论数 0

原创 MapReduce学习

MapReduce分为两部分:map阶段和reduce阶段 MapReduce优点:并行计算 MapReduce的整个工作过程 input:输入原始数据 mapreduce框架:自动将每一行数据用行号来编成key(输入给map之前) map:输入给map是k–v,经过map的处理,将每一行单独转...

2019-10-28 18:45:39

阅读数 8

评论数 0

原创 springboot结合kafka运用

pom.xml: <?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi=&...

2019-10-22 18:59:03

阅读数 11

评论数 0

原创 kafka的Java代码定时上传数据到hdfs

消费者: package com.zpark.kafkatest.one; import java.io.*; import java.net.URI; import java.net.URISyntaxException; import java.util.Collections; impor...

2019-10-22 18:47:55

阅读数 17

评论数 0

原创 kafka的Java代码创建生产者和消费者

1、创建Maven项目 2、添加kafka依赖 <dependency> <groupId>org.apache.kafka</groupId> <artifactId>kafka_2.12</a...

2019-10-17 10:05:02

阅读数 14

评论数 0

原创 kafka在linux上创建生产者与消费者

1、在linux运行kafka [root@hdp-1 bin]# cd apps/kafka_2.12-2.2.0/bin [root@hdp-1 bin]# ./kafka-server-start ../config/server.properties 2、创建主题test [root@h...

2019-10-16 18:35:14

阅读数 179

评论数 0

原创 kafka详细安装运行

1、Alt+p打开sftp,将kafka上传到linux,我上传到hdp-4,/root/apps sftp> cd apps sftp> put -r "C:\Users\ThinkPad\Documents\Tencent Files\840657524\FileRecv...

2019-10-16 18:13:56

阅读数 13

评论数 0

原创 ider中运行web项目出现的问题及解决方法

java.lang.IllegalArgumentException: Invalid character found in the request target. The valid characters are defined in RFC 7230 and RFC 3986 解决方法: 重新...

2019-10-14 09:33:08

阅读数 59

评论数 0

原创 Flume及nginx的安装运用

Flume采集数据到hdfs: 1、启动HDFS start-dfs.sh 2、启动YARN start-yarn.sh 3、将flume上传到hdp-1的apps中,解压 tar -zxvf flume-1.6.0 4、配置文件 vi /etc/profile export FLUME_H...

2019-10-11 16:12:34

阅读数 22

评论数 0

原创 ider学习中出现的错误

记录学习中的问题。 就是端口被占用,dos中netstat -ano查询8080端口被哪个程序占用,当eclipse运行时,也会占用端口. ~~~~ warning no artifacts configured 当出现类似与人工部署的错误是就要注意artifacts,是maven中的...

2019-09-05 16:05:37

阅读数 27

评论数 0

提示
确定要删除当前文章?
取消 删除