苑丶-CSDN博客

原创 Sqoop将HDFS中的数据导入mysql中报错！！！！

哪位大佬，走过路过看一眼，帮个忙20/10/30 09:29:51 ERROR manager.SqlManager: Error executing statement: java.sql.SQLException: No suitable driver found for jdbc:mysql:hdp-2:3306/testjava.sql.SQLException: No suitable driver found for jdbc:mysql:hdp-2:3306/testat java.sq

2020-10-29 17:37:19 260

原创 Spark中宽依赖和窄依赖的区别

一、什么是宽依赖、窄依赖Spark中RDD的高效与DAG（有向无环图）有着莫大的关系，在DAG调度中我们需要对计算过程划分stage，而划分依据就是RDD之间的依赖关系。针对不同的转换函数，RDD之间的依赖关系分为宽依赖和窄依赖。那么到底什么是宽依赖和窄依赖的？1、宽依赖：是指1个父RDD分区对应多个子RDD的分区2、窄依赖：是指一个或多个父RDD分区对应一个子RDD分区简单的说就...

2019-12-30 15:48:21 9495 2

原创 kafka可视化工具

我们使用kafka Tool工具进行可视化 Kafka工具是一个管理和使用Apache Kafka集群的GUI应用程序。它提供了一个直观的UI，允许快速查看Kafka集群中的对象以及存储在集群主题中的消息。它包含面向开发人员和管理员的特性。下载地址：http://www.kafkatool.com/download.html安装：按照提示一直下一步就可以。安装完...

2019-12-10 19:45:00 4268

原创 mysqlbinlog 数据备份与恢复

经过我们之前学习的mysqlbinlog，我们已经学会如何进行备份，我们在这里开始将其进行备份恢复。假设现在是凌晨12点，我们的任务是将数据库进行一次完整备份，将binlog数据库备份到/root下BAK.binlog.sqlmysqldump -uroot -p123456 -lF --log-error=/root/myDump.err -B binlog > /root/BA...

2019-12-03 15:35:28 619

原创图片服务器的搭建

首先我们需要准备两个服务器，ftp服务器和nginx服务器ftp服务器在之前已经搭建完成，请到https://mp.csdn.net/postedit/103362292查看nginx安装请到https://blog.csdn.net/lucasmaluping/article/details/102459604查看完成之前的步骤，我们现在只需要在nginx的配置文件nginx....

2019-12-03 14:40:21 151

原创关于图片服务器报的一些错误整理

在修改的过程中找到一个大神总结的nginx排错方法，很实用https://blog.csdn.net/gdsgdh308227363/article/details/81011809一、nginx无法进行远程访问1. centos7采用的是service firewalld而不是iptables作为防火墙。 firewalld会阻止远程对linux的80端口的访问2. 即使安...

2019-12-03 14:30:37 438

原创 FTP服务器的搭建

1、什么时ftpFTP（File Transfer Protocol，文件传输协议）是 TCP/IP 协议组中的协议之一。FTP协议包括两个组成部分，其一为FTP服务器，其二为FTP客户端。其中FTP服务器用来存储文件，用户可以使用FTP客户端通过FTP协议访问位于FTP服务器上的资源。在开发网站的时候，通常利用FTP协议把网页或程序传到Web服务器上。此外，由于FTP传输效率非常高，在网络...

2019-12-03 10:59:19 454

原创 mysqlbinlog简单介绍

binlog二进制日志包含描述数据库更改的“事件”，如表创建操作或表数据更改。除非使用基于行的日志记录，否则它还包含可能已进行更改的语句的事件(例如，不匹配任何行的DELETE)。二进制日志还包含关于每个语句花费多长时间更新数据的信息。二进制日志有两个重要的用途:1、备份，用于从服务器的备份。主服务器将二进制日志中包含的事件发送给从服务器，从服务器执行这些事件以对主服务器进行相同的数据更改。...

2019-11-29 10:20:42 211

原创隐式转换

我们需要某个类中的一个方法，但是这个类没有提供这样的一个方法，所以我们需要隐式转换，转换成提供了这个方法的类，然后再调用这个方法需要：A.abc()，但是A类中没有定义abc（）方法，需要把A隐式的转化成B，然后在调用.abc() B.abc()第一步，需要一个增强的类，里面提供我们想要的方法，接收的参数的类型一定要是被增强类的类型。第二部，还需要在单例对象（伴生...

2019-11-28 16:39:48 144

qq_38274166的博客