- 博客(9)
- 收藏
- 关注
原创 Sqoop将HDFS中的数据导入mysql中报错!!!!
哪位大佬,走过路过看一眼,帮个忙20/10/30 09:29:51 ERROR manager.SqlManager: Error executing statement: java.sql.SQLException: No suitable driver found for jdbc:mysql:hdp-2:3306/testjava.sql.SQLException: No suitable driver found for jdbc:mysql:hdp-2:3306/testat java.sq
2020-10-29 17:37:19
280
原创 Spark中宽依赖和窄依赖的区别
一、什么是宽依赖、窄依赖Spark中RDD的高效与DAG(有向无环图)有着莫大的关系,在DAG调度中我们需要对计算过程划分stage,而划分依据就是RDD之间的依赖关系。针对不同的转换函数,RDD之间的依赖关系分为宽依赖和窄依赖。那么到底什么是宽依赖和窄依赖的?1、宽依赖:是指1个父RDD分区对应多个子RDD的分区2、窄依赖:是指一个或多个父RDD分区对应一个子RDD分区简单的说就...
2019-12-30 15:48:21
9769
2
原创 kafka可视化工具
我们使用kafka Tool工具进行可视化 Kafka工具是一个管理和使用Apache Kafka集群的GUI应用程序。它提供了一个直观的UI,允许快速查看Kafka集群中的对象以及存储在集群主题中的消息。它包含面向开发人员和管理员的特性。下载地址:http://www.kafkatool.com/download.html安装:按照提示一直下一步就可以。安装完...
2019-12-10 19:45:00
4333
原创 mysqlbinlog 数据备份与恢复
经过我们之前学习的mysqlbinlog,我们已经学会如何进行备份,我们在这里开始将其进行备份恢复。假设现在是凌晨12点,我们的任务是将数据库进行一次完整备份,将binlog数据库备份到/root下BAK.binlog.sqlmysqldump -uroot -p123456 -lF --log-error=/root/myDump.err -B binlog > /root/BA...
2019-12-03 15:35:28
652
原创 图片服务器的搭建
首先我们需要准备两个服务器,ftp服务器和nginx服务器ftp服务器在之前已经搭建完成,请到https://mp.csdn.net/postedit/103362292查看nginx安装请到https://blog.csdn.net/lucasmaluping/article/details/102459604查看完成之前的步骤,我们现在只需要在nginx的配置文件nginx....
2019-12-03 14:40:21
174
原创 关于图片服务器报的一些错误整理
在修改的过程中找到一个大神总结的nginx排错方法,很实用https://blog.csdn.net/gdsgdh308227363/article/details/81011809一、nginx无法进行远程访问1. centos7采用的是service firewalld而不是iptables作为防火墙 。 firewalld会阻止远程对linux的80端口的访问2. 即使安...
2019-12-03 14:30:37
465
原创 FTP服务器的搭建
1、什么时ftpFTP(File Transfer Protocol,文件传输协议) 是 TCP/IP 协议组中的协议之一。FTP协议包括两个组成部分,其一为FTP服务器,其二为FTP客户端。其中FTP服务器用来存储文件,用户可以使用FTP客户端通过FTP协议访问位于FTP服务器上的资源。在开发网站的时候,通常利用FTP协议把网页或程序传到Web服务器上。此外,由于FTP传输效率非常高,在网络...
2019-12-03 10:59:19
494
原创 mysqlbinlog简单介绍
binlog二进制日志包含描述数据库更改的“事件”,如表创建操作或表数据更改。除非使用基于行的日志记录,否则它还包含可能已进行更改的语句的事件(例如,不匹配任何行的DELETE)。二进制日志还包含关于每个语句花费多长时间更新数据的信息。二进制日志有两个重要的用途:1、备份,用于从服务器的备份。主服务器将二进制日志中包含的事件发送给从服务器,从服务器执行这些事件以对主服务器进行相同的数据更改。...
2019-11-29 10:20:42
246
原创 隐式转换
我们需要某个类中的一个方法,但是这个类没有提供这样的一个方法,所以我们需要隐式转换,转换成提供了这个方法的类,然后再调用这个方法需要:A.abc(),但是A类中没有定义abc()方法,需要把A隐式的转化成B,然后在调用.abc() B.abc()第一步,需要一个增强的类,里面提供我们想要的方法,接收的参数的类型一定要是被增强类的类型。 第二部,还需要在单例对象(伴生...
2019-11-28 16:39:48
165
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人