- 博客(9)
- 收藏
- 关注
转载 INTELLIJ IDEA 界面不显示问题
今天打开IntelliJ IDEA后将其从一个显示屏拖动到另一个显示屏后整个IntelliJ IDEA界面消失了,分析原因发现可能是因为拖动界面时没有拖到位导致的。解决方法在主机只连接一个显示屏的条件下,进入IntelliJ IDEA打开项目所在文件夹根目录,进入.idea文件夹后找到并打开workspace.xml文件,将name="ProjectFrameBounds"标签中的X值修改为0...
2019-06-30 12:08:02 2809 1
原创 spark连接windows 的mysql "Host 'bigdata111' is not allowed to connect to this MySQL server"
连接mysq时java.sql.SQLException: null, message from server: “Host ‘bigdata111’ is not allowed to connect to this MySQL server”有一下几种情况:1:检测3306端口是否被防火墙拦截2:增加允许远程连接 MySQL 用户并授权。1)登陆mysql2)创建远程登陆用户并授权...
2019-06-05 10:29:07 271
转载 Azkaban各种类型的Job编写
一、概述原生的 Azkaban 支持的plugin类型有以下这些:command:Linux shell命令行任务gobblin:通用数据采集工具hadoopJava:运行hadoopMR任务java:原生java任务hive:支持执行hiveSQLpig:pig脚本任务spark:spark任务hdfsToTeradata:把数据从hdfs导入Teradatateradata...
2019-05-21 18:00:50 695
转载 Hive文件格式(表STORE AS 的四种类型)
hive文件存储格式包括以下几类:1、TEXTFILE2、SEQUENCEFILE3、RCFILE4、ORCFILE(0.11以后出现)其中TEXTFILE为默认格式,建表时不指定默认为这个格式,导入数据时会直接把数据文件拷贝到hdfs上不进行处理;SEQUENCEFILE,RCFILE,ORCFILE格式的表不能直接从本地文件导入数据,数据要先导入到textfile格式的表中, 然后...
2019-05-16 18:11:08 543
转载 Flume NG之Interceptor简介
转载地址:http://www.cnblogs.com/lxf20061900/p/3658172.html有的时候希望通过Flume将读取的文件再细分存储,比如讲source的数据按照业务类型分开存储,具体一点比如类似:将source中web、wap、media等的内容分开存储;比如丢弃或修改一些数据。这时可以考虑使用拦截器Interceptor。flume通过拦截器实现修改和丢弃事件的功能...
2019-05-14 15:26:57 476
转载 Netcat详解
0x00:介绍netcat 简称 nc,安全界叫它瑞士军刀。ncat 也会顺便介绍,弥补了 nc 的不足,被叫做 21 世纪的瑞士军刀。nc 的基本功能如下:telnet / 获取系统 banner 信息传输文本信息传输文件和目录加密传输文件端口扫描远程控制 / 正方向 shell流媒体服务器远程克隆硬盘0x01:端口扫描首先应该知道的一个参数是 - h,这是最基本的一个命令...
2019-05-09 17:01:12 491
转载 Linux系统下安装rz/sz命令及使用说明
对于经常使用Linux系统的人员来说,少不了将本地的文件上传到服务器或者从服务器上下载文件到本地,rz / sz命令很方便的帮我们实现了这个功能,但是很多Linux系统初始并没有这两个命令。今天,我们就简单的讲解一下如何安装和使用rz、sz命令。1.软件安装root 账号登陆后,依次执行以下命令:1cd /tmp2wget http://www.ohse.de/uwe/releases...
2019-05-09 15:12:36 87
转载 MapReduce中一次reduce方法的调用中key的值不断变化分析及源码解析
摘要:mapreduce中执行reduce(KEYIN key, Iterable values, Context context),调用一次reduce方法,迭代value集合时,发现key的值也是在不断变化的,这是因为key的地址在内部会随着value的迭代而不断变化。序:我们知道reduce方法每执行一次,里面我们会通过for循环迭代value的迭代器。如果key是bean的时候,for循...
2019-05-05 20:04:54 743 1
转载 Hadopp-HA集群配置
配置core-site.xml <property> <name>fs.defaultFS</name> <value>hdfs://mycluster</value> </property> <!-- 指定hadoop运行时产生文件的存储目录 --> <property>...
2019-05-03 10:51:16 533
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人