diaosanyi4450-CSDN博客

转载 sqoop flume学习笔记

1：mapreduce读取MySQL数据库中的数据，就可以通过更换组件，inputformat抽象类不是接口，有默认实现就是textinputformat,读取MySQL数据库的时候只需要更换为DBinputformat就可以了；像sqoop 本身做的就是这种事情。sqoop相当于是帮我实现好了多种数据源和多种数据目的地的mapreduce程序；对大家的建议就是这种sqoop组件其实特别...

2018-09-14 09:00:00 106

转载 20180911

1:java中为什么使用iterator？iterator不会立即返回所有的数据只是返回了数据集的一个引用，通过hasnext()方法判断是不是有数据，有数据就通过.next()方法获取；不会占用太多内存，如果是list或者map等数据结构会直接返回所有数据到内存中，有内存溢出的风险；什么是内存溢出？什么是内存泄漏？内存溢出：使用的内存超过了能提供的最大内存；导致数据加载不下；内...

2018-09-11 10:22:00 96

转载 hadoop mapreduce 如何处理跨行的文本数据

首先我们需要明确一个问题就是，hdfs中blocksize是物理概念是真的把数据进行了按块切分，而mapreduce 中的切片概念是逻辑层面的并没有真正按照切片大小对数据进行切分，只是按照预先规划好的切片数据根据偏移量读取数据，实现逻辑层面的分片。以上我们了解了mapreduce的分片方式后，默认的textinputformat是按照文件长度读取数据（按照分片），非常有可能一行数据被放...

2018-09-03 16:18:00 349

转载 java 命令执行jar程序 java -jar java -cp java -classpath hadoop jar

通常我们常见的java命令执行java程序为java -jar 以及java -cp主要区别：java -jar需要该jar为可执行jar,eclipse中export时需要选择runnable jar，java -jar 直接执行时不需要指定主类；而java -cp 需要指定主类；java -cp :java -cp 和 -classpath 一样，是指定类运行所依赖其他类的路径...

2018-09-03 16:04:00 314

转载 linux中命令绝对路径和./以及配置path之后的执行方式

首先是困惑很久的问题，问题：为什么有些命令可以通过绝对路径执行，有些命令可以直接执行，有些命令在当前目录下的时候就可以执行。其实说来也很简单。就是我们在Linux中执行一个命令：比如：java 命令，那么shell作为命令解释工具需要找到命令具体代表的内容才可以，那么去哪里找呢？1：如果配置了path环境变量那么就去path中去寻找，找不到就会报错2：绝对路径相当于告诉shell去我...

2018-08-29 18:10:00 980

转载 linux 软硬连接区别

linux文件系统中软硬连接的区别软链接可以看作是Windows中的快捷方式，可以让你快速链接到目标档案或目录。硬链接则透过文件系统的inode来产生新文件名，而不是产生了新文件。创建方法都很简单：软链接（符号链接） ln -s source target 硬链接（实体链接）ln source target区别：1.硬链接原文件/链接文件公用一个ino...

2018-08-17 11:36:00 308

转载 bash 中[] 与[[ ]]的区别

单纯的讲可能不太好理解，我们根据不同的场景来介绍1:判断变量是否为空；上面判断的时候，[[xx]] xx为空的时候[[xx]]返回的结果是大于0或者说市非0的,不为空的时候返回真值也就是0；所以if判断可以成立；在判断变量是否为空的场景中，[] 与[[]] 的用法没有区别，并且还可以通过!取反。转载于:https://www.cnblogs.com/kukudetent/...

2018-08-16 14:09:00 369

转载 java 配置环境变量--classpath

在新安装的Linux系统中，安装完成jdk后，需要配置环境变量，这点大家都熟悉。但是配置的变量中有一项市classpath,配置详情：CLASSPATH=$JAVA_HOME/bin这种方式配置后Java命令是生效了，但是无法执行Java 的class文件，提示未找到类或者市main函数，这是为什么呢？是因为我们执行 java命令时，该命令回去寻找类文件，但是去哪里找呢？所以...

2018-08-16 10:31:00 87

转载 vmware的三种网络连接模式

VMware有三种网络模式，分别是桥接模式，NAT模式，Host-only模式，下面简单介绍下三种网络模式以及各自的配置方式和适用的场景。VMware安装后会出现再宿主机器上多出两个网络连接，分别是VMware Network Adapter VMnet1和VMware Network Adapter VMnet8，我们可以再网络连接页面中查看到，实际上安装好VMware后除了上面的...

2018-08-15 10:09:00 137

diaosanyi4450的博客