2018年08月_KLordy

12月 11月 10月 09月 08月

原创 hadoop fs -get命令源码分析

Created with Raphaël 2.1.2FsShell::run FsShell::init 初始化FsShell，在工厂类中注册各种命令对应处理类 op1调用命令处理类的run方法实际是调用的Command::run方法 op2processOptions(args)解析命令行入参进行配置 op3processRawArguments(args) op4 expandArgument...

2018-08-26 18:12:20 7642

原创 2. Add Two Number

You are given two non-empty linked lists representing two non-negative integers. The digits are stored in reverse order and each of their nodes contain a single digit. Add the two numbers and ...

2018-08-24 12:46:13 179

原创 1. Two Sum

Given an array of integers, return indices of the two numbers such that they add up to a specific target. You may assume that each input would have exactly one solution, and you may n...

2018-08-23 19:07:20 92

原创集群间数据迁移工具distcp

最近公司集群切换，需要将老集群中的数据迁移到新集群上，了解到了distcp这个工具。借助它很好的完成了迁移任务。基础用法如下： hadoop distcp hdfs://cluster1:9000/stat hdfs://cluster2:9000/这里就是把cluster1中的stat拷贝到cluster2中，这里需要注意源路径和目标路径均要写绝对路径。另外，如果源路径...

2018-08-20 00:53:41 1005

原创 linux文件删除空间未释放解决办法

今天在生产环境上某个应用去Kafka消费数据一直报错，日志数据疯狂增加，一下子就把磁盘空间占满了，本人当时没想太多直接rm core.log一波，然后发现磁盘空间并未释放！原因很显然就是忽略了有应用一直在往其中写数据，直接删除无法释放磁盘空间。遇到这种问题，依据情况不同解决办法可以不一样。方法一：首先是找到哪些应用在使用它导致空间没有释放：$ lsof file...

2018-08-09 20:47:35 13497

原创 linux的软链接和硬链接

在linux的文件存储系统中，文件主要被分为两个部分，用户数据（文件中存的真实内容，就是我们cat时看到的内容，此处为个人理解可能会有偏差）以及元数据(metadata)。而元数据记录的则是文件的附加属性，如文件大小、创建时间、所有者信息、inode等，inode就是linux文件系统中的索引节点号，是文件在系统中的唯一标识，文件名只是给人看的。系统通过文件名打开文件的方式为:filen...

2018-08-09 20:45:17 1425

原创 lsof命令使用简介

简述： lsof –> list open files，主要用于查看系统当前打开的文件以及获取打开指定文件进程等的相关信息。语法：lsof [+options]options: -a：列出打开文件存在的进程； -c<进程名>：列出指定进程所打开的文件； -p<进程号>：列出指定进程号所打开的文件； -d<文件...

2018-08-09 20:44:24 562

原创行遍历命令行的输出结果

对于命令行输出的结果，如果要遍历，一般都是用for循环遍历，具体语法为:for line in `ls` do dosomethingdone 此时对于ls这类语句的输出结果，在遍历的时候会调用系统默认的分隔符（IFS=” “）,对于ls这类命令结果确实是在一行，只需要按照空格进行分割的话，如上语法就OK了。但是往往，有时候是需要对命令行输出结果按行遍历的，如：fo...

2018-08-05 14:08:31 2043