![](https://img-blog.csdnimg.cn/20201014180756780.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
linux
学zaza
从本科毕业至今,从事数据分析,与大数据处理,熟悉spark,storm等主流大数据处理框架
展开
-
在shell脚本中如何调用hadoop 命令
我们在shell脚本中可能会用到hadoop或者其他命令,而这些命令可能是一个整体,如果我们只是简单的写入到shell脚本中,可能会被分解成其他的各个子字段,即有可能会分成两部分去执行,这样就会导致命令执行失败。 hadoop fs -get /XXXXXX 上面这个就会分成hadoop fs 和get两部分这样就执行不成功了所以在shell脚本中应该用反引号“括起来,注意这个事反引号不原创 2017-11-01 16:09:27 · 7037 阅读 · 0 评论 -
Hadoop 中找回误删的文件
hadoop是目前常用的分布式文件存储系统,如果说是不小心误删了文件如何恢复呢?在删除的时候通常可以看到如下:Moved: 'hdfs://xxxxx/stock_1023' to trash at: hdfs://xxxxx/.Trash/Current然后你转到后面的那个目录中就可看到被删除的文件,然后只需要用hadoop mv命令恢复的指定文件目标位置就可以。trash 文件夹是定期清理的,具原创 2017-11-26 14:46:33 · 951 阅读 · 0 评论 -
linux中文本编码转换
Linux中中文编码转换命令查看文件编码格式为 : file -i filename 转换编码格式命令为: enconv -L zh_CN -x UTF-8 filename 文件转中文编码原创 2017-10-09 16:38:19 · 916 阅读 · 0 评论 -
python关于正则匹配无效问题
在linux状态下,有些在正则中的特殊字符无法看见,比如\n,一定要记得替换掉。 另外一个就是字符编码的问题,要统一改成utf-8模式取匹配中文,str(xxxx).decode(‘utf-8’),在正则中则多添加一个u ,如正则’关于.宣告.’ 改成u(‘关于.宣告.‘)原创 2017-12-27 14:04:33 · 3644 阅读 · 0 评论 -
在linux中执行shell脚本,当前用户执行没有问题,设置为定时任务却报错
在linux中执行shell脚本,当前用户执行没有问题,设置为定时任务却报错,有可能的原因有主要原因是crontab执行和当前用户的执行权限和配置环境不一样,所以导致你的配置环境在crontab用户上还得重新配置一次,只需要在开头的时候引用一下配置环境的脚本就可以了。比如:我的一个shell脚本中会有一条命令:`hadoop fs -get xxxxx ./`我在当前用户运行脚本没有问题,但是在配原创 2017-12-09 22:45:00 · 3246 阅读 · 0 评论 -
vim 常用 NERDTree 快捷键
vim 常用 NERDTree 快捷键 ctrl + w + h 光标 focus 左侧树形目录 ctrl + w + l 光标 focus 右侧文件显示窗口 ctrl + w + w 光标自动在左右侧窗口切换 ctrl + w + r 移动当前窗口的布局位置o 在已有窗口中打开文件、目录或书签,并跳到该窗口 go 在已有窗口 中打开文件、目录或书签,但不跳到该窗口 t 在新 Ta...转载 2018-08-22 19:45:01 · 1503 阅读 · 0 评论 -
Linux环境和crontab环境运行结果不一样
Linux环境和crontab环境运行结果不一样这个问题主要是由于在脚本中存在类似与hadoop等需要添加额外环境变量的命令,因此,在引用此命令之前需要将hadoop等相关环境引入到shell中,因为crontab的运行环境和个人用户的运行环境会有所区别的。虽然在shell 的crontab 中不会报错,但是运行结果也并非我们所期待的那样,会...原创 2018-10-08 20:11:49 · 564 阅读 · 0 评论