hadoop
北极企鹅-ys
这个作者很懒,什么都没留下…
展开
-
hadoop上命令行查看lzo、gz、bz文件
hadoop上命令行查看lzo、gz、bz文件HDFS上的文件可能是压缩的,所以用cat不能直接查看。hadoop上默认支持lzo、gz、bz2、snappy压缩格式。我们用命令行查看HDFS上压缩文件,也是可以的。查看 HDFS 上 lzo 文件的命令博客已经迁移到github上,请访问:https://sukbeta.github.io/hadoop-lzo-gz-bz2...原创 2019-03-25 15:57:04 · 3963 阅读 · 0 评论 -
hadoop常用命令(整理笔记)
hadoop常用命令(整理笔记)个人笔记,自己查看使用。就不一一整理了。分 HDFS、YARN、SPARK、HBASE博客已经迁移到我的github地址,请访问:https://sukbeta.github.io/hadoop-command...原创 2019-03-25 16:00:34 · 156 阅读 · 0 评论 -
hive 自定义参数
hive 自定义参数–hiveconf 参数我的博客已经迁移到 github 请访问 https://sukbeta.github.io/hive-custom-variables/ 查看文章 谢谢大家的支持。原创 2019-03-25 16:03:03 · 795 阅读 · 0 评论 -
hive metastore 配置 HA
hive metastore 配置 HAhive metastore 配置多台,可以避免单节点故障导致整个集群的hive client不可用。同时hive client配置多个merastore地址,会自动选择可用节点。博客已迁移至 github。本文github地址 https://sukbeta.github.io/hive-meta-ha/请再github上查看,谢谢支持!...原创 2019-03-25 16:04:58 · 704 阅读 · 0 评论 -
hadoop设置目录配额-setSpaceQuota
hadoop设置目录配额-setSpaceQuota在多人共用HDFS的环境下,配置设置非常重要。特别是在Hadoop处理大量资料的环境,如果没有配额管理,很容易把所有的空间用完造成别人无法存取。Hdfs的配额设定是针对目标而不是针对账号,所有在管理上最好让每个账号仅操作某一个目录,然后对目录设置配置。设定方法有两种:Name Quotas:设置某一个目录下文件总数Space Quota...原创 2019-03-27 13:19:52 · 1028 阅读 · 0 评论 -
hadoop修改文件副本数
hadoop修改文件副本数Hadoop上默认一个人间的副本数是3,这个也是可以再配置文件中<dfs.replication>参数修改的。这里我们说一下,上传一个文件的时候更改文件的副本数。让他不用默认的副本数。博客迁移到github,github地址: https://sukbeta.github.io/hadoop-set-replication上传文件命令上传文件,副本...原创 2019-03-28 11:32:40 · 2499 阅读 · 0 评论 -
Hadoop日志按天分割和开启审计日志
Hadoop日志按天分割和开启审计日志hadoop 各个组件默认日志是大小分割的,到一定大小就分割出 .1 .2 .3 .4这样的文件,这样我们在查找问题的时候不是好定位你要的那天日志在哪个文件中。要是一天一个文件,按照日志的话就很好定位了。在这里介绍一下hadoop按天切分日志的方法。https://sukbeta.github.io/hadoop-log-segmentation/#方法...原创 2019-04-22 10:23:34 · 431 阅读 · 0 评论