hadoop
福气少侠
中厂大数据开发、数仓开发工程师,致力于数据仓库、数据治理、大数据计算,希望用自己的技术解决业务上的问题。数据分析就是以史明鉴,了解过去,预测未来~
展开
-
SQL复杂数据类型处理
数据处理中,经常碰到复杂数据类型,需要将他们进行解析才能利用。原创 2024-11-18 20:19:06 · 101 阅读 · 0 评论 -
【Bug记录】org.apache.hadoop.hdfs.server.namenode.SafeModeException
情况的发生启动hadoop,查看jps所有进程都是正常运行。 输入hive报错:biglucky@ubuntu:/opt/hadoop-2.7.1/sbin$ hiveSLF4J: Class path contains multiple SLF4J bindings.SLF4J: Found binding in [jar:file:/opt/apache-hive-2.1.0-bin/l原创 2017-12-27 17:29:38 · 1755 阅读 · 2 评论 -
hadoop/hdfs 针对特殊用户做权限控制
hdfs文件系统,针对不同的文件夹、文件可以为不同的角色(拥有者、小组、其他人)赋予不同的权限,在一些特殊的时候,例如我们想要为其他小组的某一个成员赋权限,这样的角色分配就不能很好的满足需求。Hadoop的ACL控制这个时候我们使用hadoop自带的ACL控制就可以满足上述需求。1. getfacl 查看文件/文件夹目前权限策略指令说明:hadoop fs -getfacl 路径/文件名称例子:b原创 2017-12-27 17:54:56 · 1093 阅读 · 0 评论