bigdata
大江东去了吗
让我们面对现实,让我们面对理想
展开
-
Kerberos 对话集
Kerberos 对话集以下是网上流传的一片翻译,本人作为Kerberos初学者,对翻译稿部分内容做了修订,比如较明显的翻译错误、用字不当、语序颠倒,并添加了点个人注释。感谢多年前某前辈的翻译工作,让后人可以相对轻松学习。这是MIT(Massachusetts Institute of Technology)为了帮助人们理解Kerberos的原理而写的一篇对话集。里面有两个虚构的人物:Ath...原创 2020-04-10 16:16:39 · 264 阅读 · 0 评论 -
ambari部署Hadoop集群
ambari部署Hadoop集群在三台初始机器上部署:192.168.56.101 centos01192.168.56.102 centos02192.168.56.103 centos03配置yumyum源可以使用public repository,也可以在本地局域网搭建本地repository。使用public repository,则在centos01上修改本地/etc/y...原创 2020-03-17 21:40:51 · 789 阅读 · 0 评论 -
Hadoop部署之虚拟机准备
Hadoop试验之虚拟机准备配置规划一直使用virtualbox学习Linux,大多时都用单机模式,对多台虚拟机组集群一知半解。现在需要在本地PC部署一个多节点的Hadoop集群,于是学习了下virtualbox的集中虚拟网络配置。随后成功使用host-only模式部署好集群。相比桥接模式,host-only模式可以固定各节点ip,省去每次开机设置ip;相比内部网络模式,该模式虚拟机宿主机可...原创 2020-03-04 22:45:41 · 351 阅读 · 0 评论 -
一个hive客户端登录问题
一个hive客户端登录问题20191226公司开始部署Spark版本的程序,之前使用的是MapReduce框架。我主要工作是配合部署工程师调试程序。首先是部署Spark版程序的运行环境。我把spark streaming的包放在服务器上并添加bin目录到环境变量,然后hive相关的任务脚本都执行失败了。这些脚本是把SQL嵌入到shell脚本的,cron调度运行了近一年。忽然执行失败,要么集...原创 2019-12-26 20:40:18 · 1662 阅读 · 0 评论 -
hdfs常用命令
hdfs实操环境部署见另外一篇文章。查看帮助 hdfs dfs –help显示目录信息 -ls 后面是要查看的目录路径创建目录/test hdfs dfs -mkdir /test一次创建多级目录/aa/bb hdfs dfs -mkdir -p /aa/bb上传文件 形式 hdfs dfs -put {本地路径} {hdfs中的路径} 。实例(先创建好一个测试文件myte...原创 2019-01-01 22:02:45 · 241 阅读 · 0 评论