HDFS
文章平均质量分 73
HDFS
Font Tian
某公司山东分公司研发中心主管。目前主要工作为ABC融合,主要业余目标为发论文,玩开源。
展开
-
Python操控HDFS
Python中进行HDFS编程共有两种方法,库pyhdfs与hdfs,两个库都是直接pip安装即可。同时两个库的实现原理也是一样的,hdfs的web api接口。原创 2023-11-19 21:51:33 · 471 阅读 · 0 评论 -
Hadoop集群扩展子节点
上次发了部署八节点hadoop集群的博客,本来想把master也做为一个datanode,后来感觉不太合适,最后决定还是扩展一个子节点吧。首先是准备新的节点安装jdkhttp://blog.csdn.net/fontthrone/article/details/77915256配置sshhttp://blog.csdn.net/fontthrone/article/details/7791663原创 2017-09-22 19:39:39 · 1355 阅读 · 0 评论 -
Ubuntu 16.04 安装JDK
# 安装Oracle JDK hadoop建议使用Oracle JDK 第一步: 将webupd8team存储库添加到apt我们将使用命令add-apt-repository通过以下命令添加webupd8team存储库:sudo apt install python-software-properties# 如果上面这条命令没有执行,也可以安装Oracle JDK就是会变得很慢sudo原创 2017-09-09 14:50:49 · 2052 阅读 · 0 评论 -
SSH免密码登录命令无法生效?直接复制粘贴也可以!
SSH配置主节点登录其他节点时的最后一个命令,按照上一篇写的有时候会无法生效。其实那一行命令只是将主节点的公钥复制到了次节点的公钥文件里而已,如果无法生效的话,直接复制粘贴也可以。我在无法生效时就直接复制粘贴的。比如我主节点的公钥如下ssh-rsa AAAAB3NzaC1yc2EAAAADAQABAAABAQC3SLSuxswfOzBEiDVp7bge3kAv5YohEctjFcvWwtHglWof原创 2017-09-09 18:11:34 · 2883 阅读 · 0 评论 -
Ubuntu16.04 配置SSH无密码登录
确认需要集群的主机名与IP地址,修改主机名字的命令sudo gedit /etc/hostname如果修改了主机名,请重启,没有则下一步在每个主机上都下载ssh sudo apt-get install openssh-server 关闭防火墙,sudo ufw disable生成公钥密钥,ssh-keygen建立信任连接列表,cat ~/.ssh/id_rsa.pub>>~/.ssh/au原创 2017-09-09 17:34:07 · 2766 阅读 · 0 评论 -
Hadoop-2.7.4 八节点分布式集群安装
先感叹一下准备因为之前已经有安装经验了(虚拟机的三节点分布式,按过几次),再加上对Ubuntu还算比较熟悉中间也算少踩了不少坑。因为这次主要是老师要求所以,才打算再自己安装一次apche hadoop版本,其实现在我个人还是更支持CDH搭建大数据开发平台的,但是最近时间略紧,国庆节再弄吧。后来想着之前虚拟机和伪分布式练习语法已经足够了,这次要来就是直接来能工程运用的,于是安装八节点的Hadoop-2原创 2017-09-10 16:41:40 · 1866 阅读 · 0 评论 -
Jupyter notebook 编写scala与spark
前置条件spark安装完毕Ancona安装完毕为了在jupyter notebook上编写scala与spark需要安装Jupyter-Spark与Jupyter-Scala两个jupyter核心(kernel)本人安装顺序为Jupyter-Spark,然后Jupyter-Scala,文档编写顺序为本人安装顺序。开始此处使用Apache toree给notebook安装scala ...原创 2018-10-21 16:14:04 · 7652 阅读 · 4 评论 -
虚拟机 centos 6.5 扩展根目录分区大小
要想扩充虚拟机centos 空间,必须先扩充虚拟机本身物理空间.本文只描述如何增加centos系统的根目录空间。以下内容,需要输入命令以红色标出,关键输出内容以蓝色标出。1 查看磁盘情况首先登陆root用户,然后使用#fdisk -l查看系统磁盘会出现以下信息:Device Boot Start End Blocks Id System/dev/sda1 * 1 64 51200...原创 2019-07-02 16:03:24 · 2695 阅读 · 1 评论