![](https://img-blog.csdnimg.cn/20201014180756923.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
hadoop
文章平均质量分 80
岚匀
一只想转码农的土木狗
展开
-
在virt-manager中桥接虚拟机
目录1. 需要桥接的应用场景2. 环境3. 配置步骤3.1 在宿主机中搭建网桥3.2 在虚拟机中配置网桥在终端中同时连接宿主机和虚拟机1. 需要桥接的应用场景假设一场景:在一运行Ubuntu桌面的机器中开启了四台KVM虚拟机,需要在相同局域网终端下,分别以SSH直连四台虚拟机和宿主机。这种场景下,即需要对其中的虚拟机进行桥接。2. 环境宿主机型号:Dell 5545D 1928...原创 2020-03-21 23:24:43 · 6911 阅读 · 2 评论 -
安装,使用hadoop集群遇到的坑(vSphere虚拟化环境)
vSphere安装hadoop集群遇到的坑(文章不定期更新)1 环境概述服务器:LENOVO ThinkServer RD540 虚拟化环境:Esxi5.5 Linux系统:Ubuntu 16.04LTS2 坑2.1 Esxi时断时连装好Esxi后,在vSphere界面初步安装环境,却发现时断时连。如下图: 在连接过程中时不时会抛出异常。而且在传输大文件必...原创 2018-05-13 21:33:01 · 2660 阅读 · 0 评论 -
MRUnit的那些坑
MRUnit的那些坑1. Maven无法成功导入org.apache.mrunit提示: Unresolved dependency:’org.apache.mrunit:mrunit:jar….’原因:没有确定版本解决方法:在<dependency></dependency>中间的语句块加上一行 <classifier...原创 2018-06-03 20:11:14 · 1224 阅读 · 4 评论 -
使用hadoop遇到的坑(二)
1. 运行过程中节点被拉黑的问题上一节新配置了slave50,加入了集群。可运行MR时,发现此节点频繁报java.net.UnknownHostException,且被拉入了黑名单中,如图:查看slave10到slave40的节点,发现其/etc/hosts中没有配置slave50的ip,仅仅是master节点配置了。补充相应配置,问题解决...原创 2018-06-19 20:55:00 · 228 阅读 · 0 评论 -
Win7平台Python3使用impyla连接Hive遇到的坑
环境硬件配置及Hadoop,Hive版本此博客置顶文章中有安装步骤pip install pure-sasl Looking in indexes: https://pypi.tuna.tsinghua.edu.cn/simple Collecting pure-sasl Downloading https://pypi.tuna.tsinghua.edu....原创 2018-09-02 19:36:15 · 17611 阅读 · 40 评论 -
Ubuntu17安装伪分布式Hadoop出现的问题与解决方法
由于自己第一次在Linux环境下安装Hadoop,所有安装方法均参照同行写的技术博客。1 安装ssh,pdsh,生成密钥实现无密码登陆官方文档推荐安装ssh和pdsh,则参照官方文档安装两者并生成密钥: http://hadoop.apache.org/docs/current/hadoop-project-dist/hadoop-common/SingleCluster.html#Ps...原创 2018-05-04 21:50:32 · 1498 阅读 · 2 评论