D

引子：我们当利用模板创建多个hadoop节点时，会遇到这种问题，模板中的网卡是eth0，而新安装的却是eth1，那么如何让新装的系统识别eth1并为其手动分配ip地址呢？cd /etc/sysconfig/network.scripts/mv ifcfg-eth0 ifcfg-eth1vim ifcfg-eth1此文档内容如下 DEVICE=eth0 ##将其改成eth1 T

Hadoop集群主要是由三部分组成的：主节点、从节点和客户端，即master、slave和client。我们在搭建hadoop集群的时候通常只考虑了主节点和从节点的搭建，却忽略了客户端。当我们搭建完成后，我们在其中的一台机器上运行wordcount或者计算π时，实际上我们已经默认将一台主节点或者一台从节点当做客户端来使用了，但是，如果我想把客户端独立，该如何单独配置客户端呢？答案其实很简单，只要在配

说明本人将该4个节点的hadoop安装在了vmware上了，同时支持安装在物理机或者vmware ESXi上。 节点 说明 ip地址 hadoop01 主节点 192.168.10.61 hadoop02 从节点 192.168.10.62 hadoop03 从节点 192.168.10.63 hadoop04 从节点 192.168.10.

最近由于硬盘紧张，从一台12块硬盘的DELL服务器上卸下4块放在另一个DELL服务器上，当重新做raid10时，遇到了无法raid的问题问题刚转移过去的时候效果如图所示： 解决如上图所示，我们注意到最后一项有为Foregin View，存储着上一个服务器的raid信息，按F2在这里我们进行清除点击ok回到首项，此时就显示所有的硬盘，并可以做raid10了，可以F2来创建一个磁盘组VD(Virt

本文所用环境，如果没有请结合自身环境进行搭建4个hadoop节点，hadoop版本为2.7.1，主机名称分别为hadoop01、hadoop02、hadoop03、hadoop04，且ssh已经建立zookeeper版本为3.4.5，所存放目录为/opt/moudles下 1. 解压zookeeper执行如下命令：cd /opt/moudles/tar –zxvf zookeeper-3.

环境说明选用hadoop集群中的三个节点hadoop01,hadoop02,hadoop03来装kafka，且该三个节点上已安装了zookeeper，如没有安装zookeeper，请参考上一篇文章：搭建三个节点的zookeeper安装kafka需要的其余软件包有scala，slf4j-1.7.6中的slf4j-nop-1.7.6.jar文件，本文使用的各软件包的版本如下：kafka_2.9.2，

端口 用途 9000 fs.defaultFS，如：hdfs://172.25.40.171:9000 9001 dfs.namenode.rpc-address，DataNode会连接这个端口 50070 dfs.namenode.http-address 50470 dfs.namenode.https-address 50100 dfs.namenod

有时我们想要通过python将爬虫得到的html代码存入mysql，这个时候由于原html中有各种特殊符号，尤其是像单引号和双引号，影响存储，此时我们需将特殊字符进行转义，通常python相关的mysql包一般会带有escape_string方法，比如我用的pymysqlimport pymysqlprint(pymysql.escape_string("'ab'c"))结果为：\’ab\’c

当我们使用python的hdfs包进行上传和下载文件的时候，总会出现如下问题requests.packages.urllib3.exceptions.NewConnectionError:: Failed to establish a new connection: [Errno -2] Name or service not known其实这主要是由于没有将各个集群节点的ip映射到/