hadoop
文章平均质量分 51
biubiuqiu
道之所在,虽万千人逆之,吾往矣
展开
-
VirtuBox虚拟机与本机的文件共享
一:创建共享文件1:准备条件:Virtualbox已经加装增强工具(VBoxGuestAddtions.iso)2:安装完成后重启3:打开Virtualbox,选择需要共享的虚机,然后点击"设置(S)"4:在弹出的菜单中选择"共享文件夹",而后点击右上角的添加按钮(用红笔圈出的区域)5:选择你要的共享的主机原创 2017-10-30 17:31:43 · 662 阅读 · 0 评论 -
Centos7 关闭防火墙
关闭firewall防火墙:systemctl stop firewalld.service #关闭firewall防火墙systemctl disable firewalld.service #禁止firewall开机启动firewall-cmd --state #查看默认防火墙状态(关闭后显示notrunning,开启后显示running)原创 2017-11-09 10:00:56 · 166 阅读 · 0 评论 -
DataNode没有正常启动
方法一:(方法一,有一个重大缺点,就是会把你以前存放在 dfs文件下的数据都清空)解决方法:删除master节点和slaver节点的 dfs这个文件夹 之后格式化 hadoop 到bin目录下 输入以下命令./hdfs namenode -format问题出现的原因:当我们执行文件系统格式化时,会在namenode数据文件夹中保存一个current/VERSION文件,记录names原创 2017-11-09 19:06:29 · 625 阅读 · 0 评论 -
Ubuntu搭建hadoop集群(分布式)
一:准备条件:两台ubuntu虚拟机,两台虚拟机的ip处于同一网段 此过程搭建都是在root用户下搭建的,避免遇到新手最怕和最常遇到权限不足的问题二:基本环境变量1:增加root用户#:sudo passwd 创建root用户,然后输入root密码2:修改主机名注意下文中的 vivim nano 都是文本编辑器,他们的功能相同,但是具体操作不同原创 2017-10-30 17:40:49 · 730 阅读 · 0 评论 -
windows hadoop2.7.0.zip
windows hadoop原创 2017-11-04 20:48:34 · 599 阅读 · 0 评论 -
python 实现 mapreducer
一:mapper.py(map类)import sysfor line in sys.stdin: line = line.strip() words = line.split() for word in words: print '%s\t%s' %(word,1)二:reducer.pyimport sysc原创 2017-11-14 19:39:39 · 788 阅读 · 0 评论 -
python中的pandas对mysql的读写操作
#coding:utf8import MySQLdbfrom sqlalchemy import create_engineimport pandas as pd'''连接MySQL,其中第一参数指定的是本地连接,第二,三个参数分别是,用户名,密码,db是数据库名 port端口号,charset是编码方式'''con = MySQLdb.connect(host='localhost', use...原创 2018-03-03 16:02:48 · 1475 阅读 · 0 评论