![](https://img-blog.csdnimg.cn/20201014180756754.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Hadoop
文章平均质量分 64
黄沙在努力
这个作者很懒,什么都没留下…
展开
-
招聘网站职位分析数据可视化系统(Hadoop课设)
一:爬取数据二:上传数据三:数据分析四:数据可视化第一部分:数据的爬取UP主利用bs4爬取的51招聘的招聘信息。for i in os.listdir(a): if len(os.listdir(a)) != 0: path = os.path.join(a, i) path = path.split('\\')[-1] os.remove('D:\Dedup\input\\' + path)原创 2021-12-01 20:14:15 · 5215 阅读 · 4 评论 -
Hadoop集群操作
初次启动前的格式化运行完在倒数第6行左右显示下图所示内容则成功(successfully formatted)原创 2021-09-23 07:42:56 · 334 阅读 · 0 评论 -
Hadoop的安装与调试(3)
一.服务1.开始SSH服务①登录后输入命令查看是否存在ssh服务 rpm -qa | grep ssh②查看SSH服务是否启动,输入命令 ps -e | grep sshd显示为类似,则SSH服务在开启状态③若不存在SSH服务,则需要下载,输入命令 yum install openssh-server可能会运行很慢,因为centos6停止维护了。可以把下载的官方默认源换成镜像源。输入如下命令cd /etc/yum.repos.d/lsmv C...原创 2021-09-11 23:27:27 · 658 阅读 · 0 评论 -
Hadoop的安装与调试(2)
进入虚拟机,先登录用户,接下来用以下命令创建三个文件夹。四.虚拟机的克隆1.先关闭虚拟机2.开始克隆①右键点击刚才创建的虚拟机>管理>克隆②!!!!!!此部分没有展示的全是默认选项!!!此部分的名称改为辨识度高的,例如UP在(1)里面说的hadoop01、02、03。位置也放在UP在(1)里面推荐的二级文件夹的hadoop02中。创建hadoop03的操作和hadoop02一样!!创建完如图,到此虚拟机的数...原创 2021-09-11 16:35:19 · 1029 阅读 · 3 评论