大数据清洗和处理
文章平均质量分 56
摸摸小油头.
这个作者很懒,什么都没留下…
展开
-
Hadoop集群初体验 —— 词频统计
词频统计原创 2022-12-14 11:21:45 · 540 阅读 · 0 评论 -
MapReduce编程实例——词频统计实现
MapReduce编程实例——词频统计实现原创 2022-12-14 18:03:44 · 3403 阅读 · 0 评论 -
大数据清洗和预处理期末总结
大数据清洗和预处理期末总结原创 2022-12-20 19:52:30 · 646 阅读 · 0 评论 -
MapReduce
MapReduce编程实例——词频统计实现原创 2022-12-14 17:31:26 · 168 阅读 · 0 评论 -
查看HDFS集群状态
通过UI界面查看hadoop运行状态原创 2022-12-14 11:10:18 · 3237 阅读 · 0 评论 -
部署Web项目
部署Web项目转载 2022-12-14 10:51:53 · 743 阅读 · 0 评论 -
HDFS常用命令操作时
HDFS常用命令的实践操作原创 2022-11-23 09:10:30 · 8120 阅读 · 0 评论 -
Shell定时采集数据到HDFS
通过编写简单的Shell脚本,用于每天自动采集服务器上的日志文件,并将海量的日志上传至HDFS中。#将待上传的文件path写入一个列表文件willDoing,#读列表文件willDoing_COPY_的内容(一个一个的待上传文件名)#此处的line 就是列表中的一个待上传文件的path。等表示已经滚动完毕的日志文件,即为待上传日志文件。#读取日志文件的目录,判断是否有需要上传的文件。#待上传文件存放的目录,需手动创建。表示正在源源不断的产生日志的文件,#日志文件存放的目录,需手动创建。原创 2022-11-18 09:29:01 · 1139 阅读 · 0 评论 -
SSH免密登陆功能配置
master虚拟机免密登录master虚拟机执行命令:ssh-keygen -t rsa,连续敲三个回车,生成密钥对执行命令:ssh-copy-id root@master,将公钥拷贝到master测试master虚拟机是否免密登录master虚拟机master虚拟机免密登录slave1虚拟机执行命令:ssh-copy-id root@slave1,将公钥拷贝到slave1测试master虚拟机是否能免密登录slave1虚拟机master虚拟机免密登录slave2虚拟机原创 2022-11-11 09:14:23 · 1791 阅读 · 0 评论 -
Linux目录操作
权限操作首先root用户创建新文件love.txt (echo是输出命令,默认是输出到屏幕;>是重定向命令),然后将其用户组改为lzy用户组(在前面的博客中曾创建了lzy用户组),执行命令:chgrp lzy love.txt(love.txt→ \rightarrow→lzy)最后查看文件love.txt的用户及用户组命令是ll love.txt修改文件所有者将root用户所建文件love.txt的所有者改变成alice执行命令:chow原创 2022-10-20 19:47:34 · 814 阅读 · 1 评论 -
Linux用户操作
根据我之前的内容,我们要打开虚拟机和FinaShell,在FinaShell上进行操作ps:图是去老师那儿拿的,这次不是自己画的,变懒了我们主要做增删查改在ied里我们登陆root用户,显示连接成功root用户切换到普通用户,无须输入密码,但是由普通用户切换到root用户或其它用户,就需要输入密码切换用户:su 用户名我的用户建立的叫chen,这里的是yang(因为图也是我拿的,自己没截图)我直接用的配置好的映像盘,所以这里我没有普通用户,需要重新弄一个普通用户原创 2022-10-07 13:57:45 · 384 阅读 · 0 评论 -
配置centos(接上一篇)
接着上一篇内容,我们登陆了根用户和普通用户,现在我们查看修改后的ip地址执行命令:ip addr(这里没有截图,应该显示192.168.1.100)能否PING通外网,ping www.baidu.com看到的是无法ping通配置静态IP地址\n1、修改网卡配置文件\n执行命令:vi /etc/sysconfig/network-scripts/ifcfg-ens33先按Esc,打:wp(需要打冒号),存盘保存标红处是需要修改的地方注意,IPADDR=192.16原创 2022-09-26 07:28:45 · 210 阅读 · 1 评论 -
安装配置CentOS
这是我们将要学习的内容首先安装虚拟机我们用的15.5的版本,很多同学都蓝屏了有因为是这个版本的原因解决办法有 用16版本的,就不会蓝屏,但是我没有蓝屏,具体可不可行也不清楚安装好虚拟机之后,点击虚拟网络编辑器可能出现以下情况,全是灰色,无法操作,可以点击右下角的更改设置或者中间部位的NAT设置变成这样注意最上面切换成NAT模式,不然就会弹出这个,因为我们要更改子网ip将下面子网ip第三位改成1点击DHCP设置,更改ip地址确原创 2022-09-21 22:03:46 · 889 阅读 · 1 评论