- 博客(6)
- 收藏
- 关注
原创 flume和jar包冲突解决方案
这个错误是因为我们的flume包和hadoop的guava包出现冲突导致的。我们只需要将出现冲突的包替换即可。包的位置在$HADOOP_HOME/share/hadoop/common/lib/里。将hadoop的guava包替换掉flume的低版本包就行.运行flume,出现报错提示。
2023-10-15 21:06:09 148 2
原创 虚拟机突然无法输入命令的解决办法
一个是在虚拟机界面使用ctrl+F1/F2/F3/F4的方法开启命令界面,输入登陆的用户名和密码后,使用绝对命令vi打开profile/bin/vi /etc/profile,在系统的配置文件里添加环境变量地址。有时候还会遇到不管输入什么命令都会显示commander not found,这是因我们的环境变量出了问题。方法二就是自己平时多保存,多存闪照,拿不准就保存,自然问题就少了。
2023-10-04 20:07:41 2299 1
原创 关于hadoop集群启动失败的解决办法
在sbin目录下,使用【./hadoop-daemon.sh start journalnode】命令启动各个namenode上的 JournalNode进程。再进行格式化即可解决。我自己启动格式化失败,查阅很久找到解决办法。
2023-10-04 20:01:59 376 1
原创 免密配置学习归纳
首先使用FinalShell链接虚拟机,使用vim /etc/hosts查看hosts文件。编辑hosts文件并保存。将scp拷贝到其余的虚拟机并验证。本步需要确保主机名和hostname一致,可使用vi /etc/hostname查看名称。
2023-09-23 19:41:48 70 1
原创 新手爬取网页数据简单用法
随后在想要爬取的网址使用开发者工具获取请求头,如:“header={'User-Agent':'Mozilla/5.0 (Windows NT 10.0;完成以上即可设置搜索文本data = {'search_text':'...', 'cat':'...'};”https://search.douban.com/music/“就是我们要爬取的网址,因此使用movie_url代码来确认地址;params = {'q' : '风景' , 'src' : 'srp'}后面的二值性数据,就是查询参数。
2023-09-15 10:53:33 178
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人