- 博客(5)
- 资源 (5)
- 收藏
- 关注
RSS订阅原创 linux /dev/sda1 磁盘满了，解决办法
一开始系统报“no space left on device”（磁盘空间不足），然后本来带桌面的ubuntu系统变成只能黑框输入命令的界面了，tab键自动补全命令也用不了了。然后上网查找资料，用df -h 命令查看磁盘使用情况时发现/dev/sda1满了接下来需要使用命令du -sh * 看哪个目录占用空间大(可以从根目录开始，一步步查)cd /du -sh *我发现的是/var/log占了很大的内存，然后我把log文件删除cd varrm -rf log删除之后，虚拟机系统
2020-06-23 15:55:06
49232
1
原创 spark读取不了本地文件
环境:ubuntu16.04在spark集群中想要获取本地文件数据集iris.txt，但是却报了上图这样的错误，显示这个文件在这个路径不存在。然后我在本地这个文件路径查看是否有这个txt文件结果发现本地有这个文件啊，这就有点问题了然后上网查资料，资料如下：在spark-shell里执行textFile方法时，如果total-executor-cores设置为N，哪N台机有CoarseGrainedExecutorBackend进程的，读取的文件需要在这N台机都存在如果设置为1，就读.
2020-06-14 18:12:24
1818
原创 Caused by: java.net.ConnectException: Call From master/192.168.94.135 to master:9000 failed on conn.
在spark集群中访问文件时报了下面的错误查资料怀疑 之前搭的hadoop集群可能出了问题如上图重启hadoop和spark之后再次运行之前的命令问题解决！这里解释一下"file:///"1、IT中的File，本地文件bai传输协议du，File协议主要用于访问本地计zhi算机中的文件，就如同在Windows资源dao管理器中打开文件一样。2、INUX 命令File，file 命令读取用 File 参数或者 FileList 变量指定的文件，在每个文件上执行一系列测试，.
2020-06-14 11:13:49
2948
原创 关于sparksql中的转义符如何处理
在spark中处理iris.txt数据集，部分处理数据如下：但是使用sparksql查找数据时出了错误，错误原因应该是所匹配字符"setosa"带有双引号，需要转义尝试直接在双引号前加‘\’,如下所示成功，问题解决！参考：https://blog.csdn.net/qq_40651753/article/details/87980239...
2020-06-14 09:33:43
5148
原创 Hadoop集群配置之后浏览器无法访问问题
环境：Ubuntu16.04最近在做spark分布式集群学习，hadoop先配置好之后通过浏览器访问默认50070端口来监测管理但是在网页输入master:50070链接之后浏览器并不能访问，首先检查50070端口是否开启？ps -aux |grep 50070结果显示已经开启然后再测试一下：感觉并没有什么问题，那可能是其他细节出了问题，通过查资料发现如果在虚拟机内部输入master:50070则能正常访问hdfs页面而在虚拟机外部的本地主机下由于未在windows
2020-06-13 23:30:23
5143
1
hadoop+spark分布式集群搭建及spark程序示例.doc
2020-07-02
网络编程第三次课设
2018-01-29
网络编程课程设计二（报告+程序）
2018-01-29
网络编程课程设计报告
2018-01-29
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人