【Spark+NLP】23、中低配电脑关于spark的一些血泪踩坑

最近20天没有什么大的进展，一直各种踩坑，这里把当初的笔记记录下，以备后期查用。

 

 

1、https://blog.csdn.net/HJXINKKL/article/details/81951551

     https://blog.csdn.net/u013402321/article/details/83185345

2、停止运行着的Spark：stop-master.sh   stop-slaves.sh

 Shutdown Spark cluster
When you're done with the local Spark Standalone cluster, shut it down as follows:

${SPARK_HOME}/sbin/stop-slave.sh; ${SPARK_HOME}/sbin/stop-master.sh

 

3、报错目标文件系统不支持大文件：

     解决方案：FAT32改为NTFS

 

4、解决HDFS和spark-shell启动的警告：Unable to load native-hadoop library for your platform... using builtin-java

     https://blog.csdn.net/someby/article/details/82930140

5、HDFS新建文件夹及上传文件、删除文件操作：

在hdfs新建文件夹：
hdfs dfs -mkdir /input
在hdfs中查看：
https://blog.csdn.net/weixin_44198965/article/details/91553693
上传：
lin@master:~$ hdfs dfs -put /home/lin/mnist.zip /mnist
lin@master:~$ hdfs dfs -ls /mnist
提交：spark-submit --master spark://master:7077 /home/lin/桌面/TensorFlowOnSpark-1.4.4/examples/mnist/mnist_data_setup.py --output /home/lin/mnist/csv --format csv

spark-submit --master spark://master:7077 --executor-memory 2G /home/lin/桌面/TensorFlowOnSpark-1.4.4/examples/mnist/mnist_data_setup.py --output mnist/csv --format csv
lin@master:~$ spark-submit --master spark://master:7077 --executor-memory 1500m /home/lin/桌面/TensorFlowOnSpark-1.4.4/examples/mnist/cv.py --output mnist/csv --format csv

hdfs中删除文件、文件夹、抓取内容
删除文件   bin/hdfs dfs -rm output2/*
删除文件夹   bin/hdfs dfs -rm -r output2
https://www.cnblogs.com/xl-201710/p/9715902.html

 

6、spark-env.sh中规定了最大运行内存

虚拟机运行hadoop啥的就崩溃重启，中途显示一片out of memory。研究了半天，原来是随着装了这些大软件，系统需求的内存变大了，1.5G的内存不够用了，
启动卡的要死，一运行软件就跟石头似的没反应，要么就中途崩溃。
改成2G内存后，好用太多。

7、Hadoop和Spark用到的几个网址

localhost：50070  查看hadoop的hdfs
localhost：8088   hadoop？   （/cluster）
localhost：8080  Spark Master at spark://master:7077 

8、普通用户权限提升到root
lin:x:0:0
https://blog.csdn.net/xiaohua0877/article/details/78508764

9、Python setup.py报错没有pyspark模组

setup使用的命令改为：spark-submit setup.py install

 

10、改变虚拟机最大计算内存？：
root@master:/home/lin# echo 1000000 > /proc/sys/vm/max_map_count

11、自检hadoop checknative -a 指令检查
$ hadoop checknative -a

找到文件  find  /  -name  lib**.so   (缺失的动态链接库)  

解决ImportError:lib***.so--cannot open shared object file: No such file or directory
本文链接：https://blog.csdn.net/hhhuua/article/details/80705655
1-软链接方式
    1.1 找到文件

            find  /  -name  lib**.so   (缺失的动态链接库)  

    1.2 建立软链接

            ln - /path/to/lib**.so   /usr/lib

     1.3 sudo ldconfig

13、安装keras：   sudo pip3 install keras
验证能用1：进入python3，然后写import keras看是否报错
验证能用2：
>>> conda install git
>>> git clone https://github.com/fchollet/keras.git
>>> cd keras/examples/
>>> python3 mnist_mlp.py

14、windows下更新tensorflow（cpu）：pip install --upgrade --ignore-installed tensorflow
老报错，我重启电脑后使用pip install tensorflow==1.14后成功了

windows环境下运行神经网络文件：
cmd中先activate tensorflow 再python cnn1.py即可
关闭tensorflow：deactivate