ningyanggege的博客

原创 MF小测试

#ML之RS之MF：基于简单的张量分解MF算法进行打分和推荐import numpy def matrix_factorization(R, P, Q, K, steps=5000, alpha=0.0002, beta=0.02): #（迭代次数5000、步长，正则化系数） Q = Q.T for step in range(steps): for i ...

原创 Shorten command line 解决方案

 修改项目下 .idea\workspace.xml，找到标签 <component name="PropertiesComponent"> ， 在标签里加一行  <property name="dynamic.classpath" value="true" />

原创 scala与python混合调用实验

如图所示：本质原理为scala通过cmd命令调用python包

原创 scala注意事项

代码如下：文件名与对象名不同scalac编译后：   scala需要执行对象名；如果只使用scala 文件名报错

转载 spark集群运行模式理解

第一种模式：本地集群测试单机模式：不启动任何集群，即Local模式  第二种模式：   第三种模式： yarn-Client模式   访问8088端口 这篇文章解决了一是否调用 集群，并不是程序内部要求的；二是明白了运行spark集群的三种大模式的区别  转载自： https://blog.csdn.net/pucao_c...

原创 成功启动spark集群程序，使用多台电脑进行计算

单独启动spark集群（不启动hadoop集群）start-spartk-all.shspark-submit --class org.apache.spark.examples.JavaSparkPi --master spark://master001:7077 /usr/spark/spark-2.4.0-bin-hadoop2.7/examples/jars/spark-examp...

原创 alive workers 数量为0的解决方案

因为hostname显示的主机名与/etc/hosts中的主机名不相同，所以都会导致无法连接slave，将集群的主机均实现hostname与/etc/hosts名称一样，就解决了问题；如下所示： ...

原创 修改主机名hosts

通过修改/etc/hosts文件hostname仍然显示原系统名使用spark访问仍然要使用原系统名，才能完成映射; 否则无法连接，使用master001主机连接会出现如下错误：成功运行的方法：主机修改成hostname  另外一种方法修改主机名：hostname master001hostname:就显示为master001 再来看看效...

原创 每次重启需要source /etc/profile的原因-环境变量

linux主机每次重启后，所有配置的变量均失效；需要source /etc/profile命令才有效原因：缺少$PATH部分（红圈圈）可以想想系统先加载/etc/profile 然后再加载~/.bash_profile，由于开始没有红圈圈那部分，最终的环境变量就只有~/.bash_profile部分；/etc/profile配置的环境变量均无用；加上就OK...

原创 spark端口实验总结：

Spark的端口总结Master节点的web端口是8080,work节点的web端口是8081   spark master web ui 默认端口为8080，当系统有其它程序也在使用该接口（比如:Tomcat）时，启动master时也不会报错，spark自己会改用其它端口，自动端口号加1,也可以自行设置,修改方法:1、cd $SPARK_HOME/sbin2、vi...

原创 成功解决slave无datanode问题

一、主机中的hadoop配置要与slave完全相同（主要原因）二、删除了下面目录中的所有文件（不知道有没有影响）stop-all.sh  stop-spark-all.sh  hadoop namenode -formatstart-all.shdatanode就成功出现了上传个文件试试，看看效果；圆满成功！   ...

原创 自己启动spark集群的实验记录

第一步、将master和slave电脑重启第二、查看jps命令，结果如下：masterslave第三、启动hadoop集群，准确的使用目录./等来保证执行的命令为hadoop目录 下的start-all.sh主机：slave  第四、hadoop namenode -formatmasterslave  第五步、启动spark...

原创 namenode与datanode

master slave namenode在master上,datanode在slave上

原创 启动spark集群的方法

原创 查看hdfs目录的方法

如图所示: 

原创 hdfs的默认路径

hdfs命令如下：从上面的实验当中就可以发现hdfs的默认路径为/user/root hdfs 命令已经取代hadoop；

原创 java -cp ***.jar WordCount 无法找到类名解决方案记录

以前我选 的是第一个选项，目录为默认目录运行成功的版本为第二个选项， 目录为项目的根目录 jar文件夹上存在很多的包，如图所示： 运行结果：   ...

原创 intelli idea新建无scala class选项解决方案

 删除scala-sdk，再重新添加 

原创 No such file or class on classpath: WordCount

用scala  -cp  xxxx.jar WordCountNo such file or class on classpath: WordCount 用java -cp  xxxx.jar WordCount Could not find or load main class 同样的一个项目：第一次实验：先将主体代码全部删除，只保留一个println函数打包实验...

原创 成功将用intelli idea 建立的项目打包成jar文件，并在Linux上成功运行

   将jar包直接复制到linux系统上，运行java命令或者scala命令  第二个包：建立两个 object文件，如图所示： 主类仍然选择：然后再打包copy到linux中，运行两个类都能成功，如图所示： ...

原创 scala -cp file.jar filename的案例

一、新建scala类，如图所示： 二、用scalac编译文件到指定的classes目录中，如图所示：包括 HelloWorld与BeautifluGirl两个大类最终class目录内容如下 ： 然后将classs目录压缩成一个jar文件 然后再将文件移到根目录下（验证运行jar文件中的类，只需要jar文件就可以了）  -cp后的点不知道是啥意...

原创 cnn之将原始图像转换成矩阵

#-*- coding:utf-8 -*-import matplotlib.pyplot as pltimport tensorflow as tf# 读取图像数据img = tf.gfile.FastGFile('./images/u=605243693,3035272260&fm=26&gp=0.jpg','rb').read()with tf.Session(...

原创 numpy输出到屏幕时有逗号和没逗号的原因

问题起源:输出一个数组,没有逗号,让我感到质疑是不是Numpy.array格式:本质一个是print    一个没有用print 

原创 卷积的意义

                          https://www.zhihu.com/question/22298352 

原创 spark集群测试小案例

一、local模式：测试自带计算的圆周率案例 之所以会报错，是因为从网上copy过来的文件名不对；所以才会报错，以及因此而导致的错误；正确的如下：  二、独立的Spark集群模式；使用7077端口（使用ip地址，执行失效，使用主机名执行成功）；这种结果可以在8088端口看到信息  ...

原创 安装spark集群，并成功运行

基于上一篇的hadoop成功运行后，进一步启动spark集群；上图中的内容，slave主机中也需要相应的设置   上图就是成功运行的结果； 

原创 成功在两台电脑上安装了spark集群，mark下

一、首先查找linux系统下的集群master的ip地址；如图所示：  二、然后在windows电脑上访问该ip地址；端口：50070 这个只是启动了Hadoop集群；     ...

转载 linux上安装spark_hadoop_java_scala

          cp /opt/hadoop/hadoop-2.8.0/etc/hadoop/mapred-site.xml.template /opt/hadoop/hadoop-2.8.0/etc/hadoop/mapred-site.xml 修改这个新建的mapred-site...

原创 Linux 错误 Permission denied问题

在一个新建linux系统中，安装软件后，启动命令总是出现安装hadoop与spark均出现权限问题与高手交流后，高手告诉我，系统给文件夹的默认权限为可读，可写，但不可执行；执行需要赋予权限 给需要执行命令的文件夹赋予执行权限；chmod +x也可以用；x参数代表可执行； test的文件夹只有可读可写的权限；r与w；没有x权限，即可执行的权限；  ...

原创 linux安装hadoop记录

安装hadoop需要使用java包；启动hadoop会调用$JAVA_HOME变量；如果使用java rpm包安装，环境变量等不需要自己设置，也不用 设置java_home值；尽管自己设置了java_home变量；但仍然无法启动hadoop；最后自己下载已经编译好的包；包括hadoop与java 包；hadoop选择binary（已经编译好）；source代表源文件，需要自己编译；ja...

原创 linux环境变量设置注意事项

手动添加环境变量特征需要注意$PATH这个变量；开开始新增环境变量时没有PATH这个变量；最后source后，所有系统常用命令都失效了；比如ls,mkdir等常用命令；只能/usr/bin/ls方法来执行命令； 本质上所有命令都会去读取path这个变量；如果没有$PATH这部分，就代表为PATH变量重新赋值；如果有这部分，就是在后面添加新的部分；需要用冒号来连接；等同于添加在后面；...

原创 卸载linux 上Java的正确方式

试过很多方法，均无法有效删除java包；该方法有效；记录下 使用yum在线安装需要带有devel的包安装；如果安装没有devel的，javac将无法使用；

原创 linux查看目录大小

问题来源：想查看root账户下的磁盘空间大小最后一列就是文件目录  

原创 环境变量空格符号带来的坑

如图所示：设置环境变量：环境变量对空格符号进行了截断；JAVA_HOME地址为c:\Program

原创 windows安装spark工具记录

首先安装java 然后安装scala 继续安装intelli idea与sbt 继续安装spark(直接是编译好的)，需要手动添加环境变量 继续安装hadoop（直接是编译好的），需要手动添加环境变量最后，运行一个样例wordcount；注意事项，需要手动添加库（jar文件)；使用机器学习库需要导入breeze库使用spark的很多库， 需要...

原创 Exception in thread "main" java.lang.NoSuchMethodError: scala.Predef$

使用intelli idea +scala+spark，运行程序代码如下：package cn.limbo.sparkimport org.apache.spark.SparkConfimport org.apache.spark.SparkContextimport org.apache.spark.rdd.RDD/** * 使用Scala开发本地测试的Spark Word...

原创 成功导入并运行breeze jar库

通过各种方法导入自己下载的jar包，却发现命令import breeze.linalg._一直是失败的；却发现下载的包是错误的；重新下载就ok了；如图所示： 不单单是添加breeze包；然后察看项目菜单的    ...

转载 YouTube 的视频推荐算法

原创 scala运行包含package文件注意细节

测试代码如下： 结论：packages文件需要用scalac文件编译；而导入包的文件也需要用scalac编译，然后再调用scala 文件名（不含后缀） 

原创 scala运行的方式

问题起源： 使用nohup令程序不中断运行，使用java来运行scala程序，并将信息无论正确（1）还是错误的都重定向到log文件中