idea远程调试 spark

spark 远端调试本地调试远端集群运行的spark项目,当spark项目在集群上报错,但是本地又查不出问题时,最好的方式就是调试一步一步跟踪代码。但是在集群上的代码又不能像本地一样的调试。那么就试试这个调试方法吧。远程调试spark其实就四步: * 第一步jar包拷贝到集群master节点。 ...

2017-12-25 22:18:10

阅读数:976

评论数:0

java 位掩码之与(&)或(|)非(~)、<< 、 >>

1. java 位掩码java 位掩码,在java开发中很少有场景会用到掩码,但是当系统中需要判断某个对象是否有 某些权限时,可以通过位掩码来做。位掩码 主要通过位运算,例如与(&)、非(~)、或(|)、异或(^)、移位(<<和>>)等来实现 权限判断功能。1.1 ...

2017-12-11 22:35:39

阅读数:253

评论数:0

java调用shell脚本,解决传参和权限问题

1. java 执行shelljava 通过 Runtime.getRuntime().exec() 方法执行 shell 的命令或 脚本,exec()方法的参数可以是脚本的路径也可以是直接的 shell命令代码如下(此代码是存在问题的。完整代码请看2): /** * 执行shell ...

2017-12-11 13:18:31

阅读数:5859

评论数:3

TensorFlow 卷积神经网络之猫狗识别

这份数据集来源于Kaggle,数据集有12500只猫和12500只狗。在这里简单介绍下整体思路 1. 处理数据 2. 设计神经网络 3. 进行训练测试 1. 数据处理 将图片数据处理为 tf 能够识别的数据格式,并将数据设计批次。 第一步get_files() 方法读取图片,然...

2017-12-11 00:21:54

阅读数:8430

评论数:37

TensorFlow 卷积神经网络之MNIST 手写数字识别

1 卷积神经网络卷积神经网络(Convolutional Neural Network,CNN),在此简单的介绍一下 自己的理解。卷积神经网络与普通神经网络的区别在于:卷积神经网络比神经网络多包含了一个由卷积层和子采样层构成的特征抽取器。在卷积神经网络的卷积层中,一个神经元只与部分邻层神经元连接。...

2017-12-10 17:41:54

阅读数:806

评论数:0

提示
确定要删除当前文章?
取消 删除
关闭
关闭