- 博客(9)
- 资源 (2)
- 收藏
- 关注
转载 GitHub 最受欢迎深度学习应用项目 Top 16
Neural StyleStar:12122Github 地址:https://github.com/jcjohnson/neural-style这个项目是用 Torch 对 Leon A. Gatys, Alexander S. Ecker, 和 Matthias Bethge 等人的论文“A Neural Algorithm of A
2017-01-19 15:36:22 12031
原创 java 的hashCode值计算
Java 的hashCode值计算Java的HashCode的源码:Scala的HashCode的源码:scala调用的也是String这个类:测试代码:package hash;public class HashRandom { public static void main(String[] args) { String h
2017-01-13 16:58:03 2194
原创 Scala2.10.4的mutable和immutable区别
Scala的mutable和immutable区别1、mutable的HashMap 的+=方法如下:可以看出可以直接修改原hashmap。-------------------------------------------------------------------------------------------------------------------
2017-01-13 11:59:11 5260
原创 Spark的cache和persist
Spark的cache和persist------------------------------------------------------------------------------------------------------cache调用的就是persist方法,默认存储级别只存储在内存中。cache和persist的区别:cache只有一个默认的缓存级别
2017-01-13 11:33:43 4359
原创 Spark的一些配置总结
Spark的一些配置总结配置总结:集群内存总量:(executor个数) * (SPARK_EXECUTOR_MEMORY+ spark.yarn.executor.memoryOverhead)+(SPARK_DRIVER_MEMORY+spark.yarn.driver.memoryOverhead)参数调优建议:每个Executor进程的内存设置4G~8G较为合适。参数调优建
2017-01-13 10:55:46 15438
原创 Spark的Kryo序列化注册
Spark的Kryo序列化注册Spark序列化可以将RDD序列化来减少内存占用。 对于优化网络性能极为重要spark.serializer=org.apache.spark.serializer.JavaSerializationSpark默认 使用Java自带的ObjectOutputStream 框架来序列化对象,这样任何实现了 java.io.Serializable 接口的对象
2017-01-13 10:32:02 5330 1
原创 spark广播变量和累加器
spark广播变量和累加器广播变量Spark中分布式执行的代码需要传递到各个Executor的Task上运行。对于一些只读、固定的数据(比如从DB中读出的数据),每次都需要Driver广播到各个Task上,这样效率低下。广播变量允许将变量只广播(提前广播)给各个Executor。该Executor上的各个Task再从所在节点的BlockManager获取变量,而不是从Driver获
2017-01-13 10:14:23 2680 1
原创 win7安装xgboost
win7安装xgboost。需要的软件:1、Microsoft Visual Studio 20102、xgboost安装包需要的可以私聊找我要。其它:我在pycharm里面写python代码,关联的是anaconda。首先安装vs2010。安装过程中:vs安装完成:启动vs:在xgbo
2017-01-12 11:47:28 1373
转载 数十种TensorFlow实现案例汇集:代码+笔记
这是使用 TensorFlow 实现流行的机器学习算法的教程汇集。本汇集的目标是让读者可以轻松通过案例深入 TensorFlow。这些案例适合那些想要清晰简明的 TensorFlow 实现案例的初学者。本教程还包含了笔记和带有注解的代码。项目地址:https://github.com/aymericdamien/TensorFlow-Examples教程索引
2017-01-12 11:05:30 3669
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人