wusuopuBUPT的专栏

https://github.com/wusuopubupt

排序:
默认
按更新时间
按访问量

Hacker Ethic

From -> Hacker:Heroes of the Computer Revolution

2014-05-26 01:13:43

阅读数:1027

评论数:0

C语言小问题收集

1.char *p="abcdef"和char s[]="abcdef"存储在哪里的问题 http://bbs.csdn.net/topics/280053144 2.深入理解C语言指针的奥秘 http://bbs.csdn.net/topics/1...

2013-11-25 15:45:00

阅读数:1556

评论数:0

Unix command-line interface programs and shell builtins

[hide] v t e Unix command-line interface programs and shell builtins   File system cat cd chmod chown chgrp cksum cmp cp dd du df file f...

2013-07-26 11:31:16

阅读数:1624

评论数:1

代码规范

Shell:Google Shell Style Guide 或其 中文版译文Java:Google Java Style Guide Scala:Scala Style GuideC/C++:Google C++ Style GuidePython:PEP-8Javascript:Google ...

2017-11-16 12:01:39

阅读数:228

评论数:0

为什么在覆盖equals时一定也要覆盖hashCode

为什么在覆盖equals时一定也要覆盖hashCode?因为先hashmap, 后equals !下面用HashMap来阐述原因,首先假设key1和key2的值在业务逻辑领域是相等的,即它们应该是同一个对象,HashMap已经存储了key1,现在要查找key2是否存在,正确的结果应该是存在。Jav...

2017-08-14 15:24:28

阅读数:482

评论数:2

Spark源码--逻辑计划优化之表达式简化

一、常量合并(Constant Folding)二、简化过滤器 (Simlify Filters)三、简化Cast (Simplify Casts)四、简化大小写转化表达式 (Simplify Case Conversion Expressions)五、优化In语句 (Optimize In)...

2017-07-26 19:17:54

阅读数:637

评论数:0

Spark源码--RuleExecutor

Spark SQL catalyst RuleExecutor的作用是分批次(batch)执行一系列的优化规则直到稳定点(fixpoint)或最大迭代次数,如图所示: 实现如下: 源码如下:   /** 优化规则执行器 */ abstract class Rule...

2017-07-26 19:14:44

阅读数:370

评论数:0

Spark源码--JobListener

Spark-1.6版本JobListener trait:用于监听Job运行结束(成功/失败)事件,声明了taskSucceeded和jobFailed方法package org.apache.spark.scheduler/** * Interface used to listen for j...

2017-07-18 14:56:28

阅读数:315

评论数:0

Spark源码--Stage

Stage是Spark调度执行的物理单元Spark1.6版本Stage源码:package org.apache.spark.schedulerimport scala.collection.mutable.HashSetimport org.apache.spark._ import org.a...

2017-07-18 12:20:27

阅读数:229

评论数:0

Spark源码--EventLoop

Spark1.6版本 EventLoop.scala源码如下: package org.apache.spark.utilimport java.util.concurrent.atomic.AtomicBoolean import java.util.concurrent.{BlockingQ...

2017-07-18 10:26:03

阅读数:384

评论数:0

intellij idea安装thrift support plugin后报错

如下: Error:Module '**' production: java.lang.UnsupportedClassVersionError: com/intellij/openapi/vfs/VfsUtil : Unsupported major.minor version 52.0 ...

2017-06-26 17:50:01

阅读数:1935

评论数:1

神经网络论文和资料整理

NN基础: A Quick Introduction to Neural Networks CNN: Beginner's Guide to Convolutional Neural NetsAn Intuitive Explanation of Convolutional Neura...

2017-05-10 12:10:31

阅读数:480

评论数:0

TensorFlow学习-基于CNN实现手写数字识别

一、网络结构二、模型训练三、模型评估四、源码 一、网络结构 使用2个卷积层,2个池化层, 2个全连接层组成网络 输入→ 卷积→ ReLU→max polling→ 卷积→ ReLU→max polling→ FC→输出 输入 一个4维的tensor: [batch_size, ...

2017-05-10 12:08:17

阅读数:976

评论数:0

MXNet调研之2--python API

python API httpmxnetioapipython NDArray Symbol Module KVStore Data Loading Optimization initialize and update weights 0. python API http://mxnet.io/a...

2017-04-07 16:15:37

阅读数:995

评论数:2

MXNet调研之1--编译和安装

http://mxnet.io/get_started/index.html#installation

2017-04-07 16:13:01

阅读数:555

评论数:0

Spark数据分区

Spark程序可以通过分区来减少网络通信开销。分区并非对于所有场景都是有好处的:比如, 如果给定RDD只被扫描一遍,那么完全没有必要做分区, 只有当数据多次在诸如连接这种基于键的操作时,分区才会有帮助。 假设我们有一份不变的大文件userData, 以及每5分钟产生的小数据events, 现要求在...

2016-11-20 00:55:02

阅读数:1381

评论数:0

Spark Pair RDD操作

Spark Pair RDD操作1. 创建Pair RDDval pairs = lines.map(x => (x.split(" ")(0), x)2. Pair RDD的转化方法表1 Pair RDD的转化方法(以键值对集合{(1,2), (3,4), (3, 6)...

2016-11-19 12:14:04

阅读数:814

评论数:0

Spark RDD基本操作

Spark RDD Scala语言编程RDD(Resilient Distributed Dataset)是一个不可变的分布式对象集合, 每个rdd被分为多个分区, 这些分区运行在集群的不同节点上。rdd支持两种类型的操作:转化(trainsformation)和行动(action), Spark...

2016-11-13 20:32:19

阅读数:4240

评论数:0

intellij的maven工程"Server IPC version 9 cannot communicate with client version"错误的解决办法

这个问题是java初始化hdfs client时出现的,原因是maven依赖的版本和hdfs的版本不一致。 mvn的hadoop-core最高只有1.2.1版本, 不能加这个配置, 使用hadoop-common + hadoop-hdfs + hadoop-client的2.7.1版本即可 我...

2016-06-07 21:43:49

阅读数:2307

评论数:2

Hive相关资料整理

------- 什么是HIVE http://www.aboutyun.com/thread-7411-1-1.html Programming Hive HIVE架构和工作原理 全面了解HIVE  HIVE实现原理 Hive SQL解析/执行计划生成流程分析 Hive操作(...

2016-03-21 19:38:44

阅读数:531

评论数:0

提示
确定要删除当前文章?
取消 删除
关闭
关闭