自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

wusuopuBUPT的专栏

https://github.com/wusuopubupt

  • 博客(457)
  • 资源 (24)
  • 收藏
  • 关注

原创 Hacker Ethic

From -> Hacker:Heroes of the Computer Revolution

2014-05-26 01:13:43 1330

原创 C语言小问题收集

1.char *p="abcdef"和char s[]="abcdef"存储在哪里的问题 http://bbs.csdn.net/topics/2800531442.深入理解C语言指针的奥秘http://bbs.csdn.net/topics/1000215213.数组指针(指向数组的指针)与指针数组(存放指针的数组)http://see.xidian.edu.cn/cpp/html/476.html

2013-11-25 15:45:00 1787

原创 Unix command-line interface programs and shell builtins

[hide]v t eUnix command-line interface programs and shell builtins File systemcat cd chmod chown chgrp cksum cmp cp dd du df file fsck fuser ln ls mkdir mount mv pa

2013-07-26 11:31:16 1892 1

原创 代码规范

Shell:Google Shell Style Guide 或其 中文版译文Java:Google Java Style Guide Scala:Scala Style GuideC/C++:Google C++ Style GuidePython:PEP-8Javascript:Google Javascript Style GuideGo:Effective Go 或其 中文版译文

2017-11-16 12:01:39 1999

转载 阿里Java编码规范摘要

一、编码 规约1. 命名约定2.常量定义3. 格式约定4. OOP规约5.集合处理6.并发处理7.控制语句8.注释规约9.其他二、异常日志1.异常处理2.日志规约三、MySQL规约1. 建表规约2.索引规约3.SQL规约4.ORM规约四、工程规约1.应用分层2.二方库规约3.服务器规约

2017-09-13 11:43:16 1769

原创 为什么在覆盖equals时一定也要覆盖hashCode

为什么在覆盖equals时一定也要覆盖hashCode?因为先hashmap, 后equals !下面用HashMap来阐述原因,首先假设key1和key2的值在业务逻辑领域是相等的,即它们应该是同一个对象,HashMap已经存储了key1,现在要查找key2是否存在,正确的结果应该是存在。Java中的HashMap实际上是一个链表数组,即首先HashMap是一个数组,然后数组中的每一个元素是一个链

2017-08-14 15:24:28 1633 2

原创 Spark源码--逻辑计划优化之表达式简化

一、常量合并(Constant Folding)二、简化过滤器 (Simlify Filters)三、简化Cast (Simplify Casts)四、简化大小写转化表达式 (Simplify Case Conversion Expressions)五、优化In语句 (Optimize In)六、简化Like语句(Simplify Like)七、替换Null表达式 (Null Propagat

2017-07-26 19:17:54 1502

原创 Spark源码--RuleExecutor

Spark SQL catalyst RuleExecutor的作用是分批次(batch)执行一系列的优化规则直到稳定点(fixpoint)或最大迭代次数,如图所示:实现如下:源码如下: /** 优化规则执行器 */abstract class RuleExecutor[TreeType : TreeNod

2017-07-26 19:14:44 1036

原创 Spark源码--JobListener

Spark-1.6版本JobListener trait:用于监听Job运行结束(成功/失败)事件,声明了taskSucceeded和jobFailed方法package org.apache.spark.scheduler/** * Interface used to listen for job completion or failure events after submitting a j

2017-07-18 14:56:28 757

原创 Spark源码--Stage

Stage是Spark调度执行的物理单元Spark1.6版本Stage源码:package org.apache.spark.schedulerimport scala.collection.mutable.HashSetimport org.apache.spark._import org.apache.spark.rdd.RDDimport org.apache.spark.util.Cal

2017-07-18 12:20:27 608

原创 Spark源码--EventLoop

Spark1.6版本 EventLoop.scala源码如下:package org.apache.spark.utilimport java.util.concurrent.atomic.AtomicBooleanimport java.util.concurrent.{BlockingQueue, LinkedBlockingDeque}import scala.util.control.

2017-07-18 10:26:03 749

原创 intellij idea安装thrift support plugin后报错

如下:Error:Module '**' production: java.lang.UnsupportedClassVersionError: com/intellij/openapi/vfs/VfsUtil : Unsupported major.minor version 52.0猜测是thrift support这个插件需要JDK1.8,项目模块需要JDK1.7编译,版本冲

2017-06-26 17:50:01 4809 2

转载 Sigmoid函数的理解

原文地址:http://computing.dcu.ie/~humphrys/Notes/Neural/sigmoid.html---Continuous Output - The sigmoid functionGiven Summed Input:x = Instead of threshold, and fire/not fire,we c

2017-05-15 14:59:47 5393 1

转载 Hadoop作业压缩方式对比(CPU和memory的权衡)

slide地址:Compression Options in Hadoop - A Tale of Tradeoffs

2017-05-10 17:07:34 653

原创 神经网络论文和资料整理

NN基础:A Quick Introduction to Neural NetworksCNN:Beginner's Guide to Convolutional Neural NetsAn Intuitive Explanation of Convolutional Neural NetworksRNN:Understanding LS

2017-05-10 12:10:31 1425

原创 TensorFlow学习-基于CNN实现手写数字识别

一、网络结构二、模型训练三、模型评估四、源码一、网络结构使用2个卷积层,2个池化层, 2个全连接层组成网络输入→ 卷积→ ReLU→max polling→ 卷积→ ReLU→max polling→ FC→输出输入一个4维的tensor: [batch_size, image_width, image_height, channels]

2017-05-10 12:08:17 2054

原创 MXNet调研之2--python API

python API httpmxnetioapipythonNDArraySymbolModuleKVStoreData LoadingOptimization initialize and update weights0. python API http://mxnet.io/api/python/1. NDArrayA NDArray is a multidimensional

2017-04-07 16:15:37 1543 2

原创 MXNet调研之1--编译和安装

http://mxnet.io/get_started/index.html#installation

2017-04-07 16:13:01 893

转载 Spark mapPartitions()操作

原文地址:http://apachesparkbook.blogspot.com/2015/11/mappartition-example.html---mapPartitions() can be used as an alternative to map() & foreach(). mapPartitions() is called once for each Partition

2016-11-21 12:11:47 2664

原创 Spark数据分区

Spark程序可以通过分区来减少网络通信开销。分区并非对于所有场景都是有好处的:比如, 如果给定RDD只被扫描一遍,那么完全没有必要做分区, 只有当数据多次在诸如连接这种基于键的操作时,分区才会有帮助。 假设我们有一份不变的大文件userData, 以及每5分钟产生的小数据events, 现要求在每5分钟产出events数据后, userData对events做一次join操作。 该过程的代码

2016-11-20 00:55:02 2434 1

原创 Spark Pair RDD操作

Spark Pair RDD操作1. 创建Pair RDDval pairs = lines.map(x => (x.split(" ")(0), x)2. Pair RDD的转化方法表1 Pair RDD的转化方法(以键值对集合{(1,2), (3,4), (3, 6)}为例) 函数名 目的 示例 结果 reduceByKey() 合并具有相同键的值 rdd.reduce

2016-11-19 12:14:04 1252

转载 Spark内存参数调节

原文地址: http://blog.cloudera.com/blog/2015/03/how-to-tune-your-apache-spark-jobs-part-2/--In the conclusion to this series, learn how resource tuning, parallelism, and data representation affect

2016-11-15 10:29:55 1968 2

转载 Hive VS HBase

原文地址:https://www.xplenty.com/blog/2014/05/hive-vs-hbase/---Comparing Hive with HBase is like comparing Google with Facebook - although they compete over the same turf (our private information)

2016-11-14 13:54:09 1407

原创 Spark RDD基本操作

Spark RDD Scala语言编程RDD(Resilient Distributed Dataset)是一个不可变的分布式对象集合, 每个rdd被分为多个分区, 这些分区运行在集群的不同节点上。rdd支持两种类型的操作:转化(trainsformation)和行动(action), Spark只会惰性计算rdd, 也就是说, 转化操作的rdd不会立即计算, 而是在其第一次遇到行动操作时才去计算,

2016-11-13 20:32:19 5010

转载 hadoop streaming多用户权限问题

原文地址:http://blog.sina.com.cn/s/blog_605f5b4f0101897z.htmlhdfs的权限判断十分简单,就是拿发出指令的user name和文件的user name 做比较  private void check(INode inode, FsAction access      ) throws AccessControlExcept

2016-07-28 00:09:28 1584

原创 intellij的maven工程"Server IPC version 9 cannot communicate with client version"错误的解决办法

这个问题是java初始化hdfs client时出现的,原因是maven依赖的版本和hdfs的版本不一致。mvn的hadoop-core最高只有1.2.1版本, 不能加这个配置, 使用hadoop-common + hadoop-hdfs + hadoop-client的2.7.1版本即可我的配置: com._baidu

2016-06-07 21:43:49 3400 2

转载 vim自定义语法高亮

原文地址:http://vim.wikia.com/wiki/Creating_your_own_syntax_files#Install_the_syntax_file--

2016-03-30 16:25:52 1574

原创 Hive相关资料整理

-------什么是HIVEhttp://www.aboutyun.com/thread-7411-1-1.htmlProgramming HiveHIVE架构和工作原理全面了解HIVE HIVE实现原理Hive SQL解析/执行计划生成流程分析Hive操作(HQL)HIVE基本操作Hadoop Hive

2016-03-21 19:38:44 1067

原创 hadoop streaming

-----如果程序运行所需要的可执行文件、脚本或者配置文件在Hadoop集群的计算节点上不存在,则首先需要将这些文件分发到集群上才能成功进行计算。Hadoop提供了自动分发文件和压缩包的机制,只需要在启动Streaming作业时配置相应的参数。 1. –file 将本地文件分发到计算结点 2. –cacheFile 文件已经存放在HDFS中,希望计算时在每个计算节点上将

2016-03-21 18:30:41 645

原创 linux各种中文乱码解决办法整理

远程登录服务器用vim在终端下编辑查看文件经常会遇见各种中文乱码问题。做如下设置可基本解决vim中文乱码问题首先查看系统对中文的支持locale -a | grep zh_CN输出样例如下zh_CN.gbkzh_CN.utf8vim 只能正确识别列表中的中文编码文件,如需识别其他编码类型的中文文件,则需要做系统升级vi ~/.bash_profile

2016-03-21 15:52:05 73101

原创 大数据架构文章整理

以下是学习数据分析过程中用到的文档:一、 Hadoop相关:1. Hadoop集群搭建: http://blog.csdn.net/weixuehao/article/details/158136812. 分布式文件系统HDFS的架构和设计: https://hadoop.apache.org/docs/r1.0.4/cn/hdfs_design.html3. Ha

2016-03-18 11:07:45 920

转载 Why is Map Reduce faster

原文地址:http://www.onebigfluke.com/2013/01/why-is-map-reduce-faster-practical.html关键点: hadoop在map后会做shuffle、sort处理数据结构,然后交给reducer计算结果----------Why is Map Reduce faster? -- A practical example

2016-03-04 14:02:36 534

原创 redis在tag订阅功能中的实践

如图:

2016-03-01 14:46:50 1404 1

转载 mysql innodb auto_increment id不连续增长问题

原文地址:http://thenoyes.com/littlenoise/?p=187---------Why are there gaps in my auto_increment sequence, even if there are no deletes or rolled back transactions?Is it a bug?The manua

2016-01-13 14:51:15 2121 1

转载 通过explain对mysql索引优化

原文地址: http://www.cnblogs.com/zaric/archive/2012/09/28/2707248.html-----------今天优化了多条SQL语句。都是EXPLAIN的功劳,分析SQL子句的执行顺序和执行情况,一木了然,下来看具体分析:[优化多表联合查询]explain SELECT sql_no_cache pker.*,pk.

2016-01-11 17:22:46 840

原创 mysql_real_eacape_string中文截断问题

rt:解决办法:参考:http://stackoverflow.com/questions/21091580/is-mysql-real-escape-string-vulnerable-to-invalid-utf-8-exploitation-eg-overlong/21140149#21140149

2016-01-11 11:37:22 1071

原创 yum install killall pstree

redhat7下使用这个命令完成安装:yum install psmisc

2015-11-14 16:32:52 2306

原创 redhat7安装mysql-server(mysqld)

折腾…………原文地址: http://sharadchhetri.com/2014/07/31/how-to-install-mysql-server-5-6-on-centos-7-rhel-7/--------------In this tutorial we will learn, how to install MySQL Server 5.6 on Cent

2015-11-14 16:22:06 6164 1

原创 使用base64 加密在URL安全传递|url_safe|php

原文地址:http://www.pylist.com/topic/1435231261-------------base64模块是用来作base64编码解码的。这种编码方式在电子邮件中是很常见的。它可以把不能作为文本显示的二进制数据编码为可显示的文本信息。编码后的文本大小会增大1/3。base64模块真正用的上的方法只有8个,分别是encode, decode, encod

2015-11-12 19:34:53 13719

转载 【好文收藏】理解python多线程

原文地址:http://agiliq.com/blog/2013/09/understanding-threads-in-python/ , http://my.oschina.net/leejun2005/blog/179265----------------目录[-]示例1,我们将要请求五个不同的url:1、单线程2、多线程示例2,全局变量的线程安全

2015-11-09 22:26:23 1986

hadoop MapReduce介绍

hadoop MapReduce介绍 SergeBazhievsky_Introduction_to_Hadoop_MapReduce_v2.pdf 很好的学习hadoop mapreduce计算框架的资料

2016-03-04

C程序设计语言(K & R).pdf

My practices of the book "The C Programming Language" by Brian W. Kernighan and Dennis M. Ritchie (K&R).

2014-08-27

MinGW-5.1.6.rar

离线版的比较旧的(5.16)MinGW安装, 然后,把C:\MinGW\bin中的mingw32-make.exe 改名成为 make.exe,接着配置环境变量,结束~

2014-08-03

CodeIgniter2.0中文手册.chm

CodeIgniter2.0中文手册.chm 好好学习,天天向上

2014-02-28

计算机网络

计算机 网络 通信原理的讲解PPT 和学校学到的真不一样。

2013-12-09

PHP-Debug-Manual-public

PHP-Debug-Manual-public very useful for all php developpers! get it now!

2013-07-23

php+mysql 八大动态网站开发 源代码

php+mysql 八大动态网站开发 源代码 非常好用,适合广大Php初学者/爱好者学习使用 也适合有经验的phper温习使用 书中的有些函数已经被php官网不推荐使用了,所以,用的时候最好参照php官网php.net/manual进行学习

2013-07-16

iluowu PHPCMS 模板

iluowu PHPCMS 模板 对程序员很有用哦

2013-04-08

GBK-UTF8转换工具好用

GBK UIF-8转换工具 对程序员们很有用哦

2013-04-08

jquery 手册 中文版

jquery 手册 中文版 强大的javascript 库!

2013-04-08

mysql 手册 中文版

mysql 手册 中文版 很好地学习工具

2013-04-08

php 手册 中文版

php 手册 中文版 很好的学习工具

2013-04-08

Zend_Studio教程.doc

Zend_Studio教程.doc 想要学好php+mysql 建设动态网站的朋友可以看看~~

2013-03-12

数据库实验三实现过程详解.pdf

北京邮电大学 数据库实验三实现过程详解.pdf

2013-03-02

Java语言编写计算器程序_swing界面

Java语言编写计算器程序_swing界面

2013-01-14

社交网络中的信任推荐和好友搜索过滤算法研究

社交网络中的信任推荐和好友搜索过滤算法研究

2013-01-14

Java网络爬虫简单实现

Java网络爬虫简单实现

2013-01-14

自己动手写网络爬虫

网络爬虫 spider 自己动手写网络爬虫

2013-01-14

Windows Builder

Windows Builder pro for eclipse 3.6 一款基于Eclipse SWT技术上的双向Java Gui设计软件。具备SWT设计以及Swing设计两个主要功能。该软件会被作为一个插件镶嵌入Eclipse以及其他一些兼容的IDEs中

2012-05-06

C语言的附录

有了这个C语言的附录,我们可以更好地学习和使用C\C++啦,

2011-10-16

C语言标准函数库.pdf

C语言标准函数库.pdf, 有了它,可以让我们更好地学习和使用C\C++语言,变出更好地程序来

2011-10-16

谷歌成长21位重要人物

谷歌成长21位重要人物谷歌成长21位重要人物谷歌成长21位重要人物谷歌成长21位重要人物

2011-06-26

北京邮电大学ACM的分析语言

北京邮电大学ACM 北京邮电大学ACM北京邮电大学ACM北京邮电大学ACM北京邮电大学ACM北京邮电大学ACM北京邮电大学ACM北京邮电大学ACM北京邮电大学ACM北京邮电大学ACM

2011-06-26

2011年大学生创新实验计划项目立项启动会PPT

2011年大学生创新实验计划项目立项启动会PPT

2011-06-26

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除