- 博客(19)
- 资源 (9)
- 问答 (2)
- 收藏
- 关注
![](https://csdnimg.cn/release/blogv2/dist/pc/img/listFixedTop.png)
原创 深度学习(一)autoencoder的Python实现(1)
这一段时间因为工作的原因,有了更多的时间,于是感兴趣学习了深度学习的相关内容,参考了大牛们编写MATLAB,C,Python等版本,自己重新捡起Python,小试牛刀,基本完成了autoencoder的主要功能,并通过小例子进行验证。
2016-05-18 21:49:16
13153
1
原创 解决:L2TP服务器没有响应。请尝试重新连接。如果仍然有问题,请验证您的设置并与管理员联系。
由于新型冠状病毒的缘故,只好在家里办公。我们需要连接到公司的vpn,由于我用的是Mac,公司vpn为L2TP/IPSec,但是在连接的时候一直报这个错误L2TP-VPN服务器没有响应。请尝试重新连接。如果仍然有问题,请验证您的设置并与管理员联系。真的是非常的头痛,查找了N种方法,甚至采用第三方,比如shimo,但是并没有什么作用。大部分的教程都让你创建一个文件sudo vim /e...
2020-02-17 17:06:27
34638
33
原创 《A Neural Algorithm of Artistic Style》论文解读
发现工作还是比较偏向工程类,哪里需要你你就要调研哪里。最近由于风格迁移这一块调研性比较多,所以接下来会有一系列的风格迁移比较有代表性的论文解读,今天从始祖文《A Neural Algorithm of Artistic Style》开始。 该文章是神经网络风格迁移的始祖文,主要用优化的方式,不断地迭代, 求全局最优解。 其主要思想比较简单,把图片当做可以训练的变量,也就...
2019-07-21 16:35:41
932
原创 风格迁移《Deep Painterly Harmonization》代码实践及问题解决
突然接到任务,要实践一下风格迁移文章《Deep Painterly Harmonization》,该文章的说明大家可以看博客,在GitHub上看到了该文章的实现,https://github.com/luanfujun/deep-painterly-harmonization。从star和fork来看,非常靠谱。但是实践后发现,真的是坑集大成者,今天特地针对碰到的坑做记录。一、风格...
2019-06-17 18:13:05
1478
3
原创 YOLOV3训练自己的数据集(PyTorch版本)
由于这一段时间从事目标检测相关工作,因而接触到yolov3,进行目标检测,具体原理大家可以参考大神的博客目标检测(九)--YOLO v1,v2,v3,我就不细讲了,直接进入正题,如何利用深度学习框架PyTorch对自己的数据进行训练以及最后的预测。一、数据集 首先我们要对自己的数据进行标注,标注的工具LabelImg,如果是windows用户的话,可以直接下载...
2019-05-06 15:59:56
54325
520
原创 信用评分模型python实践——简介
由于之前进行过信用评分模型的学习,并且接触并实践了一小段时间,虽然已经过了一年了,但是为了让这一段经历能够保留,在这里记录下点滴。本次将分多篇文章对信用评分模型的python实践进行阐述,包括简介,概念以及最后的代码实现。最后很高兴看这一系列的朋友们,也希望能帮到你,大家一起学习。信用评分模型简介信用评分模型运用数据挖掘技术和统计分析方法,通过对客户的人口特征、信用历史记录、行为记录、...
2018-12-20 00:01:03
1678
1
原创 Hadoop 64位Windows系统本地化
为了工作操作方便,我在64位Windows系统下运行Hadoop,这里只要两个步骤。 1.下载插hadoop_dll2.6.0_64bit,然后在一个没有中文的目录下进行解压。下载地址:https://download.csdn.net/download/sinat_27634939/10439681 2.设置环境变量,HADOOP_HOME=你的本地目录/hado...
2018-05-26 19:44:54
388
原创 RDD、DataFrame和DataSet的异同点
RDDDataFrameDataSet编译时类型安全 是否是面向对象编程风格是否,DataFrame也可以叫做Data[Row]中每一行是Row类型,不解析,里面的字段以及类型不得而知是支持sparksql操作不支持支持支持序列化与反序列化集群通信以及io都需要对对象以及数据进行序...
2018-05-23 22:08:24
386
转载 JAVA基础知识积累(1)
(1) 装载:查找和导入Class文件; (2) 链接:把类的二进制数据合并到JRE中; (a)校验:检查载入Class文件数据的正确性; (b)准备:给类的静态变量分配存储空间; (c)解析:将符号引用转成直接引用; (3) 初始化:对类的静态变量,静态代码块执行初始化操作
2018-05-20 16:10:21
211
原创 RabbitMQ和Kafka对比以及场景使用说明
我目前的项目最后使用的是RabbitMQ,这里依然是结合网上大神们的优秀博客,对kafka和rabbitmq进行简单的比对。最后附上参考博客。 1.架构模型 rabbitmq RabbitMQ遵循AMQP协议,RabbitMQ的broker由Exchange,Binding,queue组成,其中exchange和binding组成了消息的路由键;客户端Producer通过...
2018-05-13 20:02:49
12780
1
原创 Spark shuffle 小结
前面说到Hadoop的工作原理的时候,提到了shuffle 1.MapReduce和Spark中shuffle的区别 MapReduce:简单的理解就是将数据从不同的map通过网络传输拉取到同一一个reduce中进行处理,其中涉及到了大量的数据网络传输耗时以及内存磁盘IO耗时,因而是提高mapreduce关键所在。 Spark:spark会将我们的工作job拆...
2018-05-13 17:19:38
420
原创 ElasticSearch(ES)知识积累
由于工作中接触到了ES,并且惊喜的发现具有很好的性能,所以特意对其相关知识点进行总结,参考了很多网上大神的总结,这里主要是加深自己对es的了解。1.简介 ES是基于lucene的构建的高扩展的分布式全文检索引擎,可以做到近乎实时的存储,全文检索。注:Lucene 是 apache 下的一个开放源代码的全文检索引擎工具包,提供了完整的查询引擎和索引引擎,部分文本分析引擎2.主要概念集群...
2018-05-07 00:24:18
524
原创 MapReduce在yarn中的执行过程
在MapReduce工作原理简介中我简单的了解了MapReduce的工作原理,在这篇文章中,我们将要了解MapReduce的执行过程。我们知道从Hadoop2.X,采用的是yarn作为资源管理系统,我们将要了解MapReduce在yarn中的执行过程。同样,对于yarn,网上有很多大神的写的博客,这里我主要是结合自己的理解,对知识进行积累。1.概念名词简介 yarn是资源管理系统,采...
2018-04-30 22:28:29
774
原创 MapReduce工作原理简介
由于工作后的第一个任务就是使用Hadoop进行大量的数据处理,其中使用的MapReduce计算框架,这里就简单做了一些总结,网上也有很多大神的总结,这里就当作自己的一个小小积累了。1.概述 MapReduce采用的是“分而治之”的数据,当我们处理大规模的数据时,将这些数据拆解成多个部分,并利用集群的多个节点同时进行数据处理,然后将各个节点得到的中间结果进行汇总,经过进一步的计算(该计...
2018-04-30 16:49:20
4892
原创 Jupyter notebook运行Spark+Scala
今天在intellij调试spark的时候感觉每次有新的一段代码,都要重新跑一遍,如果用spark-shell,感觉也不是特别方便,如果能像python那样,使用jupyter notebook进行编程就很方便了,同时也适合代码展示,网上查了一下,试了一下,碰到了很多坑,有些是旧的版本,还有些是版本不同导致错误,这里就记录下来安装的过程。1.运行环境硬件:Mac事先装好:Jupyter n...
2018-04-29 23:42:20
8915
5
原创 python常见问题解决(待续)
问题1我们在安装Python2和Python3时,配置好环境变量后,运行Python3的pip时,出问题pip3 install requests结果为Fatal error in launcher:Unable to create process using ' " '解决方法为python3 -m pip install requests(待续)
2016-06-11 14:40:06
1066
原创 深度学习(三)denoise autoencoder的Python实现
本章主要讲述autoencoder另外一种改进,denoise autoencoder
2016-05-20 22:48:27
4858
1
原创 深度学习(二)sparse autoencoder的Python实现
本章节的Python代码是在上一章深度学习(一)autoencoder的Python实现(2)的基础上修改实现的,所以要先阅读上一章节。sparse autoencoder的思想大家可以参考文献sparse autoencoder。
2016-05-19 15:26:29
5093
4
原创 深度学习(一)autoencoder的Python实现(2)
这一篇章,我将对autoencoder的主要功能进行Python的实现,并通过一个小例子进行验证
2016-05-19 00:16:17
15010
12
VGG_ILSVRC_19_layers_deploy.prototxt和vgg_normalised.caffemodel
2019-06-17
yolov3-tiny.conv.15
2019-05-06
xgboost4j-spark-0.7-jar-with-dependencies.jar
2018-09-26
windows本地化Hadoop(hadoop_dll2.6.0_64bit)
2018-05-26
IKAnalyzer2012_u6
2017-02-10
scala中any类型转换成Array
2017-05-19
urlopen以一种访问权限不允许的方式做了一个访问套接字的尝试。
2017-01-16
TA创建的收藏夹 TA关注的收藏夹
TA关注的人