mumumuyanyanyan-CSDN博客

原创深度学习(一)autoencoder的Python实现（1）

这一段时间因为工作的原因，有了更多的时间，于是感兴趣学习了深度学习的相关内容，参考了大牛们编写MATLAB，C，Python等版本，自己重新捡起Python，小试牛刀，基本完成了autoencoder的主要功能，并通过小例子进行验证。

2016-05-18 21:49:16 13153 1

原创解决：L2TP服务器没有响应。请尝试重新连接。如果仍然有问题，请验证您的设置并与管理员联系。

由于新型冠状病毒的缘故，只好在家里办公。我们需要连接到公司的vpn，由于我用的是Mac，公司vpn为L2TP/IPSec，但是在连接的时候一直报这个错误L2TP-VPN服务器没有响应。请尝试重新连接。如果仍然有问题，请验证您的设置并与管理员联系。真的是非常的头痛，查找了N种方法，甚至采用第三方，比如shimo，但是并没有什么作用。大部分的教程都让你创建一个文件sudo vim /e...

2020-02-17 17:06:27 34638 33

原创《A Neural Algorithm of Artistic Style》论文解读

发现工作还是比较偏向工程类，哪里需要你你就要调研哪里。最近由于风格迁移这一块调研性比较多，所以接下来会有一系列的风格迁移比较有代表性的论文解读，今天从始祖文《A Neural Algorithm of Artistic Style》开始。该文章是神经网络风格迁移的始祖文，主要用优化的方式，不断地迭代，求全局最优解。其主要思想比较简单，把图片当做可以训练的变量，也就...

2019-07-21 16:35:41 932

原创风格迁移《Deep Painterly Harmonization》代码实践及问题解决

突然接到任务，要实践一下风格迁移文章《Deep Painterly Harmonization》，该文章的说明大家可以看博客，在GitHub上看到了该文章的实现，https://github.com/luanfujun/deep-painterly-harmonization。从star和fork来看，非常靠谱。但是实践后发现，真的是坑集大成者，今天特地针对碰到的坑做记录。一、风格...

2019-06-17 18:13:05 1478 3

原创 YOLOV3训练自己的数据集（PyTorch版本）

由于这一段时间从事目标检测相关工作，因而接触到yolov3，进行目标检测，具体原理大家可以参考大神的博客目标检测（九）--YOLO v1,v2,v3，我就不细讲了，直接进入正题，如何利用深度学习框架PyTorch对自己的数据进行训练以及最后的预测。一、数据集首先我们要对自己的数据进行标注，标注的工具LabelImg，如果是windows用户的话，可以直接下载...

2019-05-06 15:59:56 54325 520

原创信用评分模型python实践——简介

由于之前进行过信用评分模型的学习，并且接触并实践了一小段时间，虽然已经过了一年了，但是为了让这一段经历能够保留，在这里记录下点滴。本次将分多篇文章对信用评分模型的python实践进行阐述，包括简介，概念以及最后的代码实现。最后很高兴看这一系列的朋友们，也希望能帮到你，大家一起学习。信用评分模型简介信用评分模型运用数据挖掘技术和统计分析方法，通过对客户的人口特征、信用历史记录、行为记录、...

2018-12-20 00:01:03 1678 1

原创 Hadoop 64位Windows系统本地化

为了工作操作方便，我在64位Windows系统下运行Hadoop，这里只要两个步骤。 1.下载插hadoop_dll2.6.0_64bit，然后在一个没有中文的目录下进行解压。下载地址：https://download.csdn.net/download/sinat_27634939/10439681 2.设置环境变量，HADOOP_HOME=你的本地目录/hado...

2018-05-26 19:44:54 388

原创 RDD、DataFrame和DataSet的异同点

RDDDataFrameDataSet编译时类型安全是否是面向对象编程风格是否，DataFrame也可以叫做Data[Row]中每一行是Row类型，不解析，里面的字段以及类型不得而知是支持sparksql操作不支持支持支持序列化与反序列化集群通信以及io都需要对对象以及数据进行序...

2018-05-23 22:08:24 386

转载 JAVA基础知识积累（1）

(1) 装载：查找和导入Class文件； (2) 链接：把类的二进制数据合并到JRE中； (a)校验：检查载入Class文件数据的正确性； (b)准备：给类的静态变量分配存储空间； (c)解析：将符号引用转成直接引用； (3) 初始化：对类的静态变量，静态代码块执行初始化操作

2018-05-20 16:10:21 211

原创 RabbitMQ和Kafka对比以及场景使用说明

我目前的项目最后使用的是RabbitMQ，这里依然是结合网上大神们的优秀博客，对kafka和rabbitmq进行简单的比对。最后附上参考博客。 1.架构模型 rabbitmq RabbitMQ遵循AMQP协议，RabbitMQ的broker由Exchange,Binding,queue组成，其中exchange和binding组成了消息的路由键；客户端Producer通过...

2018-05-13 20:02:49 12780 1

原创 Spark shuffle 小结

前面说到Hadoop的工作原理的时候，提到了shuffle 1.MapReduce和Spark中shuffle的区别 MapReduce：简单的理解就是将数据从不同的map通过网络传输拉取到同一一个reduce中进行处理，其中涉及到了大量的数据网络传输耗时以及内存磁盘IO耗时，因而是提高mapreduce关键所在。 Spark：spark会将我们的工作job拆...

2018-05-13 17:19:38 420

原创 ElasticSearch（ES）知识积累

由于工作中接触到了ES，并且惊喜的发现具有很好的性能，所以特意对其相关知识点进行总结，参考了很多网上大神的总结，这里主要是加深自己对es的了解。1.简介 ES是基于lucene的构建的高扩展的分布式全文检索引擎，可以做到近乎实时的存储，全文检索。注：Lucene 是 apache 下的一个开放源代码的全文检索引擎工具包,提供了完整的查询引擎和索引引擎,部分文本分析引擎2.主要概念集群...

2018-05-07 00:24:18 524

原创 MapReduce在yarn中的执行过程

在MapReduce工作原理简介中我简单的了解了MapReduce的工作原理，在这篇文章中，我们将要了解MapReduce的执行过程。我们知道从Hadoop2.X，采用的是yarn作为资源管理系统，我们将要了解MapReduce在yarn中的执行过程。同样，对于yarn，网上有很多大神的写的博客，这里我主要是结合自己的理解，对知识进行积累。1.概念名词简介 yarn是资源管理系统，采...

2018-04-30 22:28:29 774

原创 MapReduce工作原理简介

由于工作后的第一个任务就是使用Hadoop进行大量的数据处理，其中使用的MapReduce计算框架，这里就简单做了一些总结，网上也有很多大神的总结，这里就当作自己的一个小小积累了。1.概述 MapReduce采用的是“分而治之”的数据，当我们处理大规模的数据时，将这些数据拆解成多个部分，并利用集群的多个节点同时进行数据处理，然后将各个节点得到的中间结果进行汇总，经过进一步的计算（该计...

2018-04-30 16:49:20 4892

原创 Jupyter notebook运行Spark+Scala

今天在intellij调试spark的时候感觉每次有新的一段代码，都要重新跑一遍，如果用spark-shell，感觉也不是特别方便，如果能像python那样，使用jupyter notebook进行编程就很方便了，同时也适合代码展示，网上查了一下，试了一下，碰到了很多坑，有些是旧的版本，还有些是版本不同导致错误，这里就记录下来安装的过程。1.运行环境硬件：Mac事先装好：Jupyter n...

2018-04-29 23:42:20 8915 5

原创 python常见问题解决（待续）

问题1我们在安装Python2和Python3时，配置好环境变量后，运行Python3的pip时，出问题pip3 install requests结果为Fatal error in launcher:Unable to create process using ' " '解决方法为python3 -m pip install requests(待续)

2016-06-11 14:40:06 1066