Learning from the mistakes

我问佛∶世间为何有那麽多遗憾？佛曰∶这是一个婆娑世界，婆娑既遗憾，没有遗憾，给你再多幸福也不会体会快乐。

12月 11月 10月 09月 08月 07月 02月

原创 SSD-Tensorflow训练总结

感想今天我测试了一下我自己训练的模型，和YOLOv2做了一下对比，检测的都是对的，YOLOv2版本的准确率不高，但是SSD有很多没有检测出来，召回率不怎么高。1 制作数据集最麻烦的是制作voc数据集，我这里用了公司的数据集生成器产生了很多张图片，总量大概有25000张左右。按照voc格式，把图片放在JPEGImages目录下，xml格式的文件放在Annotations目录下

2017-10-30 17:26:14 22659 106

原创论文笔记：Hashtag Recommendation for Multimodal Microblog Using Co-Attention Network

感想这篇论文我觉得是讲得非常详细的一篇，从头到尾的实现细节都说了一遍，不知道作者肯不肯给数据集和源码，如果这样的话就更好了，它的精度只达到了0.3，可见提升的空间还是蛮大的，最大的特点是利用了文本和图片的信息，加入attention机制，这样文本有图片，图片有文本的信息，思路从某个程度上还是很新的。关键是效果更好了。1 介绍近几年，微博已经成为最流行了信息产生和扩散，以及各

2017-10-29 15:22:44 3309 5

原创 weiphp 2.0:Your requested sheet index: 1 is out of bounds. The actual number of sheets is 0

我在做读取服务器的excel上的文件的时候，意外的发现了这样一个奇怪的错误Your requested sheet index: 1 is out of bounds. The actual number of sheets is 0产生错误的原因是你可能打开了错误的文件，需要查一下你打开的文件是不是excel格式，还是哪里写错了。我这里就是把file_id弄错了，导致它找不到我打

2017-10-28 14:42:49 10473

原创 python opencv:AttributeError: 'module' object has no attribute 'cv' FOURCC

今天我在做视频读取的时候，碰到了一个代码错误，如下：Traceback (most recent call last): File "video_demo.py", line 31, in fourcc = cv2.cv.FOURCC(*'XVID')AttributeError: 'module' object has no attribute 'cv'这是因为我使用的是

2017-10-27 16:17:14 8633

原创论文笔记：Personalized Deep Learning for Tag Recommendation

感想这篇文章主要讲的是提取视觉信息特征，给图片推荐标签；利用了卷积神经网络提取图片的特征，利用最后一个全连接层合并用户和图片交互信息，得到最终的标签排序。还是挺新颖的，毕竟把推荐问题融合到一个网络，输出的直接是标签的排序，充分利用了深度学习的强大的特征表达能力。1 介绍用户随意指定标签，用于支持用户组织或查找社交媒体的内容。可是，许多分享的内容有很少或者没有标签的，这是由于

2017-10-20 20:08:41 1277

原创 SSD Tensorflow:InvalidArgumentError: about bounding box coordinates

我在运行自己的数据集时，会报上述的bounding box坐标的错误，说明你的bounding box的坐标越界了，需要比较一下方框的xmax,ymax是否在图片的尺寸范围内：即xmaxymax如图片的size为： 1920 1080 3 比如下面的ymax就超过了 NoInterestArea Right-Front

2017-10-20 17:33:14 779

原创 Ubuntu16.04: nvidia驱动安装

1. 删除之前安装的nvidia驱动，运行：sudo apt-get purge nvidia-*2. 添加第三方驱动源，运行sudo add-apt-repository ppa:graphics-drivers/ppa3.更新软件源：sudo apt-get update4.安装：sudo apt-get install nvidia-375参考文献

2017-10-19 17:17:57 23818 12

原创 ubuntu16.04 python3安装opencv及tensorflow

重装系统以后，安装深度学习环境还真麻烦，我这里对装tensorflow python3的环境进行整理：sudo apt-get install python3-pipsudo pip3 install tensorflow-gpusudo pip3 install opencv-python 我们还可能用到jupyter notebook,安装命令如下：sudo pip3 in

2017-10-19 16:47:20 9255

原创论文笔记：Tag-Aware Personalized Recommendation Using a Hybrid Deep Model

感想这篇论文，我断断续续的看了几天，作者做的工作也挺多的，我感觉论文的数据集还是不够大，还不足以支撑训练其它深度神经网络的地步。本文提出的混合深度学习完全是autoencoder的一个变体，用来解决标签数据稀疏性，不可控词汇表等问题，由于添加了重构误差函数，和一般深度学习的稍稍损失函数不一样，训练时间消耗大大减少，最后，还采用了负采样的技术，每一次训练的时间大大提高。总体上，和深度学习不是那么

2017-10-18 14:43:48 1919 4

原创 c++遍历某个路径下的所有文件

正确的代码如下，注意，路径需要用char*格式，否则会出现读不出来的错误。int main(){ struct info *str1; struct info s; long Handle; struct _finddata_t FileInfo; char* dir = "samplepicture\\*.*"; int count = 1; if ((Handl

2017-10-17 17:01:19 694

原创论文笔记：A Survey on Tag Recommendation Methods 下

感想因为综述文章太长了，我这里分成了两部分，紧接着介绍。公开的挑战我们把这些挑战分为（a）标签语义问题，（b）稀疏性，（3）垃圾邮件（spamming），（d）评估问题。同义词，一词多义和其它语义挑战打标签是一个不完美，自然和进化的，在文字和他们的参考之间建立语义联系的过程。Folksonomy的词奔雷就有模糊性，因为不同的用户用不同的方式给目标打上标签...

2017-10-15 17:39:40 864 2

原创论文笔记：A Survey on Tag Recommendation Methods 上

感想这篇文章是一篇2017年的综述，考虑的方面还是挺全的，几乎把标签推荐的所有技术都讲了一遍，但是它没有进行细化，但是适合写开题报告了，不适合找一个点来做研究，因为它里面说的公开挑战，还是蛮宽泛的。不过相信读了之后，对这个方向有着很全面的了解了。下面是我的一些笔记，翻译的不好，欢迎批评指正。介绍在Web2.0应用中，标签被认为是和目标（例如视频和文本）相关元数据最佳的方式。用户自...

2017-10-15 16:39:14 1707 4

原创 SSD Tensorflow:UnicodeDecodeError: 'utf-8' codec can't decode byte 0xff in position 0: invalid start

我们在运行SSD Tensorflow版本的时候，会出现以下问题，我运行的命令为：DATASET_DIR=VOC2012/OUTPUT_DIR=tfrecordspython tf_convert_data.py \ --dataset_name=pascalvoc \ --dataset_dir=${DATASET_DIR} \ --output_name=voc

2017-10-12 17:31:30 9943 4

原创 ubuntu16.04.2默认软件源

进入/etc/apt目录，然后打开sources.list，把下面的复制进去，具体命令：cd /etc/aptsudo gedit sources.list可能有时候用户想要恢复以前的软件源，然而又没有备份，因此，我把我的电脑ubuntu软件源公开，还只装了少量的软件，软件源基本没有修改过：# deb cdrom:[Ubuntu 16.04.2 LTS _Xenial Xe

2017-10-12 09:49:36 2498

原创 cudnn6.0的安装简单教程

命令行如下，希望帮助到大家：cp cudnn-8.0-linux-x64-v6.0.solitairetheme8 cudnn-8.0-linux-x64-v6.0.tgztar -xvf cudnn-8.0-linux-x64-v6.0.tgz cd cuda/ sudo cp include/cudnn.h /usr/local/cuda/includesudo cp -a /li

2017-10-10 17:53:49 5029

原创 ubuntu16.04 tensorflow-gpu版本安装好后，简单的检测代码

安装好cuda和 cudnn以后，我们用pip命令安装tensorflow-gpu版本：pip install tensorflow-gpu如果是安装的tensorflow 1.3版本，那就要注意了，需要安装cuda 8.0和cudnn 6.0（重要），否则会报错：xyxt@xyxt-System-Product-Name:~/Downloads/shangyixing$ py

2017-10-10 17:46:31 13508 12

原创读书笔记：Spark构建分类模型下

感想没什么，就是一篇文章太长了，下面接着，下面主要是代码部分了，代码我都跑过，没什么问题，输出就没有给了，运行代码，太简单了，注意它怎样一步步提高精度的，试不同的参数，正则化，数据的进一步归一化，标准化处理，怎样优化模型，这有着非常实用的意义。5.评估分类模型的性能通常在二分类中使用的评估方法包括：预测正确率和错误率，准确率和召回率，准确率-召回率下方的面积，ROC曲线，R

2017-10-08 14:43:54 495

原创读书笔记：Spark构建分类模型上

感想本章主要讲了四个算法，朴素贝叶斯，逻辑回归，支持向量机，决策树。感觉决策树的过程是最简单的，逻辑回归和支持向量机需要调参，朴素贝叶斯开始的表现效果还可以，但是后面就显得比较软肋了，决策树的精度是最高的，但也不要以为它的效果最好，也可能发生了过拟合。总之，机器学习算法的调餐还是一门学问，包括算法本身的参数，还有数据集的处理，以及训练的时候采取的策略等等。介绍分类是监督学习的一种形

2017-10-08 14:03:15 767

原创 Intellij IDEA:当右键运行时出现了Run Scala console，而没有run操作的原因

本人刚开始接触Scala语言，想搭建一个IDE开发环境，所有的操作都是按照网上的做的，但是就是没找到运行的地方在哪里，如图：朋友告诉我，我的文件建错了，应该建一个object而不是建一个class写入相应的代码后，右键，你会神奇的发现，有run了，本人刚学Scala，不要喷，也希望帮助到像我一样刚入门的人。输出为：....../Users/eric/Docu

2017-10-07 22:54:49 15194 10

原创读书笔记：构建基于Spark的推荐引擎

感想本章的练习是在spark shell上进行的，由于我下载的是spark-2.2.0-bin-hadoop2.7，所以在操作上稍稍有点区别，但是代码基本上都是可以运行的，其中要注意加上一个包，因为我在运行import org.jblas.DoubleMatrix的时候，提示找不到jblas，所以要提前下载下来，放到spark的jars目录里，然后重启shell才能生效，其他的实验我都做了，要

2017-10-06 20:54:53 1456

原创 Spark shell退出操作以及出现问题的解决方法

启动spark的操作是在其根目录下输入，在终端中输入： ./bin/spark-shell退出的正确操作是：:quit然而我们的错误操作是：Ctrl+C或Z这样就会在重启的时候报错。wugaosheng:spark-2.2.0-bin-hadoop2.7 eric$ ./bin/spark-shell Using Spark's defau

2017-10-06 17:24:13 26776

原创读书笔记：Spark上数据的获取，处理与准备下

感想本章有点长，所以分成了两部分，前面讲了推荐数据获取和一些统计可视化的结果，后面就讲这些数据的处理，然后变成机器学习模型的输入的过程和示例。3. 处理与转换数据为了让原始数据可用于机器学习算法，需要先对其进行清理，并可能需要将其进行各种转换，之后才能从转换后的数据里提取有用的特征。数据的转换和特征提取联系紧密。某些情况下，一些转换本身便是特征提取的过程。在

2017-10-04 16:28:14 639

原创读书笔记：Spark上数据的获取，处理与准备上

感想这是文章的第三章，讲得还挺详细的，其中还掺杂着代码，以后我决定在说理论的时候不贴代码了，严重耽误我的时间了，我花了差不多一天半的时间读了这一张，这张讲了怎么处理数据，对数据进行预处理，去掉一些不完整的数据，针对不同类型的数据都将其向量化，规范化，正则化，理论很简单，需要有具体应用场景的工程实践。介绍机器学习是一个极为广泛的领域，其应用范围已包括Web和移动应用，物联网，

2017-10-04 15:40:52 874

原创 spark 2.2:jupyter notebook NameError: name 'sc' is not defined

我在运行spark机器学习的python例子的时候会出现上面的错误name 'sc' is not defined这是因为另一个程序占用了python kernel的缘故，你重新开了一个程序运行就会报错，这个时候我们需要把原来的程序关了，然后再重新运行现在的就行了参考文献[1].https://stackoverflow.com/questions/38515369/ju

2017-10-03 15:28:16 13132 3

原创 IPYTHON=1 IPYTHON_OPTS="--pylab" ./bin/pyspark错误

当我在运行ipython终端的时候，发现报错了，错误信息如下：wugaosheng:spark-2.2.0-bin-hadoop2.7 eric$ IPYTHON=1 IPYTHON_OPTS="--pylab" ./bin/pysparkError in pyspark startup:IPYTHON and IPYTHON_OPTS are removed in Spark 2.0+.

2017-10-03 13:12:42 1193

原创 spark机器学习笔记：设计机器学习系统

感想这是一篇机器学习通俗的讲解，我觉得讲得蛮好，特别是我们在设计机器学习系统的时候该怎么做？不是只设计一个机器学习算法就完了，还有很多的事情要做，本文对数据预处理归纳的挺全的，因为从用户获取的数据，不能直接用于机器学习模型的，中间还需要经历数据清洗等操作，我借此分享给大家，此文章不涉及理论内容，可作为入门或者科普，通俗易懂。介绍现代的大数据场景包含如下需求。

2017-10-01 21:00:04 1589 1