我也要用- 博客(857)
- 资源 (6)
- 论坛 (1)
- 收藏
- 关注
RSS订阅转载 针对pandas merge之后数据类型发生改变
pandas的表合并方式具体这里我就不讲了，这里百度有很多。里面有一个 merge 合并之后数据类型改变的问题，百度之后也没有得出很好的结果。这里会出现一种情况：两个整形的数据经过合并之后变成了浮点型。这个变化在小数据量时区别可能不是很大，只是相对比较麻烦一点。大量数据的话涉及到数据之间的交互（运算）会消耗大量时间。当然你要是说手动把他再强转回来，就当我没说。为什么会出现这种情况呢？经过一系列测试之后，发现问题在于合并方向，有人说right能够避免这个问题，left会出现这种问题，那就是
2021-03-12 11:42:47
110
转载 推荐系统数据集大列表
今天给大家介绍一个github仓库，收集了非常多的推荐系统的数据集，非常的全面，非常的实用，做推荐系统相关的同学可以收藏一下。这些数据集在可作为基准的推荐系统中非常流行。Douban：http://socialcomputing.asu.edu/datasets/Douban 这是一个匿名的豆瓣数据集，包含129,490个独立用户和58,541个独立电影条目。 Epinions：http://www.trustlet.org/epinions.html Epinions是一个人们可以评论产品.
2021-03-11 09:00:06
94
转载 排序算法常用评价指标计算方式AUC
现在的排序评估指标主要包括MAP、NDCG和AUC三个指标。NDCG考虑多指标，MAP和AUC考虑单个指标。1.AUC 最直观的，根据AUC这个名称，我们知道，计算出ROC曲线下面的面积，就是AUC的值。事实上，这也是在早期 Machine Learning文献中常见的AUC计算方法。由于我们的测试样本是有限的。我们得到的AUC曲线必然是一个阶梯状的。因此，计算的AUC也就是这些阶梯 下面的面积之和。这样，我们先把score排序(假设score越大，此样本属于正类的概率越大)，然后一边扫描就可以得.
2021-02-08 14:26:06
89
转载 标签体系应用及设计思路
本文将为你重点介绍：企业做标签画像的目的； 标签和画像的应用场景及应用流程； 构建标签和画像体系的实操方法论； 证券行业案例。我接触过各行各业的客户，在跟他们交流以及沟通需求的过程中，很明显的会感受到，在数据的基建和应用层面，除了重视数据分析外，也越来越重视数据资产在更多业务场景中的应用，标签画像的建设和应用就是其中一类很常见的需求和期望。事实上，我认为从对业务的价值来说，标签和画像是类似中间层的系统模块，具体来说，数据资产本质上是一些采集、采购所获得的数据源，但企业希望在数据源的基础上，实
2021-01-23 14:39:38
341
1
转载 推荐系统之标签体系
为什么要先介绍标签体系？一个推荐系统效果好与坏最基本的保障、最基础的是什么？如果让我来回答，一定是标签体系。我这里说的标签主要是针对物料的，对于电商平台来说就是商品；对于音乐平台来说就是每一个首歌，对于新闻资讯平台来说就是每一条新闻。下一篇要介绍的是用户画像，画像中那些用户实时变化的兴趣点大都也是来自于标签体系，依据用户长期和短期行为中对于物料搜索、点击、收藏、评论、转发等事件，将物料的标签传导到用户画像上，就构成了用户的实时画像和离线画像中的各个动态维度。标签体系概览以京东的标签体系中的京
2021-01-23 14:01:13
381
转载 svn代码量统计
2020年年终总结，作为后端开发人员一整年的工作成果，最拿得出手的就是项目中的代码提交量，而在我的工作中，代码版本管理使用的是svn，但svn本身貌似不支持进行代码统计，因此从网上找到了一个svn代码统计的工具：StatSVN，该工具是由java写的一个jar包：statsvn.jar，因此要使用该工具前，请确保安装了jdk环境。本文基于Windows操作系统。2|0开始使用2|1下载statsvn.jar工具官网下载地址：http://www.statsvn.org/d...
2021-01-12 18:16:13
146
1
转载 MongoDB Compass 操作MongoDB数据库
根据官网介绍Download and Install Compass — MongoDB Compass stable去下载页面Compass | MongoDB下载安装包比如Mac的是https://downloads.mongodb.com/compass/mongodb-compass-1.14.5-darwin-x64.dmg下载后，安装即可。安装后是：当前版本是：1.14.5基本使用打开后，进入连接数据库页：点击连接后，进入数据库列表页：
2020-11-17 16:16:56
1439
转载 airflow 修改中国时区(改airflow源码)
airflow默认使用utc时间，在中国时区需要用+8小时就是本地时间，下面把airflow全面修改为中国时区，带大家改airflow源码博主使用airflow版本是1.10.0，其它版本大同小异，参照修改即可1. 先讲使用 pip安装apache-airflow 的修改方式在airflow家目录下修改airflow.cfg，设置 default_timezone = Asia/Shanghai进入airflow包的安装位置,也就是site-packages的位置,以下修改文件均为.
2020-11-13 14:38:56
395
转载 Mac上安装MySQL服务与创建数据库
1.安装MySQL （免费）官网现下载地址http://dev.mysql.com/downloads/mysql/ （我选的mysql-5.7.17-macos10.12-x86_64.dmg）点击download会跳转到另外一个界面，这个界面是提示你需不需要注册的，直接选择最下面的“No thanks,just take me to downloads!”即开始下载。2.解压后分别安装mysql-5.7.17-osx10.6-x86_64.pkg：这个是MySql的主要程序包...
2020-11-13 11:06:42
143
原创 百度图像搜索爬虫BaiduImagesDownload
BaiduImagesDownload是一个快速、简单百度图片爬取工具，可以通过pip install 直接安装安装pip install BaiduImagesDownload使用基本from BaiduImagesDownload.crawler import Crawler# original为True代表优先下载原图net, num, urls = Crawler.get_images_url('二次元', 20, original=True)Crawle...
2020-11-12 17:40:49
211
1
转载 JSON文件内容加注释的几种方法
JSON规范，不支持注释。之所以不允许加注释，主要是防止：过多的注释，影响了文件本身的数据载体的目的。有些文件，尤其是配置文件，加入解释说明一些数据项的含义，是有必要的。1、使用JSON5规范 JSON5规范允许在JSON文件中加入注释：单行注释，多行注释均可。2、直接用json-schema，使用规范中的注释字段 优点：功能强大 缺点：json-schema与json数据本身分离3、使用去注释的库 可以使用npm的strip-json-com...
2020-11-06 13:56:15
905
转载 数据标注软件labelme详解
1. Labelme 是什么？Labelme 是一个图形界面的图像标注软件。其的设计灵感来自于http://labelme.csail.mit.edu/。它是用 Python 语言编写的，图形界面使用的是 Qt（PyQt）。实例分割样例（VOC）其它样例（场景分割，目标检测，分类）各形状标注样例（多边形，矩形，圆形，多段线，线段，点）2. Labelme 能干啥？对图像进行多边形，矩形，圆形，多段线，线段，点形式的标注（可用于目标检测，图像分割，等任务）。 对图...
2020-10-28 14:51:30
1507
转载 kaggle——销量预测的baseline（M5 Forecasting - Accuracy）
前言在刚刚结束的kaggle比赛M5 Forecasting - Accuracy中，因为是第一次参加，笔者也是花了大量的时间和精力在上面，历时4个月,最终拿到一块银牌（所以我拿到了大学第一个考试挂科。。。求求电磁场老师高抬贵手给点平时分放我一马吧。。。早上看到kaggle成绩异常兴奋，中午考完直接爆炸=。=），当然运气占了很大因素，这次比赛private leadboard的shake up非常大，排名波动几千名都存在的。笔者运气不错，是向上的shake：)。这里总结一下销量预测的基本流程。从下
2020-10-27 11:53:30
516
转载 python强大的区间处理库interval用法介绍
python强大的区间处理库interval用法介绍原文发表在我的博客主页，转载请注明出处前言这个库是在阅读别人的源码的时候看到的，觉得十分好用，然而在网上找到的相关资料甚少，所以阅读了源码来做一个简单的用法总结。在网络的路由表中，经常会通过掩码来表示流表的匹配域，在python中有的时候为了方便的模拟流表的匹配过程，可以通过一个整数区间来表示诸如IP等的匹配范围，而本文介绍的库在区间处理上是十分的强大与方便。用法举例不论是在Linux系统还是Windows系统上，我们都可以方便的安装p
2020-10-13 11:47:51
1126
1
转载 python itertools.product的用法
目前有一字符串s ="['a', 'b'],['c', 'd']"，想把它分开成为两个列表：list1 = ['a', 'b']list2 = ['c', 'd']之后使用itertools.product()求笛卡尔积，应该写成：1 for i in itertools.product(list1, list2):2 print i结果为：('a', 'c')('a', 'd')('b', 'c')('b', 'd')然而使用eval(s)获得的是一个元组.
2020-10-12 18:05:14
953
原创 TypeError: Scalar value for argument ‘color‘ is not numeric
使用openCV生成验证码时 cv2.putText出现TypeError: Scalar value for argument ‘color’ is not numeric这句话的意思是颜色参数不是不是数字类型引发该错误的情况有两种1、color值超出（0，255）2、坐标值错误，输入坐标为[200, 399]列表形式时，也会引发该错误，转成tuple即可解决...
2020-10-02 01:27:00
612
转载 opencv-python读取tiff影像，并展示
pencv-python可以读取各类图片，然后对图像进行处理，结合矩阵操作，可以非常方便的对图像进行各类操作，下面就展示一个简单的demo，用opencv-python读取图像并展示出来。Opencv的库安装可能比较麻烦一点。# 导入cv模块import cv2 as cvimport numpy as np# 读取图像，支持 bmp、jpg、png、tiff 等常用格式# 第二个参数是通道数和位深的参数，有四种选择，参考https://www.cnblogs.com/goushib
2020-10-01 22:44:03
2404
转载 浅谈python下tiff图像的读取和保存方法
对比测试scipy.misc和PIL.Image和libtiff.TIFF三个库输入：1. (读取矩阵) 读入uint8、uint16、float32的lena.tif2. (生成矩阵) 使用numpy产生随机矩阵，float64的matimportnumpyasnpfromscipyimportmiscfromPILimportImagefromlibtiffimportTIFF## 读入已有图像,数据类型和原图像一致tif32=mis...
2020-10-01 22:38:39
1372
转载 python中使用gdal，osgeo
目的：实现fromosgeoimportgdal工具：win10，vc2015，gdal-2.2.2，download.osgeo.org/gdal/2.2.2/（用的13M的那个，我估计是64位的，就按64位操作了）py3.5（anaconda4.2.0）说明：1.用的cmd命令行编译gdal（只编译了gdal，参考了blog.csdn.net/cmfootball/article/details/19981833）2.python版本是anaconda...
2020-10-01 22:34:11
1560
转载 python3+osgeo处理高分影像初探
之前用IDL写高分预处理的时候，就有想过可不可以用python+GDAL写，可是一直卡在了第一步的正射校正，gdal.Warp()函数始终找不到放DEM的位置，最近终于找到了。我尝试了一景1.3G的GF1/WFV，采用ENVI/IDL的脚本运行每次都需要500s以上，而python3+osgeo则稳定在惊人的15s以内！就速度而言，python3+osgeo远远快于ENVI接口。以下是今天写的简单的代码，包括解压函数，正射校正函数和融合函数（GDAL的融合方法只有默认的加权brovey变换）。运行了一景
2020-10-01 22:30:57
828
3
转载 python语言转换库snowballstemmer
安装pip install snowballstemmer这是一款非常瘦小的语言转换库，支持15种语言。 'danish': 丹麦语, 'dutch': 荷兰语, 'english': 英语, 'finnish': 芬兰语, 'french': 法语, 'german': 德语, 'hungarian': 匈牙利语, 'italian': 意大利语, 'norwegian': 挪威语, 'porter': 波特
2020-09-28 10:39:42
331
转载 Pandas：细说groupby和aggregate、transform、apply以及filter
这一个知识点感觉是目前接触的Pandas中最难的了，故写篇博客记录一下，这一节有点函数式编程的味道~（一）groupby先说一下goupby，顾名思义，就是分组的意思，给你一个DataFrame，以某一列为标准，分成若干个“子DataFrame”，这些个“子DataFram”由两部分组成，一个是索引index，即类别，一个是“子DataFrame”的内容，数据类型也是DataFrame，不过行数少点罢了，说白了，就是把那一列相同类别的所有行单独提出来，凑成一个DataFrame，该列有N种类别就有N
2020-09-27 16:18:27
205
1
转载 SEM,KPI,CPC,CPA,ROI……一篇文章搞懂电子商务最全术语!
导读：在互联网运营的过程中或者接触网络营销的人，都知道，有些缩写的英文看的让人头疼，总是记不住，今天给大家搜集了最全的术语，让你轻松记全，记得收藏!SEM：Search Engine Marketing的缩写，意即搜索引擎营销；EDM：Electronic Direct Marketing的缩写，就是电子邮件营销；AdWords：Google的关键词竞价广告；CPS：Cost Per Sales的缩写,即销售分成；CPA：Cost Per Action，每次动作成本，即根据每个访问者
2020-09-27 11:40:08
590
转载 python中分组排序--groupby(),rank()
1.python 中分组统计1.1按性别统计出年龄最大，最小，平均值 import pandas as pd df = pd.read_excel(r'./data.xlsx') print(df) ages = df.groupby(['gender'])['age'] ages_min = ages.min() ages_max = ages.max() ages_mean = ages.mean() prin.
2020-09-23 17:30:34
1672
转载 Residual Attention Network 翻译
阅读笔记（paper+code）：Residual Attention Network for Image Classification代码链接：https://github.com/fwang91/residual-attention-network深度学习中的attention，源自于人脑的注意力机制，当人的大脑接受到外部信息，如视觉信息、听觉信息时，往往不会对全部信息进行处理和理解，而只会将注意力集中在部分显著或者感兴趣的信息上，这样有助于滤除不重要的信息，而提升信息处理的效率。最早将Atte
2020-09-23 09:49:09
169
转载 mac使用Shell(终端)SSH连接远程服务器
前提：要有你需要连接的服务器的ip，端口号，服务器上的账户和密码1、首先打开终端，然后输入sudo su - 回车进入根目录2、然后输入：ssh -p 端口号 服务器用户名@ip （例如ssh -p 22 userkunyu@119.29.37.63）回车，到这会让你输入yes或者no来确认是否连接，输入yes回车3、然后输入在服务器上的用户密码回车4、到此进入的是你在服务器上的账户的目录，即为连接成功，最后输入sudo su -进入服务器的根目录，进行操作...
2020-09-21 15:09:57
483
转载 ypeError: Failed to convert object of type class ‘list‘ to Tensor. Contents: [Dimension(None), -1
问题：TypeError: Failed to convert object of type <class ‘list’> to Tensor. Contents: [Dimension(None), -1]. Consider casting elements to a supported type.解决方法：tf.reshape(max_pool, [batch_num, -1])改为tf.layers.flatten(max_pool)
2020-09-18 00:12:57
666
转载 tensorflow中关于 多维tensor的运算（tf.multiply, tf.matmul, tf.tensordot）
multiply 等同与* ，用于计算矩阵之间的element-wise 乘法，要求矩阵的形状必须一致(或者是其中一个维度为1)，否则会报错： import tensorflow as tf a = tf.constant([1, 2, 3, 4, 5, 6, 7, 8, 9, 10,11,12], shape=[2, 3, 2]) b = tf.constant([1, 2, 3, 4, 5, 6], shape=[2, 3, 1]) c = a*b .
2020-09-17 23:33:33
837
转载 tf.multiply dot tf.matmul用法
import tensorflow as tfa = tf.constant([[1,2,3],[1,2,3]])b = tf.constant([[2,3,4]])b_1 = tf.constant([[2,3],[1,2],[3,4]])print("a",a)print("b",b)print("b_1",b_1)c = a*b # (2,3)*(1,3)->(2,3) 两个矩阵中对应元素各自相乘print("c",c)d = tf.multiply(a,b)# (2.
2020-09-17 22:50:52
210
转载 tf.tensordot运算
函数原型：tf.tensordot(a, b, axes)tensordot函数用来进行矩阵相乘，它的一个好处是：当a和b的维度不同时，也可以相乘。举例：1.import tensorflow as tfa = tf.ones(shape=[2,3,3])b = tf.ones(shape=[3,2,6])c = tf.tensordot(a,b, axes=1)with tf.Session() as sess: sess.run(tf.global_variables_in
2020-09-17 22:48:06
281
转载 在物体检测中搞定小目标
在计算机视觉中，检测小目标是最有挑战的问题之一。本文给出了一些有效的策略。本文来自公众号：AI公园作者：Jacob Solawetz编译：ronghuaiyang从无人机上看到的小目标为了提高你的模型在小目标上的性能，我们推荐以下技术： 提高图像采集的分辨率 增加模型的输入分辨率 tile你的图像 通过增强生成更多数据 自动学习模型anchors 过滤掉无关的类别 为什么小目标检测很困难？小目标问题困扰着世界各地的...
2020-09-15 14:14:31
120
转载 Opencv的DNN模块如何用GPU加速
参考：https://www.pyimagesearch.com/2020/02/03/how-to-use-opencvs-dnn-module-with-nvidia-gpus-cuda-and-cudnn/十分给力，建议细看
2020-09-15 14:07:27
1179
转载 BatchNormalization、LayerNormalization、InstanceNorm、GroupNorm、SwitchableNorm总结
本篇博客总结几种归一化办法，并给出相应计算公式和代码。1、综述1.1 论文链接1、Batch Normalizationhttps://arxiv.org/pdf/1502.03167.pdf2、Layer Normalizaitonhttps://arxiv.org/pdf/1607.06450v1.pdf3、Instance Normalizationhttps://arxiv.org/pdf/1607.08022.pdfhttps://github.com/Dmit
2020-09-14 19:27:22
115
转载 CNN全连接层和卷积层的转化
0. 前言自AlexNet网络在ImageNet LSVRC-2012的比赛中，取得了top-5错误率为15.3%的成绩后卷积神经网络CNN在图像深度学习中成为不可缺少的大杀器。以图像分类任务为例在对最后一个卷积层进行池化后一般会再接2~3个全连接层(Full Connected Layer)，这是一个高维向低维特征映射的过程，多个全连接层的作用是增加函数非线性，可以理解为提升分类的准确度。这种结构在VGG（2014）系列中仍有使用，但是全连接层的加入会使模型带产生过量参数，之后的网络都在想办法减少和
2020-09-14 18:44:15
2198
转载 如何将卷积神经网络中的全连接层变成卷积层
全连接层实际就是卷积核大小为上层特征大小的卷积运算，一个卷积核卷积后的结果为一个节点，就对应全连接层的一个神经元。假设：最后一个卷积层的输出为7×7×512，连接此卷积层的全连接层为1×1×4096(相当于全连接网络有4096个神经元)。相当于一个全链接网络的输入层有7×7×512个输入神经元，下一层有4096个神经元。如果将这个全连接层转化为卷积层：1.共需要4096组滤波器2.每组滤波器含有512个卷积核3.每个卷积核的大小为7×74.则输出为1×1×4096由于每个滤波核的大小和上一.
2020-09-14 18:31:49
705
转载 faster rcnn讲解很细
featuremap上每个滑窗中心对应原图的一个区域（感受野），其中心点替换掉上表中的（7.5,7.5）即可得到9个anchor的坐标。R-CNN:(1)输入测试图像；(2)利用selective search 算法在图像中从上到下提取2000个左右的Region Proposal；(3)将每个Region Proposal缩放(warp)成227*227的大小并输入到CNN，将CNN的fc7层的输出作为特征；(4)将每个Region Proposal提取的CNN特征输入到S...
2020-09-14 18:15:16
109
转载 从零开始写一个发送h264的rtsp服务器(下)
从零开始写一个发送h264的rtsp服务器(下)一、H264是如何通过rtsp发送的简单来说，H264就是通过打包到rtp协议的数据部分发送出去的。H264打包成rtp数据包有三种方式单一封包模式 组合封包模式 分片模式 要想弄明白这三种打包方式，必须先弄清楚h264的组成结构，或者叫组成单元。 二、H264结构单元H264数据流最基本的结构单元叫nalu单元。H264的nalu单元组成：[start code] + [nalu header] + [nalu
2020-09-14 11:17:32
169
1
转载 从零开始写一个发送h264的rtsp服务器(上)
从零开始写一个发送h264的rtsp服务器(上)一、什么是RTSP通常所说的rtsp协议其实包含三个协议： rtsp协议, rtp协议, rtcp协议各协议运作流程概要：第一阶段：rtsp协议负责沟通传输什么数据，传的是图像还是声音，还是两者混合？图像的话传是h264流，还是h265流，还是jpeg流？后续的rtp，rtcp协议是采用tcp还是udp，端口号是多少都是通过第一阶段的rtsp协议确定的。第二阶段：通过rtp协议传输数据，rtcp进行网络传输质量的监控第三阶段：通过rts
2020-09-14 11:14:11
95
转载 count(1)、count(*)与count(列名)的执行区别
执行效果：1. count(1) and count(*)当表的数据量大些时，对表作分析之后，使用count(1)还要比使用count(*)用时多了！从执行计划来看，count(1)和count(*)的效果是一样的。 但是在表做过分析之后，count(1)会比count(*)的用时少些（1w以内数据量），不过差不了多少。如果count(1)是聚索引,id,那肯定是count(1)快。但是差的很小的。因为count(*),自动会优化指定到那一个字段。所以没必要去coun...
2020-09-05 13:14:11
111
转载 ECA-Net: Efficient Channel Attention for Deep Convolutional Neural Networks
论文《ECA-Net: Efficient Channel Attention for Deep Convolutional Neural Networks》的完整翻译，如有翻译不当之处敬请评论指出，蟹蟹！(2019-10-17)作者：Qilong Wang1, Banggu Wu1, Pengfei Zhu1, Peihua Li2, Wangmeng Zuo3, Qinghua Hu1发表：暂未知代码：https://github.com/BangguWu/ECANet摘要通道注意力在改善
2020-09-05 12:12:40
650
OpenCV-master
2018-05-30
Thunderfighter.exe
2020-06-07
云net的留言板
发表于 2020-01-02 最后回复 2020-04-02
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人 TA的粉丝