- 博客(58)
- 资源 (3)
- 收藏
- 关注
RSS订阅转载 数据采集汇聚----全量和增量
数据如果保留多份，就会存在一致性问题，就需要同步。数据同步一般有两种方式：全量和增量。数据如果要保留副本，要么同时写（就是多写），或者进行复制：异步写（即从主数据拷贝到副本）；全量1.每天定时（避开业务高峰期）或者周期性全量把数据从一个地方拷贝到另外一个地方；2.可以采用直接全部覆盖（使用“新”数据覆盖“旧”数据）；或者走更新逻辑（覆盖前判断下，如果新旧不一致，就更新）；3.这里面有一个隐藏的问题：如果采用异步写，主数据物理删除了，怎么直接通过全量数据同步？这就需要借助一些中间操作日志文件，或者其.
2021-01-11 17:22:09
3744
转载 转载_Alexnet迁移学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。本文链接：https://blog.csdn.net/qq_41569159/article/details/89048904在刚开始使用MATLAB进行深度学习时，使用MATLAB自带的深度学习工具箱进行迁移学习，十分方便。对只是使用这个工具的人来说非常便利。我这里采用的是MATLAB关于...
2019-09-04 10:53:52
758
原创 【matlab】使用alexnet进行特征提取
1.下载alexnet工具箱在命令栏输入alexnet,若不报错说明已经安装，若出现错误按照提示去下载工具箱；下载地址：https://ww2.mathworks.cn/matlabcentral/fileexchange/59133-deep-learning-toolbox-model-for-alexnet-network（1）需要先注册（十分简单），登陆，下载；（2）下载完成之后，...
2019-09-02 13:47:21
4501
2
原创 3.2 tensorflow实现softmax regression识别手写数字
数据集：MNIST，60000个28x28灰色图像，55000个训练集，5000个测试集；Softmax Regression模型：将可以判定为某类的特征相加，将这些特征转化为判定是这一类的概率；loss function:cross-entropy用来判断模型对真实概率分布估计的准确程度；其中y为预测的概率分布，y’是真实的概率分布；优化算法：SGD(Stochastic Gradi...
2019-07-08 15:02:31
181
原创 5.3tensorflow实现进阶的卷积神经网络
数据集：cifar10train50000张，test10000张，共10类，每类6000张，图片大小为32x32的RGB；1.LRN模仿生物神经系统的“侧抑制”机制，对局部神经元的活动创建竞争环境，使其中影响较大的值变得更大，并抑制反馈较小的神经元，增强了模型的泛化能力。LRN适合RELU这种没有上限边界的激活函数。#下载CIFAR10数据集#git clone https://git...
2019-07-03 13:09:55
223
原创 5.2tensorflow实现简单的卷积神经网络
数据集：mnist预计准确率：99.2%结构：2个卷积层，1个全连接层#!/usr/bin/env python# coding: utf-8#载入数据集from tensorflow.examples.tutorials.mnist import input_dataimport tensorflow as tfmnist = input_data.read_data_sets(...
2019-07-02 16:27:14
140
原创 5.1卷积神经网络
1.卷积神经网络降低对图像预处理数据的要求：cnn可以直接使用图像的原始数据作为输入，不必先使用sift算法提取特征。强泛化性：cnn对缩放，平移，旋转等畸变具有很强的泛化性。卷积的权值共享结构：大幅度减少神经网络的参数量，一方面防止过拟合一方面降低模型复杂度。2.卷积操作：卷积神经网络中，卷积层直接接受图像输入，每一个卷积操作只处理一小块图像，在传入到后面的网络中，每一层卷积...
2019-07-02 14:30:35
274
原创 面试_三星电子
面试公司：三星电子面试岗位：数据运营实习生面试地点：三星电子中国总部面试过程：hr带着我在休息区休息了一会，然后过了一阵hr说有三位面试官，当时我就开始紧张了！面试官是三位漂亮的小姐姐，她们说他们这里是市场销售部，简单介绍了一下情况！然后我开始自我介绍，又问了我一些基本情况！比如excel的基本能力，拿到一份数据如何进行分析，ppt的能力！还有我为什么选择数据分析的岗位！有没有面试过其他公司...
2019-05-30 18:05:44
1592
原创 乐创文娱面试
面试岗位：数据实习生面试时间：19年5月22日面试地点：乐创文娱公司面试过程：一共有两面，第一面是hr面，主要问了一些基本情况，比如实习时间，入职时间。还问了策划活动方面的一些东西，我说了自己做过的一个公益活动，简单描述了整个活动的流程，面试官还挺感兴趣的。最后说了一些待遇方面的情况，实习补助很低，问能不能接受。接着就是二面，来了两个业务方向的姐姐。一个负责数据分析的，一个应该是负责策划方案...
2019-05-22 14:17:58
385
原创 high-speed-downloadr
参考：https://github.com/high-speed-downloader/high-speed-downloader按照readme里面的介绍直接安装即可实现告诉下载！若内容失效可去我的微盘下载：https://share.weiyun.com/5GSpAfA...
2019-05-19 15:00:12
749
原创 新浪_数据分析
面试岗位：数据分析实习生（新浪新闻客户端）面试时间：2019.5.9面试地点：新浪总部大厦面试过程：先给了一份笔试题，是SQL的，大概二十分钟后面试官会进来面试！面试也没问什么内容，就简单介绍一下自己，介绍一下自己实习的经历，问一下你的水平，主要还是看你能不能胜任这份实习工作吧！笔试题的内容很贴合他们的业务（1.返回每天阅读量最大和最小的三页领域；返回月均日均阅读量最高的领域；2.给出另外一...
2019-05-11 15:05:49
540
转载 Visual Studio 2015下载及安装
亲测可用！！！Visual Studio Community 2015 简体中文免费版镜像SHA1：1044F9F4E0EA1304AFECF6780BF599F1DA248DF8http://download.microsoft.com/download/B/4/8/B4870509-05CB-447C-878F-2F80E4CB464C/vs2015.com_chs.iso其他版本可以...
2019-04-27 18:54:18
240
转载 MATLAB2016b下载安装教程
转载：https://blog.csdn.net/qq_33042605/article/details/79980068实测可用！！！
2019-04-27 18:39:22
3688
原创 Linux系统下安装matlab2012b和破解
安装环境：Ubuntu18.0Matlab2012b；安装步骤：下载：ftp://apache.uib.no/pub/ibiblio/mathlab/iso/R2012b_UNIX.iso这个地址下载比较快；挂载：sudo mount -t auto -o loop 镜像地址 /home/用户名/Matlab安装：sudo /home/用户名/Matlab/install安装...
2019-04-19 15:01:58
2770
4
原创 均值哈希用于图像检索（matlab）
提取图像灰度信息—>利用均值哈希算法得到图像的二值编码—>计算汉明距离判断图像相似性—>得到最终检索结果代码基于matlab实现：%ahash.m%利用均值哈希对图像进行哈希编码%建立哈希表Tahash：%Tahash{i, 1}：图像名字%Tahash{i, 2}：图片哈希码%Tahash{i, 3}：与查询图片汉明距离clc;clear all;path_...
2019-04-16 19:19:44
2280
原创 均值哈希；感知哈希；差值哈希
均值哈希（aHash）：图片缩放，一般为88，或者3232；图片灰度化；求平均值，并根据平均值将每一个像素二值化（大于均值为1小于均值为0）；将8*8=64位bit，每8个比特为一个十六进制值，转换成字符串，生成哈希值（指纹）；感知哈希（pHash）：图片缩放，一般32*32；图片灰度化；对图片进行离散余弦变换（DCT），转换频域；取频域左上角8*8大小（图片的能量都集中在低频...
2019-04-14 21:59:45
3431
1
转载 LSH(Locality Sensitive Hashing)原理与实现
https://blog.csdn.net/guoziqing506/article/details/53019049/
2019-04-10 21:15:36
6207
原创 CNN练习
（1）README操作指示文档；（2）下载matconvnet并进行配置；（3）运行extractCNN提取图片特征；（4）运行quaryInDatabase，更改查询ID更改查询图片进行检索；小结：1.database是才裁剪过得图片，可以查询返回所有相似图片；如果是图片没有裁剪，比如谢霆锋那张图片查询不能返回阴影很大的那一张，还是考虑采用裁剪过得图片作为数据库；2.未裁剪的图...
2019-04-03 19:34:42
438
转载 CNN+HABIR
http://yongyuan.name/blog/CBIR-CNN-and-practice.htmlhttp://yongyuan.name/blog/habir-updated-to-version-2.htmlCNN训练特征，HABIR比较哈希性能；
2019-04-03 10:18:07
253
转载 image retrieval（sift+bow）
利用SIFT提取特征 利用BOW进行聚类[ ]# coding: utf-8# In[156]:import cv2import numpy as npimport osfrom PIL import Imagefrom sklearn.cluster import KMeansfrom matplotlib import pyplot as plt#get_i...
2019-04-03 09:28:03
778
1
原创 基于内容的图像检索系统（总结）
一个小小的基于内容的检索系统1.环境：matlab2.图片集：自己的图片30张3.运行过程：运行GenIndex.m保存颜色特征（提取颜色矩）和纹理特征（LBP方法来进行提 取）；运行main.m进行图像检索；4.判定相似性：颜色矩和纹理特征向量的欧几里得距离，并给予不同的权值；5.结果：返回最相似的15张图片；小节：生成特征时间较慢，查询时间可以接受，结果不够理想；由于我的图片...
2019-04-02 22:03:17
2532
43
转载 BOW(总结)
参考资料：https://blog.csdn.net/polly_yang/article/details/8241471https://blog.csdn.net/tiandijun/article/details/51143765https://blog.csdn.net/gdengden/article/details/80702007https://blog.csdn.net/si...
2019-03-29 16:40:34
5813
原创 旷视科技_测试
怀着忐忑的心情来到这里，感觉这里的人很专业。我约的是下午五点的面试，提前到了这里，先在休息区填表，然后面试官就过来了。本来是要去会议室面，但是他们太忙了，所有的会议室都在使用，所以就在休息区面了。面试官：一个测试小姐姐问题：1.自我介绍；2.实习都做了什么，了解什么；3.测试的流程；4.如何做接口测试的；5.熟悉什么语言；6.一个文档test.txt里面有两列，一列是文件名，一列...
2019-03-28 13:37:01
1718
原创 墨迹天气_测试
约了上午十点的面试，地方很好找，一进公司就觉得这个公司节奏很慢。去前台拿了张表在休息区填写的时候联系了hr。过了几分钟hr过来，开始去会议室面试。一面：面试官：hr问题：1.自我介绍；2.为什么做测试；3.实习的时候主要负责什么，做了什么；4.都开发过什么；5.考研多少分；6.说一件你念书期间最有成就的一件事；7.说一件实习期间最有成就的一件事；8.能实习多久，一周几天，对薪...
2019-03-28 13:15:31
1370
原创 自如_智能家居硬件测试
由于事先面试官加了我微信，私下聊了两句，所以面试不是很紧张。到达链家，前台小哥哥那里领了张表，让我去三楼休息区填表等待，联系自己的面试官。填表的过程中面试官就来了，很有亲和力，不愧是老乡（这个是面试后知道的，他说是老乡感觉很亲切）。一面：就是这个老乡面试的啦，看得出来他很愿意和我亲近一些，所以面试氛围很轻松，没有一点紧张。首先还是自我介绍，然后问了我一些其他方面的东西，很简单。大致有：1.以...
2019-03-26 20:03:49
1767
原创 站酷网ZCOOL_测试
站酷是一家比较小的公司，一进门公司的文化墙充满艺术气息。前台小姐姐人很好，很温柔。接下来说一下面试流程：进去会议室，前台小姐姐拿了一份表格和一份题让我作答，大概20分钟以后把题拿走了。只有两个题，第一个是让写测试用例，输入三个人的工资，输出三个人的工资和，和超过30000或者输入异常会显示异常信息。第二题是简答，大概是你了解测试吗？了解多少？学习过测试的知识吗？都学习过什么？为什么选择做测试，你...
2019-03-25 17:01:55
678
原创 《图解HTTP》读书笔记——第六章
第6章 HTTP首部 6.1 HTTP报文首部 6.2 HTTP首部字段 1）首部字段结构： 首部字段名：字段值 2）HTTP首部字段类型：通用首部字段、请求首部字段、响应首部字段、实体首部字段。 3）通用首部字段： 请求首部字段： 响应首部字段： 实体首部字段： 4）端到端首部（End-to-end Header）:必须被转发，将会被转发给请求或者响应...
2018-08-08 16:38:50
281
原创 《图解HTTP》读书笔记——第十一章
第11章 Web的攻击技术 11.1 针对Web的攻击技术 1）主动攻击：以服务器为目标，攻击者直接访问Web应用，把攻击代码传入，前提是攻击者需要能够访问到资源；代表是SQL注入攻击和OS命令注入攻击； 2）被动攻击：以服务器为目标，利用全套策略执行攻击代码；11.2 因输出值转义不完全引发的安全漏洞 1）实施Web应用的安全对策大致有两部分：客户端的验证；Web应用端（服务器端）的...
2018-07-30 18:18:40
201
原创 《图解HTTP》读书笔记——第十章
第10章 构建Web内容的技术 10.1 HTML 10.2 动态HTML 1)DOM是用以操作HTML文档和XML文档的API（Application Programming Interface,应用编程接口），使用DOM可以取出元素内的字符串、改变CSS属性、使页面的设计发生改变等。10.3 Web应用 1）CGI(Comment Gateway Interface,通用网关接口)...
2018-07-30 17:20:34
269
原创 《图解HTTP》读书笔记——第九章
第9章 基于HTTP的功能追加协议 9.1 基于HTTP的协议 9.2 消除HTTP瓶颈的SPDY 1）为了实现web端大量内容的实时更新，HTTP标准的瓶颈： 一条连接上只能发送一个请求； 只有客户端可以发送请求，客户端也不接收响应以外的指令； 报文首部信息量大，未经压缩就发送； 可任意选择数据压缩格式； 2）Ajax的解决方法：利用核心技术XMLHttpRequest的API，...
2018-07-30 16:56:02
216
原创 《图解HTTP》读书笔记——第八章
第8章 确认访问用户身份的认证8.1 何为认证 1）认证信息： 密码：只有本人才会知道的字符串信息； 动态令牌：仅限本人持有的设备内显示的一次性密码； 数字证书：仅限本人（终端）持有的信息； 生物认证：指纹和虹膜等本人的生理信息； IC卡等：仅限本人持有的信息； 2）HTTP使用的认证方式： BASIC认证（基本认证）； DIGEST认证（摘要认证）； SSL客户端认证；...
2018-07-30 11:36:07
215
原创 《图解HTTP》读书笔记——第七章
第7章 确保Web安全的HTTPS7.1 HTTP的缺点 1）缺点：（1）使用明文进行通信，通信内容不安全，可能会被窃听；（2）不验证通信方的身份；（3）无法验证报文的完整性；7.2 HTTPS=HTTP+加密+认证+完整性保护 1）HTTP加上加密处理和认证以及完整性保护后即是HTTPS； 2）HTTPS是身披SSL外壳的HTTP； 3）SSL采用公开密钥加密的加密处理方式； ...
2018-07-25 15:24:03
246
原创 《笨方法学python》--习题5
习题5 更多的变量和打印#!usr/bin/python#--coding:utf-8--name = 'Zed A. Shaw'age = 35 #not a lieheight = 74 #inchesweight = 180 # lbseyes = 'Blue'teeth = 'White'hair = 'Brown'print "Let's talk abou...
2018-07-24 20:06:00
215
原创 《笨方法学python》--习题4
习题4 变量和命名#!usr/bin/python#--coding:utf-8--#汽车辆数cars = 100#每辆汽车里的座位数space_in_a_car = 4.0#司机人数drivers = 30#乘客人数passengers = 90#没有司机的汽车辆数cars_not_driven = cars - drivers#有司机的汽车辆数cars_dr...
2018-07-24 19:32:07
214
原创 《笨方法学python》--习题3
习题3 数字和数学计算#!usr/bin/python#--coding:utf-8--print "I will now count my chickens:"#表达式中只有数学运算符，就输出运算结果，与字符串用逗号分隔print "Hens", 25.0 + 30 / 6print "Roosters", 100.0 - 25 * 3 % 4print "Now I ...
2018-07-24 17:53:44
173
原创 《笨方法学python》--习题2
习题2 注释和井号#!usr/bin/python#--coding:utf-8--#A comment, this is so you can read your program later.#Anything after the # is ignored by python.print "I could have code like this." # and the com...
2018-07-24 16:59:45
146
原创 《笨方法学python》--习题1
习题1 第一个程序#!usr/bin/python#--coding:utf-8--print "Hello World!"print "Hello Again"print "I like typing this."print "This is fun."print "Yay! Printing."print "I'd much rather you 'not'."
2018-07-24 16:33:44
222
原创 《图解HTTP》读书笔记——第五章
第5章 与HTTP协作的Web服务器5.1 用单台虚拟主机实现多个域名5.2 通信数据转发程序：代理/网关/隧道 1）代理：是一种有转发功能的应用程序，不会改变请求的URI; 2)两种分类准则：是否利用缓存；是否会修改报文； 3）缓存代理（Caching Proxy）:预先将资源的副本缓存在代理服务器上，当代理以后再收到相同的资源请求时，直接将缓存的资源作为响应； 4）透明代理（T...
2018-07-20 16:22:01
136
原创 《图解HTTP》读书笔记——第四章
第4章 返回结果的HTTP状态码4.1 状态码告知从服务器端返回的请求结果 1）4.2 2XX成功 1）200 OK：客户端发来的请求在服务器端已经被正常处理； 2）204 No Content:客户端发送的请求已经被正常处理，但服务器没有响应的资源可以返回； 3）206 Partial Content:客户端进行了范围请求，服务器端成功的执行了请求，返回了相应的实体内容；4...
2018-07-20 15:17:24
180
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人