- 博客(103)
- 收藏
- 关注
![](https://csdnimg.cn/release/blogv2/dist/pc/img/listFixedTop.png)
原创 2018华为软件精英挑战赛经验(一)
初赛、复赛。比赛耗时50天。忙忙碌碌、紧紧张张。西北赛区真的很强,最终成绩初赛6/64 复赛6/36。真是666!!!简单说一下赛题:赛题围绕两个点展开:销量预测问题、放置优化问题。请求预测问题与简单解析:赛题给出了用户对于虚拟机请求的2-3个月的历史数据文档(txt文件),需要做的是通过读取和抽取文件中关键信息(时间信息)、统计历史虚拟机的请求数量。根据历史数据去预测接下来一段时间(时间的长短、...
2018-04-17 00:32:59
7188
3
![](https://csdnimg.cn/release/blogv2/dist/pc/img/listFixedTop.png)
原创 芯片缺陷检测项目
Tips:需要了解项目细节或者相关技术支持,以下是联系方式。邮箱:740595707@qq.comGithub源码:https://github.com/dlphay/halcon_dlphay(源码中去掉了部分核心代码,需要Github账号,将项目Star之后截图发到邮箱,我会把核心代码进行回复)机器视觉项目----芯片缺陷检测01 应用与背景封装体检测的内容包括(括...
2017-12-21 16:11:21
26912
27
![](https://csdnimg.cn/release/blogv2/dist/pc/img/listFixedTop.png)
原创 指导Agent在XX的环境中做出最优决策的模型框架
任务:自动驾驶具备人的行为智能(指导Agent在XX的环境中做出最优决策的模型框架)的目的。 针对自动驾驶问题,提出不需要专家知识辅助的 简单说明:增强学习中神经网络需要完成的任务:针对图像,通过(神经网络)抽象出任务所处环境的特征信息,将特征信息与动作行为之间建立联系(相比于传统图像识别任务:特征信息与识别目标位置、类别之间建立联系)。Agent需要与环境层(真实环境,模拟环境,游戏环境
2017-10-11 09:36:00
3207
原创 Java数据结构与结合框架
目录Java数据结构枚举(Enumeration)位集合(BitSet)向量(Vector)栈(Stack)字典(Dictionary)哈希表(Hashtable)属性(Properties)Java集合框架设计目标框架介绍接口实现类持续更新中.....Java数据结构枚举(Enumeration)定义了一种从数据结构中取回连续元素的方式,可以枚举(一次获得一个)对象集合中的元素,用在Vector和Properties。public
2020-05-24 22:13:24
462
原创 NAT类型与验证方法
方法一NAT类型测试工具:http://www.pc6.com/softview/SoftView_92208.htmlSTUN服务器:方法二PyPunchP2P:https://github.com/laike9m/PyPunchP2P
2020-05-24 16:16:54
2201
原创 bittorrent协议
简述Bittorrent(BT) wiki:https://wiki.theory.org/index.php/BitTorrentSpecification文件分发协议,下载过程主要包括:BT客户端Peer(有.torrent文件)首先解析.torrent文件得到Tracker地址,然后连接Tracker服务器。Tracker服务器回应Peer的请求,提供下载者其他Peer(包括发布者)...
2020-03-22 20:18:02
1267
原创 linux上部署nginx服务
安装部署$ wget http://nginx.org/download/nginx-1.10.2.tar.gz$ wget http://www.openssl.org/source/openssl-fips-2.0.10.tar.gz$ wget http://zlib.net/zlib-1.2.11.tar.gz$ wget ftp://ftp.csx.cam.ac.uk/pub...
2020-03-18 19:54:16
325
原创 P2P-CDN融合技术初探
P2P-CDN融合技术初探趋势未来4K、5G、IPv6时代的到来,大流量请求、超低延迟的需求日益迫切。P2P与CDN技术融合是结构互异融合策略,兼并分发与共享特性。同时,P2P挖掘端侧缓存价值,并将其作为CDN可拓展空间。发展从树状结构到优化的网状结构。P2P本身特点优势:低成本,扩展性。缺点:不可监管、QoS服务无法保障、无内容版权监管、用户层数据无法有效管控。...
2020-03-15 10:37:06
3487
原创 rocksDB要点
rocksDB定义快速存储系统,充分挖掘 Flash or RAM 硬件的读写特性,支持单个 KV 的读写以及批量读写。本质:牺牲了一部分读的性能和增加了合并的开销,换取了高效的写性能。LSM-Tree(Log-Structured-Merge-Tree)的理解简述:内存中构建“小树”,到一定的规模,Merge到磁盘的“大树”。 多level的文件格式:最热最新的数据L0层,最冷...
2020-01-20 22:29:50
428
原创 随机森林
RF思想集成学习的思想将多棵树集成的一种算法,核心:决策树+模型融合。模型融合Bagging 思想,可以将弱分类器融合之后形成一个强分类器,融合之后的效果会比最好的弱分类器更好,Boosting也是这样的思想。Bagging思路1. 每轮从原始样本集中使用Bootstraping的方法抽取n个训练样本(在训练集中,有些样本可能被多次抽取,而有些样本可能一次也没有被抽取到),共进行k...
2019-10-08 23:40:01
269
原创 Redis数据库
后续有待完善。。。。。。基本概念redis是一个key-value存储系统,支持push/pop、add/remove及取交集并集和差集,支持多种Value类型。配置内容daemonizeyespidfile/usr/local/redis/var/redis.pidport6379timeout300logleveldebuglogfile/usr/local/red...
2019-10-07 18:01:07
172
原创 前缀树trie预测与热度扩散预测模型
trie分类从根节点到叶子节点,从根节点开始搜索,在其节点上搜索其子节点的内容与之相匹配,迭代搜索,直到搜索到叶子结点或者内容结束(不局限于叶子结点),读取该节点上的内容,即为所查找的内容,trie又被称为字典树,如果被搜索的内容是字典内容的子集,那么可以在字典树中搜索到该内容。在预测或者说查询过程中,如果遇到这样的情况:被搜索的内容不是字典的子集,那么将搜索不到。搜索不到的时候,需要将该内容...
2019-10-07 17:28:19
465
原创 规则学习
知识图谱与基本概念基本概念规则学习定义:从训练数据中学习出一组能用于对未见示例进行判别的规则。规则定义:规则一般是:语义明确、能描述数据分布所隐含的客观规律或领域概念。逻辑规则定义:⊕←????1⋀????2⋀????3…⋀????????⊕←f_1⋀f_2⋀f_3…⋀f_L 右侧为规则体:由L个逻辑文字组成的合取式。 左侧为规则头:逻辑文字组成的目标类别或概念。规则集:若干个逻辑规则组成的...
2019-09-16 23:11:15
3898
原创 Spark-SQL-Python编程
使用Pycharm来实现Spark-SQL。from pyspark import Rowfrom pyspark.sql import SparkSessionfrom pyspark.sql.types import StructField, StringType, StructTypeif __name__ == "__main__": spark = SparkSes...
2019-08-11 16:25:28
1046
原创 SQL-DQL
我们在MySQL和Spark-SQL使用过程中,常用的DQL如下。// 查询SELECT xx FROM table;SELECT * FROM table;SELECT DISTINCT xx FROM table;// + - * / 运算SELECT xx*1.5 FROM table;SELECT xx+xx FROM table;// 条件查询SELECT xx...
2019-08-09 16:11:13
286
原创 Spark-SQL-Scala编程
使用Scala语言编程例程:方式一:通过 case class 创建 DataFrames(反射)//定义case class,相当于表结构case class People(var name:String,var age:Int)object TestDataFrame1 { def main(args: Array[String]): Unit = { val con...
2019-08-07 18:55:08
331
原创 Spark-SQL-Java编程
认识:最核心的编程抽象就是DataFrame。原理:将Spark SQL 转化为 RDD, 然后提交到集群执行。SparkSession:统一的切入点,实质上是SQLContext和HiveContext的组合。允许用户通过它调用 DataFrame 和 Dataset 相关 API 来编写程序DataFrame:以RDD为基础的分布式数据集,二维表格。schemaRDD,比RDD多了...
2019-08-07 17:34:49
430
原创 PySpark实践
大数据入门与实战-PySpark的使用教程:https://www.jianshu.com/p/5a42fe0eed4dPySpark – SparkContextclass pyspark.SparkContext ( master = None, appName = None, sparkHome = None, pyFiles = None, e...
2019-08-03 23:52:54
231
原创 spark实践
最权威的官网:http://spark.apache.org/--master // master 的地址,提交任务到哪里执行,例如 spark://host:port, yarn, local--deploy-mode // 在本地 (client) 启动 driver 或在 cluster 上启动,默认是 client--class // 应用程序的主类,仅针对 java ...
2019-08-03 22:47:37
68203
原创 Hadoop+Spark集群配置
重要参考文献:http://wuchong.me/blog/2015/04/04/spark-on-yarn-cluster-deploy/准备工作操作系统:Ubuntu-14.04.1-desktop-amd64 Hadoop 版本:hadoop-2.7.2:包含文件管理系统 HDFS 和任务调度系统 YARN Spark 版本:spark-1.6.1-bin-without-hado...
2019-07-28 17:24:44
483
原创 CDN - 初理解
CDN背景:传统模式下,用户的URL请求由DNS域名解析,直接得到相应源站的IP地址,获取内容。源站在内容交付过程中,尤其是在相应大规模并发请求的情况下,由于源站本身资源受限,导致网络阻塞、相应速度缓慢的现状。相应的解决方案是:构建内容交付网络(CDN),首先通过负载均衡来调度获得距离用户最近路径的CDN节点,引入缓存Cache服务来替代租户源站,来交付用户请求的数据需求与内容,缓解源站压力,...
2019-07-27 09:46:08
474
原创 Spark - 初理解
计算引擎Spark是什么?专为大规模数据处理的快速通用的计算引擎(基于MapReduce算法实现的分布式计算)。Spark特性高级 API,可以更多精力专注于应用所要做的计算本身。Spark 提供了80多个高级运算符。 快,支持复杂算法和交互式计算。内存计算下:Spark比Hadoop快100倍。 通用引擎,运算:SQL 查询、文本处理、机器学习等。大量的库无缝组合使用:Sp...
2019-07-26 14:58:48
163
原创 Hadoop - 初理解
Hadoop是什么?大量数据进行分布式处理的软件框架,存储HDFS和计算Map/Reduce,像使用单机一样使用分布式,用户可以不了解分布式底层细节的情况下,开发分布式程序。充分利用集群的威力高速计算和存储。Hadoop背景与现状?大型企业将Hadoop 技术运用在自身的服务中。 Hadoop解决方案的商业型公司也纷纷跟进,提供Hadoop的商业服务。 越来越多的企业将Had...
2019-07-26 10:30:05
190
原创 AI基础原理篇(一)
人工智能基础总结历史:1950:图灵测试,机器智能的度量1956 - 1974:黄金发展期1956:会议,AI研究领域诞生1958:第一个AI程序,逻辑理论家(LT)1965:医学诊断方法程序1974 - 1980:第一个冬天1980– 1987:繁荣期,决策树模型,多层人工神经网络(ANN)1987 - 1993:第二个冬天1993 – Now:爆发期...
2019-07-13 17:58:18
3609
原创 监督分类器
监督分类器总结分类器具有学习能力的描述:通过数据提高分类器的分类表现!!!1 监督回归问题中的:线性回归、多元线性回归、非线性回归2 分类标准中的:伯努利分布的Logistic二分类和多项式分布的Softmax多分类3 距离法则和投票法则的KNN4 小规模数据十分效果的决策树5 超平面方法的SVM6 神经网络中的稀疏编码1 线性回归、多元线性回归、非线性回归从回...
2018-07-26 16:49:50
3895
原创 算法时间复杂度与空间复杂度分析
时间复杂度分析:XXXXXXXW:O(N^3)1秒内可以处理大约10^2量级的数据插入排序法:O(N^2)1秒内可以处理大约10^4量级的数据选择排序法:O(N^2)1秒内可以处理大约10^4量级的数据归并排序法:O(NlogN)1秒内可以处理大约10^7量级的数据寻找数组中最大/最小值:O(N)1秒内可以处理大约10^8量级的数据二分查找法:O(logN)1秒内可以处理大约10^10量级的数据二...
2018-07-10 17:35:52
7014
原创 算法无好坏,优化最关键
算法是一个思考过程,独特的见解很重要!!!撇开实际问题,单纯讨论一个算法的好坏优劣是没有意义的,在解决一个实际问题中,“好的算法”并不一定有效,“差的算法”并不一定就不是最适合的算法,往往一个算法与实际问题的契合度最为关键。那么什么是最好的算法:针对一个实际问题,考量各方面的因素,选择一个算法的大的方向和众多可以优化的小点,不断去优化的算法是针对这个问题的最好的算法。可以考量的潜在因素:1 考虑数...
2018-07-04 09:51:56
814
原创 泊松克隆-图像融合
五个步骤:1. 图片读取2. 求取图像的梯度场可以通过差分的方式求取图像的梯度场,包括source图像和destination图像。3. 求解融合图像的散度计算融合后图像每个像素的散度值。4. 泊松重建根据已知的图像散度和边界条件,建立泊松方程,并求解。5. 图像融合效果源代码:#include<opencv2\opencv.hpp>...
2018-06-01 20:23:22
1627
原创 无法启动此程序,因为计算机中丢失VCRUNTIME140D.dll 尝试重新安装此程序以解决此问题
一般可以配置一下两项:1.项目 -> 配置属性->常规->MFC的使用 :在静态库中使用MFC。2.项目 -> 配置属性->C/C++->代码生成->运行库 :选择 多线程调试(/MT)。编译时,选择的是release,win32(这个选择项在工具栏的debug选框中,一般我们使用debug方式)...
2018-05-04 14:42:07
36902
6
原创 Microsoft C++ 异常: 内存位置 0x00dde3e0 处的 cudaError_enum
问题描述:内存位置 0x00dde3e0 处的 cudaError_enum原因:CUDA版本 与 GPU版本 不兼容导致!!!建议:去nvidia官网查询当前gpu兼容的cuda!!!test01.exe 中的 0x779208c2 处最可能的异常: Microsoft C++ 异常: 内存位置 0x00dde3e0 处的 cudaError_enum。test01.exe 中的 0x7792...
2018-03-14 15:49:49
1525
原创 win10上cmake编译opencv-gpu32 位 版本(vs2010 IDE)
关于64位opencv-gpu 跳转:http://blog.csdn.net/dlphay/article/details/79007815配置:实测可用:win10x64 + cuda5.0(32位笔记本版本) + vs2010 + CMake3.9.6Checking for Windows (Phone) Platform SDK 8.0/8.1Checking for Visual S...
2018-03-13 17:18:22
1117
原创 cpp note
2018.03.06:1 const 常量会在编译时被全部替换。const int i = 0; auto b = i; // b 是一个整数!!! 从顶层const特征被忽视。2 auto 一条语句声明多个变量时,初始基本数据类型得一致。auto i = 0, *p = &i; // 正确auto i = 0, j = 3.14; // 错误auto &h = 42...
2018-03-13 09:57:11
494
原创 CMake Error: The following variables are used in this project, but they are set to NOTFOUND.
CMake Error: The following variables are used in this project, but they are set to NOTFOUND.错误引发的深思:关于opencv2.4.13.2在cmake(3.9.6版本)编译为(vs IDE 32位架构下支持的)opencv_gpu包,过程中,选择Visual Studio 14 2015(注意与Visua...
2018-03-09 21:21:30
34401
原创 mfc单文档简介代码实例
//我们功能按钮命令的ID分别为ID_32771和ID_32772#define ID_32771 32771#define ID_32772 32772//在CDllUseDemoView.h头文件中CDllUseDemoView类中进行声明class CDllUseDemoView : publi...
2018-03-04 16:56:12
3187
3
原创 mfc单文档框架剖析
要看具体的代码实例请跳转:点击打开链接通过一些宏定义实现:IMPLEMENT_DYNCREATEBEGIN_MESSAGE_MAPIMPLEMENT_DYNCREATE(class_name,base_class_name)说明:通过DECLARE_DYNCREATE宏来使用IMPLEMENT_DYNCREATE宏,以允许CObject派生类对象在运行时自动建立。主机使用此功能自动建立对象,例如...
2018-03-04 15:22:47
2213
原创 基于sift特征的动态场景小目标跟踪算法
初始检测得到运动目标中心坐标点P(x,y)、宽度width、高度height和pt1和pt2坐标点信息。第1步: n1 = sift_features(image, &feat1,1,pt1,pt2 ); 计算目标区域扩大一点,再计算其特征点描述信息。 具体区域大小: n=1/pow(2.0,o); a...
2018-03-01 20:15:11
3045
1
原创 blob检测多目标
opencv版本: vector keypoints; SimpleBlobDetector::Params params; params.filterByArea = true; params.minArea = 2; params.maxArea = 100; IplImage* img_cpu_AA = cvLoadImage(path_image[INTERVAL_IMAGE
2018-01-31 17:37:30
940
原创 opencv(gpu模块)
FGDStatModel:包含复杂背景的视频中的前景对象检测MOG_GPU:基于高斯混合的背景和前景分割算法MOG2_GPU:Improved Adaptive Gaussian Mixture Model for Background SubtractionGMG_GPU:背景减法器模块BroxOpticalFlow:光流(计算出相邻帧之间物体的运动信息的一种方法,光流是由于
2018-01-30 19:07:05
1374
原创 SIFT、ORB算法(SSE,GPU)加速
对于特征点匹配算法,特征点的提取计算消耗的时间决定了算法是否能达到实时的要求,在速度提升上面做了一些工作总结特点和区别SIFT特征是图像的局部特征,对平移、旋转、尺度缩放、亮度变化、遮挡和噪声等具有良好的不变性,对视觉变化、仿射变换也保持一定程度的稳定性。ORB:An Efficient Alternative to SIFT or SURF”的文章中提出:http://iee
2018-01-10 11:25:38
6908
2
原创 win10上cmake编译opencv-gpu版本(vs2015 IDE)
opencv的GPU版本的编译工作搞了很长时间,总结一下:tools:小新锐7000 : windows10 x64oepncv2.4.13.2 : htps://sourceforge.net/projects/opencvlibrary/files/opencv-win/2.4.13/opencv-2.4.13.2-vc14.exe/downloadvs2015 : 使用的oepncv2.4....
2018-01-08 22:09:41
4735
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人