数据之巅-CSDN博客

原创 [置顶]C#中使用Redis不同数据结构的内存占有量的疑问和对比测试

最近在大量使用Redis来进行数据统计前的清洗和整理，每天的数据量超5千万+，在开发过程中，数据量小，着重注意业务规则的处理，在上线基本测试后发现了大量的问题，其中之一就是Redis存储数据过多，内存的使用量大大增加。进过简单分析，对存储非常频繁的实体类进行了改进，字段名字进行缩写处理，一下子就减少了很多内存使用量。在对Redis的研究过程中，发现了以下这篇文章：Redis上踩过的一些坑-美团，

2016-02-20 08:57:33 580

原创 [置顶]【结果很简单,过程很艰辛】记阿里云Ons消息队列服务填坑过程

Maybe 这个问题很简单，因为解决方法是非常简单，但填坑过程会把人逼疯，在阿里云ONS工作人员、同事和朋友的协助下，经过一天的调试和瞎捣鼓，终于解决了这个坑，把问题记下来，也许更多人在碰到类似问题的时候，会开放思路。当然不得不说，Ons的.NET接口还很不完善，甚至没有独立在Windos 2008/2012服务器测试过，希望官方加把力。1、阿里云ONS介绍 ONS(Open Noti

2016-02-20 08:57:31 3357

原创 [置顶]10年C#之旅，终获MVP，感谢博客园这个舞台。。。。。

本博客所有文章分类的总目录：http://www.cnblogs.com/asxinyu/p/4288836.html 　　1.意外的惊喜　　10月份收到微软总部寄来的荣誉证书，非常激动，虽然有些小波折，但还算顺利。本人8月份提交申请后来就没注意过，而且邮箱也没有收到邮件，所以没在意。收到联邦快递的电话着实下了一跳，欣喜之余，感谢所有人的支持，同时感谢博客园这个大舞台。10年前偶尔的一次C

2016-02-20 08:57:28 748

原创 [置顶]群蚁算法理论与实践全攻略——旅行商等路径优化问题的新方法【附C#群蚁算法完整项目代码】

若干年前读研的时候，学院有一个教授，专门做群蚁算法的，很厉害，偶尔了解了一点点。感觉也是生物智能的一个体现，和遗传算法、神经网络有异曲同工之妙。只不过当时没有实际需求学习，所以没去研究。最近有一个这样的任务，所以就好好把基础研究了一下，驱动式学习，目标明确，所以还是比较快去接受和理解，然后写代码实现就好了。今天就带领大家走近TSP问题以及群蚁算法。机器学习目录：【目录】数据挖掘与机器学习相关

2016-02-20 08:57:26 2367

原创 [置顶]【开源】分享2011-2015年全国城市历史天气数据库【Sqlite+C#访问程序】

由于个人研究需要，需要采集天气历史数据，前一篇文章：C#+HtmlAgilityPack+XPath带你采集数据(以采集天气数据为例子)，介绍了基本的采集思路和核心代码，经过1个星期的采集，历史数据库基本全了，现在开放该数据库，目的是为了让可能需要该类型做相关研究准备的，至于实时天气的采集本项目也做了，暂时不公布，如果有需求的，单独好我联系，原因很简单，人家小站也不容易，大家一起拖，容易搞死，主要

2016-02-20 08:57:23 897

原创 [置顶]C#+HtmlAgilityPack+XPath带你采集数据(以采集天气数据为例子)

第一次接触HtmlAgilityPack是在5年前，一些意外，让我从技术部门临时调到销售部门，负责建立一些流程和寻找潜在客户，最后在阿里巴巴找到了很多客户信息，非常全面，刚开始是手动复制到Excel，是真尼玛的累，虽然那个时候C#还很菜，也想能不能通过程序来批量获取（所以平时想法要多才好）。几经周折，终于发现了HtmlAgilityPack神器，这几年也用HtmlAgilityPack采集了很多类

2016-02-20 08:57:21 490

原创 [置顶]微软牛津计划介绍——屌爆了的自然数据处理解决方案(人脸/语音识别，计算机视觉与语言理解)

微软在机器学习与自然语言处理方面积累了大量的资料，同时近1年来，也逐步开放了大量的在线资源。例如在我博客前几个月介绍的Infer.NET项目就是其中1个项目。今天给大家介绍的是"微软牛津计划"..NET开源文章目录：【目录】本博客其他.NET开源项目文章目录本文原始地址链接：微软牛津计划介绍——屌爆了的自然数据处理解决方案(人脸/语音识别，计算机视觉与语言理解) 1.微软牛津计划介绍

2016-02-20 08:57:18 925

原创 [置顶].NET平台开源项目速览(13)机器学习组件Accord.NET框架功能介绍

Accord.NET Framework是在AForge.NET项目的基础上封装和进一步开发而来。因为AForge.NET更注重与一些底层和广度，而Accord.NET Framework更注重与机器学习算法以及提供计算机视频、音频、信号处理以及统计应用相关的解决方案。该项目使用C#语言编写，项目主页：http://accord-framework.net/ 说明：该文章只是一个基本介绍

2016-02-20 08:57:16 1622

原创 [置顶].NET足球赛事资料数据库平台SmartLottery开源发布——全球足球联赛应有尽有

本博客所有文章分类的总目录：【总目录】本博客博文总目录-实时更新开源C#彩票数据资料库系列文章总目录：【目录】C#搭建足球赛事资料库与预测平台与彩票数据分析目录　　前2个月，我的系列文章：C#搭建足球赛事资料库与预测平台(1) 基本介绍，【目录】C#搭建足球赛事资料库与预测平台与彩票数据分析目录，对足球赛事资料库平台的基本结构进行了介绍。我在文章中也提出了大概计划，一步步将这个我花了

2016-02-20 08:57:14 1176 1

原创 [置顶]这些.NET开源项目你知道吗？.NET平台开源文档与报表处理组件集合(三)

在前2篇文章这些.NET开源项目你知道吗？让.NET开源来得更加猛烈些吧和这些.NET开源项目你知道吗？让.NET开源来得更加猛烈些吧!（第二辑）中，大伙热情高涨。再次拿出自己的私货，在.NET平台处理文档相关的开源组件。文档处理在开发中是一个非常常见的任务了，例如导出Excel，导出Word，生成PDF报表等等。那今天就看看下面这些.NET开源项目你知道不？如果有用，千万不要忘记推荐哦。同时个

2016-02-20 08:57:11 1168

原创 [置顶].NET平台开源项目速览(6)FluentValidation验证组件介绍与入门(一)

在文章：这些.NET开源项目你知道吗？让.NET开源来得更加猛烈些吧!（第二辑）中，给大家初步介绍了一下FluentValidation验证组件。那里只是概述了一下，并没有对其使用和强大功能做深入研究，所以今天以及接下去的几篇文章就专门介绍这个组件。不仅仅是它小，轻量级，优雅，而且一直在持续更新中。本人对这个感触很深是源于4年前自己在做一个数据过滤软件时，自己也设计了一套验证过滤的东西，虽然勉强能

2016-02-20 08:57:09 788

原创 [置顶].NET平台开源项目速览(4).NET文档生成工具ADB及使用

很久以前就使用ADB这个工具来生成项目的帮助文档。功能强大，在学习一些开源项目的过程中，官方没有提供CHM帮助文档，所以为了快速的了解项目结构和注释。就生成文档来自己看，非常好用。这也是一个学习方法吧。例如本文在：.NET平台开源项目速览(2)Compare .NET Objects对象比较组件.NET平台开源项目速览(3)小巧轻量级NoSQL文件数据库LiteDB　　上述2篇文章中最

2016-02-20 08:57:06 345

原创 [置顶]这些.NET开源项目你知道吗？让.NET开源来得更加猛烈些吧!（第二辑）

在上个月发表的一篇文章：这些.NET开源项目你知道吗？让.NET开源来得更加猛烈些吧，得到了很多朋友的响应。同时也有很多朋友直接进行使用，反应非常棒，虽然不是每一个都用得上，只要有一个用得上，其实也不错了，其他的就留着收藏，以后说不定用得上。最近再次整理一些比较实用的.NET开源组件，如果大家有兴趣，下个月再整理2篇，分别是比较大型的和算法方面的。还是发老样子，每次精选15个我个人认为还比较有用

2016-02-20 08:57:04 801

原创 [置顶].NET平台开源项目速览(3)小巧轻量级NoSQL文件数据库LiteDB

今天给大家介绍一个不错的小巧轻量级的NoSQL文件数据库LiteDB。本博客在2013年也介绍过2款.NET平台的开源数据库：1.【原创】开源.NET下的XML数据库介绍及入门 2.【原创】C#开源轻量级对象数据库NDatabase介绍上面2个数据库我的实际的项目中用过，还不错。当然数据量很小，主要是客户比较变态，必须要用xml文件保存，就想到了，另外NDatabase只是自

2016-02-20 08:57:01 533

原创 [置顶]这些.NET开源项目你知道吗？让.NET开源来得更加猛烈些吧

注意：有网友提出部分项目停止更新的事情，这个问题我特意注意过，很多都是小功能组件，功能稳定，没有bug，没更新是正常的。够用就行了。其次技术支持的事情，对开源免费来说，不能太强求，这里发布的都是小功能组件，一般看源码也比较好理解，各取所需。当然有最好。。　　长期关注和使用.NET开源项目，给我带来了很多好处:1.可以快速完成我的想法，也就是所谓的业务细节，而不是关注如何实现；2.可以更

2016-02-20 08:56:59 498

原创 [置顶]一个从四秒到10毫秒，花了1年的算法问题？

特别注意：本文的算法问题对很多专业计算机的人来说，很简单，但是注意看文章的人物背景。　　五一后的第一周，由于搬家腰扭伤了，没注意导致压迫神经，躺在床上休息了好几天。所以没事就挂 QQ，一个网友突然问了我一个算法问题。所以有了这篇文章。感触很深，所以特发此文，以纪念和写给新朋友，以及那些热爱编程的非专业人事。本人可能技术含量很低，但都很真实。虽然我只花了很少的时间，但解决了这个网友困惑了1年的问

2016-02-20 08:56:57 774 1

原创 [置顶].NET平台机器学习资源汇总，有你想要的么？

接触机器学习1年多了，由于只会用C#堆代码，所以只关注.NET平台的资源，一边积累，一边收集，一边学习，所以在本站第101篇博客到来之际，分享给大家。部分用过的，会有稍微详细点的说明，其他没用过的，也是我关注的，说不定以后会用上。机器学习并不等于大数据或者数据挖掘，还有有些区别，有些东西可以用来处理大数据的问题或者数据挖掘的问题，他们之间也是有部分想通的，所以这些组件不仅仅可以用于机器学习，也可

2016-02-20 08:56:54 892

原创 [置顶]白话贝叶斯理论及在足球比赛结果预测中的应用和C#实现

离去年“马尔可夫链进行彩票预测”已经一年了，同时我也计划了一个彩票数据框架的搭建，分析和预测的框架，会在今年逐步发表，拟定了一个目录，大家有什么样的意见和和问题，可以看看，留言我会在后面的文章中逐步改善：彩票数据框架与分析预测总目录。同时这篇文章也是“【彩票】彩票预测算法(一)：离散型马尔可夫链模型C#实现”的兄弟篇。所以这篇文章还有一个标题，应该是：【彩票】彩票预测算法(二)：朴素贝叶斯分类器在

2016-02-20 08:56:52 2393

原创 [置顶]【原创】.NET开源压缩组件介绍与入门

本博客所有文章分类的总目录：【总目录】本博客博文总目录-实时更新本博客其他.NET开源项目文章目录：【目录】本博客其他.NET开源项目文章目录1.前言作为吉日嘎拉权限管理系统最早的一批学习版用户，学了不少东西，在群里面也结识了很多朋友，更重要的是闲余时间，大家都发布很多可靠的外包工作。这次也是由于吉日嘎拉发布了一个有关“压缩文件损坏检测”的外包任务，最早在2009年用C#很简单的使用过

2016-02-20 08:56:49 412

原创 Win10系统菜单打不开问题的解决，难道是Win10的一个Bug ?

Win10左下角菜单打不开，好痛苦，点击右下角的时间也没反应，各种不爽，折磨了我好几天，重装又不忍心，实在费劲，一堆开发环境要安装，上网找了很多方法都不适用。今天偶然解决了，仔细想了下，难道是Win10的一个Bug？1.问题和现象右下角菜单点不开，下面的状态栏的右键也没有反应。时间日期也点不开，音频喇叭同样点不开。。。。各种烦人，百度一堆都无果。。。。说明

2016-02-20 08:56:47 3390 2

原创分享几个.NET WinForm开源组件，纪念逐渐远去的WinForm。。。

前面3个月的时间内，这些.NET开源项目你知道吗？系列文章已经发表了3篇，共计45个平时接触比较少，曾经默默无闻的.NET开源项目，展示给大家，当然不是每个人都能用得上，但也的确是有些人用了，反响还不错，所以非常感谢大家的支持。由于收藏夹的项目越来越少，越整理到最后，越发现一些问题，所以就按专题来分开。今天分享给大家的是关于WinForm开发相关的小巧灵活的开源项目。虽然现在WinForm开发可能

2016-02-20 08:56:44 9042

原创 .NET平台开源项目速览(12)哈希算法集合类库HashLib

.NET的System.Security.Cryptography命名空间本身是提供加密服务，散列函数，对称与非对称加密算法等功能。实际上，大部分情况下已经满足了需求，而且.NET实现的都是目前国际上比较权威的，标准化的算法，所以还是安全可靠的。但也有一些场合，需要自己实现一些安全散列算法。不仅仅是学习，也可以进行测试以及相关研究。而今天要介绍的正式这样一个包括了目前几乎所有散列函数算法实现的.N

2016-02-20 08:56:42 634

原创 .NET平台开源项目速览(11)KwCombinatorics排列组合使用案例(1)

今年上半年，我在KwCombinatorics系列文章中，重点介绍了KwCombinatorics组件的使用情况，其实这个组件我5年前就开始用了，非常方便，麻雀虽小五脏俱全。所以一直非常喜欢，才写了几篇文章推荐给大家。最近在计算足球彩票结果组合过程中，使用的到了其功能，生成排列，非常具有代表性，而且也有网友咨询过类似的问题，所以就封装为扩展方法，方便调用。 NET开源目录:【目录

2016-02-20 08:56:39 346

原创谈谈博客园和写博客，以及通过博客遇到的那些人

不知不觉，博客园园龄已经5年11个月了，还曾依稀的记得，那是研究生毕业设计搞完了，有没有什么事情可以做，只能每天背个屌丝的书包去学院机房，狂赚CSDN积分，曾经高峰期的时候CSDN积分达到16000分，不过由于这几年免费分享给Newlife群使用，已经只剩下500分了。发现博客园后，才知道CSDN是多么的烂，好吧我不说CSDN，影响心情。说说这些年在博客园吧。　　本来很早就想写这篇文章，只是今

2016-02-20 08:56:35 1500 3

原创 .NET平台开源项目速览(10)FluentValidation验证组件深入使用(二)

在上一篇文章：.NET平台开源项目速览(6)FluentValidation验证组件介绍与入门(一) 中，给大家初步介绍了一下FluentValidation验证组件的使用情况。文章从构建间的验证器开始，到最后的结果，以及复杂验证等都做了比较深入的讲解和使用。但其实一个完整的组件是麻雀虽小五脏俱全的，一篇文章还不能说明问题，对优秀的组件，我将分开尽量多一点的进行很完整的介绍。在查阅了官方提供的帮助

2016-02-20 08:56:32 349

原创分享一个LiteDB做的简单考试系统辅助工具

凌晨，被安排在公司值班，因为台风“灿鸿”即将登陆，风力太大，办公楼，车间等重要部分需要关注。所以无聊，那就分享一下，今天给朋友临时做的一个小的考试系统辅助工具吧。其实非常小，需求也很简单，但是可以根据实际需要进行扩充，暂时只实现了一些核心功能。界面丑了点，无所谓，凑合着用吧。1.考试系统辅助需求上午10点一个朋友紧急求助，单位要进行在线测评，开卷考试，题库以及答案已经发给他们了

2016-02-20 08:56:30 554

原创 .NET平台开源项目速览(9)软件序列号生成组件SoftwareProtector介绍与使用

在文章：这些.NET开源项目你知道吗？让.NET开源来得更加猛烈些吧!（第二辑）中，给大家初步介绍了一下Software Protector序列号生成组件。今天就通过一篇简单的文章来预览一下其强大的功能。虽然我人为其已经基本满足了一个软件序列号的所有要素，但至于大家用不用得上，还得看大家的需求。总的来说，其源码并不复杂的，即使要增加功能，也可以使用其进行扩展。何苦，就我而言，虽然以前也做过简单的序

2016-02-20 08:56:27 417

原创【原创】C#搭建足球赛事资料库与预测平台(6) 赔率数据表设计2

本博客所有文章分类的总目录：【总目录】本博客博文总目录-实时更新开源C#彩票数据资料库系列文章总目录：【目录】C#搭建足球赛事资料库与预测平台与彩票数据分析目录　　本篇文章开始将逐步介绍使用C#搭建足球赛事资料库与预测平台的相关细节。还是先从数据库开始，从本文开始将逐步对每个核心实体类和数据库设计相关的内容进行讲解，并公布源代码，至于能不能跑起来，看的看个人努力。由于没有时间将所有相关业务

2016-02-20 08:56:25 2231

原创 .NET平台开源项目速览(8)Expression Evaluator表达式计算组件使用

在文章：这些.NET开源项目你知道吗？让.NET开源来得更加猛烈些吧!（第二辑）中，给大家初步介绍了一下Expression Evaluator验证组件。那里只是概述了一下，并没有对其使用和强大功能做深入研究，所以今天就通过一篇简单的文章来预览一下其强大的功能。本文曾在【原创】.NET开源表达式计算组件介绍与使用一文中介绍过一个.NET平台开源的表达式计算组件NCal。不过经过比较还是这个Expr

2016-02-20 08:56:23 951

原创 .NET平台开源项目速览(7)关于NoSQL数据库LiteDB的分页查询解决过程

在文章：这些.NET开源项目你知道吗？让.NET开源来得更加猛烈些吧!（第二辑）与 .NET平台开源项目速览(3)小巧轻量级NoSQL文件数据库LiteDB中，介绍了LiteDB的基本使用情况以及部分技术细节，我还没有在实际系统中大量使用，但文章发布后，有不少网友( loogn)反应在实际项目中使用过，效果还可以吧。同时也有人碰到了关于LiteDB关于分页的问题，还不止一个网友，很显然这个问题从

2016-02-20 08:56:20 293

原创推荐一个算法编程学习中文社区-51NOD【算法分级，支持多语言，可在线编译】

最近偶尔发现一个算法编程学习的论坛，刚开始有点好奇，也只是注册了一下。最近有时间好好研究了一下，的确非常赞，所以推荐给大家。功能和介绍看下面介绍吧。首页的标题很给劲，很纯粹的Coding社区。。。。虽然目前人气可能一般，但这里面题目和资源还是比较丰富的，希望给初学者一个帮助。本文原文地址：【推荐】一个算法编程学习中文社区-51NOD【算法分级，支持多语言，可在线编译】1.51NOD论坛

2016-02-20 08:56:18 711

原创接触Matlab10年后的一个总结，随时使用Matlab要掌握的一些要点

不记得上一次写超过20行的matlab程序是什么时候了，大概是2013年吧，那个时候写过2篇文章，实际用到了一些matlab的内容，超过200行的matlab程序应该要追溯到2011年了，最近为了帮助网友解决我博客一篇文章的问题，把自己2011年的matlab翻出来，感触颇多，一言难尽，看到昔日熟悉的代码，我居然能理解，然后还能修修改过，感觉好多年没用了，连基本函数都忘记了，还是碰到问题还是会写

2016-02-20 08:56:15 3019

原创 .NET平台开源项目速览(5)深入使用与扩展SharpConfig组件

上个月在文章：这些.NET开源项目你知道吗？让.NET开源来得更加猛烈些吧和 .NET平台开源项目速览(1)SharpConfig配置文件读写组件中都提到了SharpConfig组件，简单轻量级，速度快，而且还有比较深入的使用介绍。在文章发布后，也有网友提到一些问题，当时我也没仔细去分析，在这次我亲自使用的过程中，就对几个问题进行了比较深入的研究，同时对不满足自己的地方，也进行了扩展。所以今

2016-02-20 08:56:13 322

原创泊松分布和指数分布：10分钟教程

作者：阮一峰　　大学时，我一直觉得统计学很难，还差点挂科。　　工作以后才发现，难的不是统计学，而是我们的教材写得不好。比起高等数学，统计概念其实很容易理解。　　我举一个例子，什么是泊松分布和指数分布？恐怕大多数人都说不清楚。　　我可以在 10 分钟内，让你毫不费力地理解这两个概念。　　一、泊松分布　　日常生活中，大量事件是有固定频率的。某医院平均每小时出生 3

2016-02-20 08:56:10 962

原创用原始方法解析复杂字符串，json一定要用JsonMapper么？

经常采集数据，肯定会碰到解析字符串，包括整个页面的html，或者json以及一些不标准的json格式。。。以前用json序列化，有时候需要实体类，有的时候没有，比较麻烦，听说可以用JsonMapper，解析为字典格式。不过没用过，习惯了用最原始的方法来解析字符串，所以这里分享几个解析的案例。也许会有点作用。解析字符串最常用的应该是Splite和Replace了。分割，然后替

2016-02-20 08:56:08 557

原创足彩基础知识入门(4)赛事数据库与预测平台基础概念介绍(一)

在足球赛事数据库以及统计分析预测平台中，有很多概念，如果不搞懂，很难进行下一步的工作。所以为了配合团队人员的学习和任务进行，特意编写这篇文章。如果有其他问题和不懂的，请留言，将根据情况进行更新。本文原文地址：足彩基础知识入门(4)赛事数据库与预测平台基础概念介绍(一)1.指数1/2/3。。。。　　我在足彩基础知识入门(3)足彩赔率的本质一文中介绍了赔率的概念，那么指数的概念和赔率以

2016-02-20 08:56:05 2373 7

原创 .NET平台开源项目速览(2)Compare .NET Objects对象比较组件

.NET平台开源项目速览今天介绍一款小巧强大的对象比较组件。可以更详细的获取2个对象的差别，并记录具体差别，比较过程和要求可以灵活配置。.NET开源目录：【目录】本博客其他.NET开源项目文章目录本文地址：.NET平台开源项目速览(2)Compare .NET Objects对象比较组件1.Compare .NET Objects介绍 Compare .NET O

2016-02-20 08:56:03 637

原创 .NET平台开源项目速览(1)SharpConfig配置文件读写组件

在.NET平台日常开发中，读取配置文件是一个很常见的需求。以前都是使用System.Configuration.ConfigurationSettings来操作，这个说实话，搞起来比较费劲。不知道大家有没有同感。所以更多时候我还是喜欢使用开源的东西，更加方便简洁，也稳定。省去自己的麻烦。今天就介绍一个非常精致的.NET平台开源的操作配置文件(cfg/ini)的组件SharpConfig。走过路过，

2016-02-20 08:56:00 359

原创【原创】机器学习之PageRank算法应用与C#实现(2)球队排名应用与C#代码

在上一篇文章：机器学习之PageRank算法应用与C#实现(1)算法介绍中，对PageRank算法的原理和过程进行了详细的介绍，并通过一个很简单的例子对过程进行了讲解。从上一篇文章可以很快的了解PageRank的基础知识。相比其他一些文献的介绍，上一篇文章的介绍非常简洁明了。说明：本文的主要内容都是来自“赵国，宋建成.Google搜索引擎的数学模型及其应用,西南民族大学学报自然科学版.2010,

2016-02-20 08:55:58 672

原创 Netflix工程总监眼中的分类算法：深度学习优先级最低

英文原文：What are the advantages of different classification algorithms?（翻译/王玮编辑/周建丁）　　【编者按】针对 Quora 上的一个老问题：不同分类算法的优势是什么？Netflix 公司工程总监 Xavier Amatriain 近日给出新的解答，他根据奥卡姆剃刀原理依次推荐了逻辑回归、SVM、决策树集成和深度学习，并谈了他

2016-02-20 08:55:55 308