- 博客(88)
- 资源 (2)
- 收藏
- 关注
RSS订阅原创 [.NET学习笔记] - Thread.Sleep与Task.Delay在生产中应用的性能测试
3个指令，1秒间隔，理想状态下，完成耗时应是2秒。且随着对象个数增多，仍然能保持在一个合理范围。内部有专门的消费线程执行传入的指令。每个指令的执行间隔为。我们更改参数，比较两者的cpu占用情况。cpu: AMD 3700x 8核16线程。即多个指令输入该服务后对象后，是在时间消耗上比较符合期望。cpu占用情况如图。cpu占用情况如图。
2023-09-07 19:39:45
848
原创 [python学习笔记] - python下csv，feather，parquet，jay，pickle的读写性能及空间占用测试
python下csv，feather，parquet，jay的读写性能及空间占用测试
2023-03-08 15:17:21
637
1
原创 [pandas学习笔记] - 不同数据类型筛选方式的性能比较
背景现有一个数据量很大的dataframe（本文中的示例数据为100万行，9列）需要做一些筛选操作。考虑到数据量特别大，不同的方法在性能方面会造成巨大的差异。此次的数据比较特殊，有一个TradingDay字段，标准格式应该是nchar(8)，也可以当做8位的数值使用。筛选差异也由他们的数据类型产生。测试方案筛选数据由两部分组成，筛选条件与取值方法。本文使用到的筛选条件有两种：字符串比较数值比较取值方法有三种：loc取值索引取值['column_name']属性取值.column_n
2022-02-11 16:15:31
645
原创 [python学习笔记] - 使用pandas与Excel读写包取Excel单元格数据性能分析
背景有工作需要解析Excel文件数据，需要取Excel文件中一些指定单元格（指定行列）的数据内容。因为Excel文件目前区分为xls与xlsx。全能读写包xlwings虽然能兼顾两种格式，功能齐全，但是太重，操作比较慢，而且必须主动调用关掉Excel文件调用，否则将一直挂在后台。考虑到更轻便的使用，所以分别使用了xlrd读xls，使用openpyxl读xlsx。但是维护两份代码不太方便，考虑到pandas可以直接读excel两种格式（底层同样是调用对应的包，只是上层做了统一封装），感觉可以更方便些。但是
2021-12-14 10:43:28
1383
原创 [.NET学习笔记] - web邮箱浏览显示正常但通过IMAP接收邮件，附件名中文乱码的解决方案
场景当前在使用.NET的mailkit包接收邮箱邮件，使用IMAP协议。主要解析接收到的邮件的基本信息，如主题，发件人，收件人，附件下载等。使用过程中出现了附件文件名中文乱码的情况。具体为：访问web邮箱，在网页端查看问题邮件是正常的。邮件内容均为中文，主题，附件名等，且正常显示。但是通过mailkit解析到的邮件数据中，主题subject中文显示正常，附件文件名attachment-filename显示乱码。如图。起初我以为是mailkit这个包的问题，于是我改用python+imbox解析同
2021-12-08 17:16:33
3718
4
原创 [sqlserver] - SqlServer删除作业失败
https://blog.csdn.net/u012424148/article/details/105723721先删除子任务，再删除作业select * from msdb.dbo.sysmaintplan_subplans --where subplan_id='59F77F25-A158-4C77-9CB4-7828FC01CC2A'--删除子任务--delete msdb.dbo.sysmaintplan_subplans where subplan_id='59F77F25-A158.
2021-09-28 15:52:45
543
原创 [python学习笔记] - 用pyinstaller打包成功后exe执行错误
背景最近写了个查看硬件信息的脚本，用到wmi。执行pyinstaller -F xxx.py成功后，生成了exe。但是运行exe失败。错误如下：错误中提到的包pythoncom我是装好的，怎么都想不明白是为什么。然后搜到了这篇文章《python3.8+pyinstaller调试正常，打包后运行失败（Module‘puwintypes’isn’t in frozen sys.path）》以为找到了救星，结果按他的办法，在py代码里加入import pythoncom，还是报错。最终我搜到了这篇文章
2021-08-05 19:21:59
4897
14
原创 [.NET学习笔记] - 《五个 .NET 性能小贴士》阅读小结
《五个 .NET 性能小贴士》 https://mp.weixin.qq.com/s/PqZSAjenNS84XZ9N2pYfkw《5 Performance Tips For .Net Developers》 https://hackernoon.com/5-performance-tips-for-net-developers-q03w356w?utm_content=buffer8ad81&utm_medium=social&utm_source=linkedin.com&.
2021-07-22 10:34:56
127
原创 [python] - 环境变量及依赖包安装路径设置
文章目录场景操作1 安装python环境2 设置默认目录3 安装spyder4 安装jupyter-notebook5 配置jupyter notebook生成配置文件修改配置文件场景工作中经常会用到python，做一些运维，数据处理操作。起初刚入门的时候数据处理偏多，大家都无脑吹anaconda大集合，一键安装省时省力。用了一阵后，感觉anaconda的版本更新，管理有些繁琐，很多其实我都用不到。而且这个大集合集成了太多我用不上的包，有点不喜欢。所以卸载了anaconda，安装基础版的python，并
2021-07-14 10:46:33
2888
原创 [C#] - 实现.NET项目引用根据x86/x64与Debug/Release动态引用第三方dll
场景基于visual studio项目有编译多平台的需求，即需要支持编译成x86与x64。项目在solution里直接引用其他的项目时，可以不用考虑这个问题，因为在Build Dependencies时会根据依赖顺序流式编译，并保持相同的编译参数。项目在引用第三方dll时，一般都是通过Add reference+broiswer选择对应的dll，而这样就是明确指定了编译类型。方案在添加了dll后，修改项目配置文件。xxx.csproj。在·<ItemGroup> / <
2021-06-23 16:59:11
3683
原创 [pandas学习笔记] - 替换DataFrame列指定字段
key: pandas, DataFrame, dict, SeriesDataFrame数据处理。希望将DataFrame将指定列的数据，根据指定字典，替换为对应字段。由于需求不同，一般有两种情况：不在映射规则中（字典），处理为NaN。不在映射规则中（字典），保留原值。待处理数据import pandas as pddf = pd.DataFrame({'Date':['10/2/2011', '11/2/2011', '12/2/2011', '13/2/2011'],
2021-06-08 16:40:16
1258
原创 [.NET学习笔记] - Marshal.PtrToStructure性能浅析
Marshal.PtrToStructure是.Net里用于将非托管内存数据转成托管数据类型的方法。Marshals data from an unmanaged block of memory to a newly allocated managed object of the specified type.一般常用的方法有：IntPtr ptr = xxxx;Data data = new Data();object obj = data;// ptr ====> data//
2021-05-18 19:36:40
1998
原创 中文字符串分割的一些思路
场景工作中需要发送文本消息，这里的文本主要指含有中文的字符串。在很多网络服务接口中，假设发送短信，接口要求单次只接受utf-8格式的文本，并限制了文本长度，例如1024个byte大小的数据包。随即就衍生出两个问题：中文字符串的长度计算。字符串过长需要截断发送。其他：本文是做一个思路分析，在任何语言上都是相通的。本文仅使用C#语言做示范。分析中文字符串的长度计算本文所有的长度，均以字节byte为计算单位。示例：string s1 = "123456";string s2 = "12
2021-05-15 01:15:39
2927
1
原创 [WPF学习笔记] - ComboBox的一些应用实现
默认显示数据第一项代码实现comboBox.ItemsSource = Data;comboBox.DisplayMemberPath = "Key"; // if data is dictcomboBox.SelectedValuePath = "Value"; // if data is dictcomboBox.SelectedItem = comboBox.Items[0];XAML实现 <ComboBox DisplayMemberPath="Key" S
2021-03-19 00:23:41
2704
原创 [WPF学习笔记] - Height/Width中“Auto”与“*”的区别
概述对于WPF（特指xaml）中的Width，Height，有如下特点。数值，则表示绝对长宽。*，表示除去固定后剩余部分的相对长宽。按比例分配。数字缺省,则默认是1。Auto，根据控件的大小自适应。受左右对齐等方式的影响。示例非固定部分有剩余非固定部分无剩余...
2021-02-24 15:18:38
3500
原创 [.NET学习笔记] - C++/CLI项目迁移至.NET5.0时Marshal::StructureToPtr的性能问题
背景手头上有个C++/CLI项目，主要是用来封装C++的dll，方便.NET调用的。之前是在.NET FW 4.8 runtime上，最近想迁移至.NET Core runtime。当前的时间点有两个选择，一个是.NET Core 3.1，一个是.NET 5.0。一个是LTS版，一个是新鲜出炉版。没有多想，觉得.NET 5.0虽然很新，有很多坑不稳定，但不至于被我踩上，加上网上吹的那么多性能提升，首选了升级至.NET 5.0。C++/CLI项目的migrateC++/CLI项目从.NET FW 迁移至
2021-02-18 14:31:52
2962
原创 [WPF学习笔记] -DataGrid表格导出数据
场景用WPF做windows desktop app桌面开发，需要将一个表格界面的数据全量导出，这里特别要求是Excel格式。这里的表格控件我用的是DataGrid，在xaml文件中使用ItemSource进行Binding。手动生成列Column，每一列都指定Binding对应的属性。要导出DataGrid的数据，一般是两个步骤。获取DataGrid所有Cell的Value。（Row与Column指定唯一的Cell）。本文主要讨论这一步骤。导出数据，生成数据文件。一般有csv,json,xls,
2021-02-09 10:03:03
4019
原创 [VS] - ASP.NET Core 3.1项目迁移至.NET 5时Warning Level报错
场景最近将手头的一个项目，从.NET Core 3.1 迁移至.NET 5。整个迁移需要的改动不多，基本上就是修改下TargetFramework，以及升级对应的package到支持.NET 5的版本。最后在ASP.NET Core MVC项目运行时，出现Warning Level的错误。错误如图：CS1900 Warning level must be in the range 0-43.1时，这个Warning leve是4，现在变成5了。尝试修改回4，无法成功，总是自动变回来。解决方案
2020-12-24 23:51:52
560
原创 [.NET学习笔记] - 在ASP.NET Core MVC中使用Blazor组件
场景.NET5发布了，突然对Blazor有了点兴趣，想尝尝鲜。Blazor有两种模式，server-side与client-side(WASM)。这里打算在已有的MVC项目中使用Blazor组件，所以用的server-side。use blazor component in ASP.NET Core 3.1 MVC。解决方案step1startup.cs配置。// ConfigureServicesservices.AddServerSideBlazor();services.AddAnt
2020-12-24 14:56:07
1840
5
原创 [vs] - Visual Studio 2019 诊断工具无法启动的解决方案
开发环境Win10 20H2Visual Studio 2019错误信息运行vs进行debug，没有如往常一样看到诊断工具（Diagnostic tools）运行。显示未能如预期启动或一直处于启动中。英文错误信息为：The diagnostic tools failed unexpectedly.解决方案使用vs的Get Tools and Features功能重装debug模块。检查DiagnosticsHubMsg.dll是否缺失（需匹配语音）。检查vs执行程序devenv.exe
2020-12-07 10:59:12
13659
5
原创 [pandas学习笔记] - 将DataFrame指定两列转成字典
key: pandas, DataFrame, dict, Seriesdf = pd.DataFrame({"a":[1,1,1,2,2,2,2,3], "b": ["q","q","q","q","q","q","q","w"], "c":[0,0,0,0,0,0,0,0], "d": [1,1,1,1,1,1,1,1]})# output a b c d0 1 q 0 11 1 q 0 12 1 q 0 13 2 q 0 14 2 q
2020-10-30 10:48:33
12176
3
原创 [C#学习笔记] - dynamic跨程序集无法获取匿名类属性的思考及解决方案
场景有个需求，需要传动态参数，想到了匿名类。但在实际操作中，dynamic类型无法获取属性值。// Assembly_Apublic class Client{ public void OnMessage(dynamic msg) { Console.WriteLine(msg.Date); }}// Assembly_Bpublic class Server{ public void SendMessage(dynamic msg) { var c = new Clie
2020-08-28 18:24:34
1581
原创 [python学习笔记] - Pandas的SettingwithCopy分析
警告信息当我尝试修改dataframe或者对其赋值时，出现了警告信息：A value is trying to be set on a copy of a slice from a DataFrame.Try using .loc[row_indexer,col_indexer] = value insteadSee the caveats in the documentation: https://pandas.pydata.org/pandasdocs/stable/user_guide/in
2020-07-10 13:45:17
689
原创 [部署] -VirtualBox安装linux虚拟机
virtualbox设置增强功能包选择安装“增强功能”，系统光驱会自动挂载镜像。若没有则到对应目录下运行sudo ./VBoxLinuxAdditions.run网络连接为了主机与虚拟机互通，虚拟机设置->网络->网卡1里选择"桥接网卡"，混杂模式选“全部允许”。共享目录虚拟机设置->共享文件夹->添加共享文件夹，设置好文件夹名称（后面要用到）。选择“自动挂载”，“自动分配”。共享粘贴板虚拟机设置->常规->高级->共享粘贴板->双向。
2020-07-04 12:19:10
312
原创 [部署] - python安装及环境配置
windows环境anacondaanaconda是python的一个开发集成环境，里面集成了很多常用的包，安装即用，十分方便，唯一的缺点就是体积太大。下载minicondaminiconda是anaconda的精简版，去掉了一部分包，体积缩小。下载python原生的python环境，都是基础包，按需安装package。下载pip一般来说，上面的环境安装好后，都集成了pip，版本可能不是最新的，但也能用。也可以直接用pip install -U pip命令升级。也可下载安装文件。下
2020-07-03 10:49:01
1041
1
原创 [confluence] - 每日备份及开启自定义备份目录
需求confluence需要做每日备份。但是在管理页面，无法直接设置自定义的备份路径。方案管理站点里，打开每日备份管理页面。执行每日备份项设置Enabled但是编辑页面是灰色的。（我这里已经开启了，所以先假装不能点）到Confluence安装目录下C:\Program Files\Atlassian，有两个文件夹，Application Data与Confluence。其中Application Data是应用的配置文件目录。C:\Program Files\Atlassian\Applica
2020-06-24 17:29:09
2804
原创 [R语言学习笔记] - R语言及Rstudio配置合集
本文涉及配置package目录重定向。下载镜像（Repository）重定向。配置整合Rprofile.site配置文件位于R内核的安装目录下。如果安装了多个版本的R内核，如原生3.6，原生4.0，微软Microsoft R Open，则根据自己的需求修改目标内核目录下的对应文件。例如我的路径为C:\Program Files\R\R-3.6.1\etc\Rprofile.site# options函数就是设置R运行过程中的一些选项设置options("repos" = c(CRAN="h
2020-05-26 23:02:54
2466
原创 [vscode] - 设置空格Whitespace的颜色
场景一般我喜欢使用4个空格替代tab缩进，感觉这样格式整体可控。再加上python是死扣空格的语言，所以我的所有语言都沿用了这个习惯。ide和文本编辑器都是显示空格。在vscode中，我用默认的dark+主题。这个主题比较中庸，重在省事。但是它的空格颜色太淡了，有时候看着眼睛累。所以我想调下它的颜色。解决方案思路很简单，就是调整你当前用的主题的空格颜色。所以要找到你使用主题的配置文件，都是json格式的。我用的这个dark+(Default dark)对应的配置文件名为dark_defaults
2020-05-26 18:45:09
6259
原创 [C#学习笔记] - typeof与GetType()的区别
相同点两者的返回值都是Type类型。https://docs.microsoft.com/zh-cn/dotnet/api/system.type?view=netcore-3.1区别typeof是关键字，GetType是方法。typeof用于类型，即class。GetType用于实例，即class instace。public interface Animal{}public class Dog : Animal{}public class Cat : Animal{}i
2020-05-20 11:42:45
217
原创 [R语言学习笔记] - Rstudio更变console的显示信息至英文
场景我是在windows上使用的R及Rstudio。输出到控制台Rconsole的错误信息都是中文。虽然信息比较方便理解，但是在查找相关信息的时候，中文在搜索引擎中并不能很好的定位错误。所以我打算将Rconsole改为英文显示。解决方案在网上查到的就该Rconsole语言的操作。到R目录下的\etc的Rconsole文件，修改language = en。但这样的操作只能让Rgui的显示信息调整为英文。在Rstudio中，显示信息仍为中文。Sys.getlocale()可以查看语言环境信息。同理S
2020-05-18 10:13:44
16248
10
原创 [C#学习笔记] - await/async 异步
await/async 关键字组合是C#中异步实现的一种常用方式。async用于修饰方法，表明该方法为异步方法。异步方法的放回类型必须为void或Task或Task<TResult>中的一种。异步方法内必须含有await，用于表示异步等待的位置。虽然不太恰当，但有点类似debug中的断点。若“异步方法”内没有await，则该方法不是异步方法，仍为同步模式。await后只能修饰Task或Task<TResult>。（方法的返回类型或变量类型）await task的内容等价
2020-05-13 10:58:58
514
原创 HDF5笔记
HDF5 简介https://blog.csdn.net/mzpmzk/article/details/89188968时间序列数据库概览https://www.cnblogs.com/wenBlog/p/8297100.htmlhttps://yq.aliyun.com/articles/727068?scm=20140722.184.2.173HDF5工具HDF Expl...
2020-04-27 10:14:16
228
原创 python读取SQL server中文乱码处理
场景开发机win10，记E1。服务器server 2012，记E2。一个python数据处理脚本，功能是一些数据存储操作。使用了pandas、sqlalchemy做数据库连接。在E1上正常运行，结果正确。部署到E2上后也能正常运行，但是出现中文乱码。乱码出现在，从同一个sql server中读取的中文数据里。一开始以为是数据库连接代码缺了强制编码类型，于是尝试了?charset=ut...
2020-03-25 11:29:04
4252
原创 [C++学习笔记] - char[]与char*的理解
https://www.cnblogs.com/Fflyqaq/p/12002635.html示例int main(){ char s1[] = "hi"; const char* s2 = "hi"; cout << "*s1: " << static_cast<void*>(&s1) << endl; cout <...
2020-03-17 14:07:23
171
原创 [C#学习笔记] - 静态构造函数与静态成员初始化的调用顺序
https://www.cnblogs.com/dirichlet/p/3266019.html?utm_source=itdadao&utm_medium=referral结论静态构造函数不能有访问修饰符，只能是static，且不能带有参数。实例化顺序先静态，后非静态。先成员后构造函数。实例化顺序在2的基础上受定义的顺序影响，示例case-1class A{ ...
2020-03-11 10:58:45
283
Python数据科学速查表.7z
2020-04-08
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人