panpan_v1的专栏

原创 .Net2.0引用Linq库

添加System.Core.dll （默认在:C:\Program Files\Reference Assemblies\Microsoft\Framework\v3.5 下)的引用将System.Core.dll的属性中Specific Version设置False

原创 DataTable利用Linq查找重复数据

string info = string.Empty;try{ var query = from e in dtSource.Rows.Cast<DataRow>() group e by new { OTC_CODE = e["OTC_CODE"], ...

原创 gridview自动适应列宽

根据表内容，列宽自动调到最大1. ColumnAutoWidth = false2. 不能设置GridColumn的MaxWidth3. 加载的地方gridview.BestFitColumns();

原创 OracleBulkCopy 高效批量插入oracle

OracleBulkCopy可以非常高效的直接将DataTable插入数据库，不需要写insert语句。但遇到了2个关键问题：1. 插入数据库的时候，会自动将表设置为主键失效，解决办法是先插入临时表，再将临时表拷贝至正式表。具体OracleBulkCopy实现代码如下：public static void TestInsert(DataTable dataTable) ...

原创 gitlab上新建项目

1. Project path直接写项目名称，公司项目选private，后续自己指定member2. 自己本地的项目文件夹，右键点击git bash3. git bash里输入相关命令(1) 生成公钥秘钥，按3-4次回车后，找到文件，拷贝到gitlab指定框中ssh-keygen -t rsa -C "自己的邮箱地址"(2) 添加readme$ git init$...

转载 MINA protobuf解码_CumulativeProtocolDecoder粘包、断包问题解决的原理

一、CumulativeProtocolDecoder粘包、断包问题解决的原理(1)、当doDecode()方法返回true时， CumulativeProtocolDecoder的方法会首先判断你是否在doDecode()方法中从内部的IoBuffer缓冲区读取了数据，如果没有，则会抛出非法的状态异常，也就是你的doDecode()方法返回true就表示你已经消费了本次数据（相当于聊天室中...

原创 C# Mutex互斥体

Framework中有三个加锁的机制，分别是Monitor类、Lock关键字和Mutex类。 Mutex是内核级别的，消耗较大的资源，不适合频繁的操作，会降低操作的效率。所以一般被调用部分的资源锁，常常用lock或者Monitor，可以提高效率。而线程和线程间的协调，可以用Mutex，因为相互互斥切换的机会会大大的降低，效率就不再那么的重要了。 Mutex本身是可以系统级别的，所以...

转载 C# 跨线程调用控件

https://www.cnblogs.com/tankxiao/p/3348292.html

原创 Git 下载代码命令

git clone -b dev http://AAA/BBB/CCC.git d:/Code/...

转载 正则表达式与re库

转载 爬虫实例1 - 大学排名

# CrawUnivRankingA.pyimport requestsfrom bs4 import BeautifulSoupimport bs4def getHTMLText(url): try: r = requests.get(url) r.raise_for_status() r.encoding = r.appar...

转载 基于bs4库的HTML内容的查找方法

.find_all()返回一个列表类型，存储查找的结果

转载 python Beautiful Soup库入门

1. 简介Beautiful Soup库是解析、遍历、维护“标签树”的功能库。2. 安装和引用直接安装bs4即可from bs4 import BeautifulSoup3. 基本元素4. 遍历方法5. HTML页面的友好输出...

转载 python requests库的应用

1. 爬取购物网站商品页面url = "http://item.jd.com/2967929.html"try: r = requests.get(url) r.raise_for_status() r.encoding = r.apparent_encoding print(r.text)except: print("爬取失败")2. 修改u...

转载 python requests库入门

1. 通用框架2. requests库的方法爬虫一般get()和head()用的较多3.requests.request(method, url, **kwargs)详解4. 除了request以外的其它方法...

原创 mySQL存在更新，不存在插入

将InstrumentID在mySQL里设置为uniquersp = dest.execute_many( "INSERT INTO t_future_tick (RecordingTime, InstrumentID, Expired) values (%s, %s, %s)" "ON DUPLICATE KEY UPDATE Recordin...

转载 self,cls和@staticmethod的区别

self => instancemethod1、instance method 就是实例对象与函数的结合。2、使用类调用，第一个参数明确的传递过去一个实例。3、使用实例调用，调用的实例被作为第一个参数被隐含的传递过去。简单来说，就是带了self这个参数的函数，如果想要调用的话必须先创建一个类的实例，因为调用的时候会隐含地传入调用的实例作为第一个参数。...

原创 with语句

with open('../docs/trade_date.txt', 'r') as file: dates = file.read()这样就无所谓会不会忘记close()了，省了try

原创 robots协议

网络爬虫排除标准（对聚焦爬虫不适用）告诉搜索引擎（爬虫）哪些页面可以抓取，哪些页面不能抓取。例如：https://www.taobao.com/robots.txt

原创 python 列表推导式

[表达式for变量in列表] 或者 [表达式for变量in列表if条件]例如，含字典的列表，想取所有的value重组个列表：instruments = [x["Underlying"] for x in instruments_list]instruments = [x["Underlying"] for x in instruments_list ...

原创 dataframe 求差集

trade = pd.DataFrame(self.trade)option = pd.DataFrame(self.option)trade = trade.append(option )trade = trade.append(option )# 求差集要append两次diff = trade.drop_duplicates(subset=['LinkTradeCode', 'P...

原创 dataframe 分组后多列计算

g = history.groupby(by=['LinkTradeCode', 'InstrumentType', 'PutOrCall', 'KnockPrice', 'InstrumentGroup']).agg({'Volume': sum, 'CashCNY': sum})# 取消分组后的索引h = g.reset_index()

原创 document.write()

写在html输出流中写document.write()是正常按顺序的显示如果写在函数里会清屏覆盖整个文档

原创 [Q] ExecuteReader()

OracleDataReader sdr = com.ExecuteReader();while(sdr.Read())  // 出现fasle{}