- 博客(15)
- 收藏
- 关注
RSS订阅转载 ImitateLogin新增插件机制以及又一个社交网站的支持
我的文章里已经多次介绍imitate-login，这是我最近一直在维护的一个使用c#模拟社交网站登录的开源项目，现在新增了对插件的支持以及一个新的网站（由于某种原因，会在文章结束部分介绍；而且仅会出现在博客中）。希望喜欢的读者可以通过Star & fork来支持我，我也会据此来决定时间的分配。imitate-login现在已经提供了对插件的支持；目前有两个部分使用到...
2019-10-07 22:20:20
83
转载 使用Docker快速部署Storm环境
Storm的部署虽然不是特别麻烦，但是在生产环境中，为了提高部署效率，方便管理维护，使用Docker来统一管理部署是一个不错的选择。下面是我开源的一个新的项目，一个配置好了storm与mono环境的Docker镜像编排：storm-mono-docker。这个项目得益于https://github.com/ptgoetz/storm-vagrant和https://github.co...
2019-10-07 22:20:20
558
转载 使用ImitateLogin模拟登录百度
在之前的文章中，我已经介绍过一个社交网站模拟登录的类库：imitate-login，这是一个通过c#的HttpWebRequest来模拟网站登录的库，之前实现了微博网页版和微博Wap版；现在，模拟百度登录的部分也已经完成。由于个人时间的限制，加上目前有多个项目在同时进行，因此更新频率会根据项目关注度来决定（Star & fork）。这个类库的使用方法非常简单，仅对外提供一个...
2019-10-07 22:20:18
737
转载 dotNET使用DRPC远程调用运行在Storm上的Topology
Distributed RPC（DRPC）是Storm构建在Thrift协议上的RPC的实现，DRPC使得你可以通过多种语言远程的使用Storm集群的计算能力。DRPC并非Storm的基础特性，但它确实非常有用。DRPC的整个过程与一般的RPC没有区别，客户端只需要调用一个远程的方法并等待返回结果。主要工作已经被DRPC Server封装，服务端在这个过程中完成了以下步骤：从客...
2019-10-07 22:20:18
107
转载 Storm系列（三）：创建Maven项目打包提交wordcount到Storm集群
在上一篇博客中，我们通过Storm.Net.Adapter创建了一个使用Csharp编写的Storm Topology - wordcount。本文将介绍如何编写Java端的程序以及如何发布到测试的Storm环境中运行。如果你觉得对你有帮助，欢迎Star和Fork，让更多人看到来帮助完善这个项目。STEP1: 克隆storm官方示例项目storm-starter： $ gi...
2019-10-07 22:20:16
86
转载 Open Auth辅助库（使用ImitateLogin实现登录）
网络上越来越多的公司进行着自己的平台化策略，其中绝大多数都已Web API的方式对外提供服务，为了方便的使用这些服务，你不得不引用许多相关的类库，但是API的本质其实仅仅是一些约定的网络请求，我们大多数情况仅仅使用API提供的少数几个功能，因此，我稍微修改了下微博的c#的类库，加入了ImitateLogin库来模拟登录，形成了open-auth-assist库。 ...
2019-10-07 22:20:16
280
转载 Storm系列（二）：使用Csharp创建你的第一个Storm拓扑（wordcount）
WordCount在大数据领域就像学习一门语言时的hello world，得益于Storm的开源以及Storm.Net.Adapter，现在我们也可以像Java或Python一样，使用Csharp创建原生支持的Storm Topologies。下面我将通过介绍wordcount来展示如何使用Csharp开发Storm拓扑。上篇博客已经介绍了如何部署Storm开发环境，本文所讲述dem...
2019-10-07 22:20:14
97
转载 dotNet使用HttpWebRequest模拟浏览器
在编写网络爬虫时，HttpWebRequest几乎可以完成绝大多数网站的抓取，为了更好的使用这一技术，我将常用的几个功能进行了封装，以方便调用。这个类已经在多个项目中得到使用，主要解决了Cookies相关的一些问题；如果有其它方面的问题可以提出来，我会进一步完善。目前HttpHelper包含了以下几个方面：GetHttpContent：通过Get或Post来获取网页的Html...
2019-10-07 22:20:14
218
转载 开源一个社交网站模拟登录的库
网站的登录是抓取某些网站的必须步骤，大多数情况我们都是使用一个真实的浏览器去提交我们的登录信息，但是在代码中嵌套浏览器不仅会带来性能损耗，还会带来崩溃的风险。因此就有了这个使用httpRequest来模拟登录的库imitate-login，目前仅有微博网页版和微博Wap版的实现，其它计划实现会根据项目关注度来决定（Star & fork）是否更新以及更新时间。如果这个项目...
2019-10-07 22:20:12
87
转载 Storm系列（一）：搭建dotNet开发Storm拓扑的环境
上篇博客比较了目前流行的计算框架特性，如果你是 Java 开发者，那么根据业务场景选择即可；但是如果你是 .Net 开发者，那么三者都不能拿来即用，至少在这篇文章出现之前是如此。基于上篇文章的比较发现，Storm 应该是对多语言支持比较好的框架了，但即便如此，官方也没有提供 .Net 的适配器，网上也找不到第三方的开源库。So，Storm.Net.Adapter出现了，一个使用 Csh...
2019-10-07 22:20:12
141
转载 开源分布式计算系统框架比较
分布式计算在许多领域都有广泛需求，目前流行的分布式计算框架主要有 Hadoop MapReduce, Spark Streaming, Storm； 这三个框架各有优势，现在都属于 Apache 基金会下的顶级项目，下文将对三个框架的特点与适用场景进行分析，以便开发者能快速选择适合自己的框架进行开发。Hadoop MapReduce 是三者中出现最早，知名度最大的分布式计算框架，最早...
2019-10-07 22:20:10
682
转载 在VS项目中通过GIT生成版本号作为编译版本号
上一篇博客写了如何在.Net项目使用SVN作为版本控制工具时生成与代码对应的组件版本号。虽然在公司一直使用SVN，但我却对GIT情有独钟（可能要归功于那段捣鼓ROM的时光），但少有文章提及如何具体在Windows平台来获得版本号。这让我有了迫切得到方法的希望。上篇博客《在VS项目中使用SVN版本号作为编译版本号》经过测试，该方法是可行的，以前验证失败的原因...
2019-10-07 22:20:10
254
转载 Oracle与SQL SERVER编程差异分析（入门）
网上有关Oracle与SQLSERVER性能差异的文章很多，结论往往是让你根据数据量与预算来选择数据库。但实际项目中，特别是使用.Net开发的系统，支持以上两种数据库或者更多已经成为Boss的普遍需求。下面将常见的Oracle与SQLSERVER编程差异罗列，并提出解决方案。1、时间格式的差异SQLSERVER与Oracle的对时间格式的要求是不同的，SQL...
2019-10-07 22:20:08
108
转载 在VS项目中使用SVN版本号作为编译版本号
在实际项目中（特别是作为产品的项目），版本号是必不可少的一部分。版本号的规则也有许多种，在此不讨论具体的编码规范。对于迭代的产品，版本繁多，特别是有多个实施项目所使用产品的版本不同（基于定制需求）时，清楚的标识组件与代码的对应关系十分重要。本文主要说明如何在.Net项目使用SVN作为版本控制工具时生成与代码对应的组件版本号。我们知道，SVN在commit时会生成一串...
2019-10-07 22:20:08
160
转载 基于WF4.0的公文管理系统
系统功能说明公文管理通过定义公文的基本信息，并将它按照工作流的定义流转实现公文的管理。包含以下功能：（1）公文创建：用户能够将格式化文本作为公文上传到系统中，并选择工作流启动流程。（2）公文审批：具有审核权限的用户在公文流转到需要审核的步骤时对公文进行审核工作，审批结果可以是通过与退回。（3）公文发布：负责人将通过了审批的公文提交发布，供普通用户浏览公文。（4...
2019-10-07 22:20:05
426
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人