2017年06月_深海小黄鱼

08月 07月 06月 05月 04月 03月 02月 01月

原创 C# AForge 关闭摄像头

问题描述见下面图用AForge 写程序，在做界面时发现打开程序后打开界面能连接摄像头，然后关闭再打开就一直连接状态，是因为关闭时没有关闭摄像头，只关闭了界面。 VideoCaptureDevice videoSource;只需在关闭时加入 videoSource.Stop();即可解决该问题 private void FrmGetPic_FormClosing(obj

2017-06-10 11:56:07 3058

原创 C# 实现自己画内容并打印

1. 首先在界面中拉入三个控件，右边为panel2. 界面初始化添加自打印事件，PrintEveryPage函数中添加打印内容 public FrmPrinter() { InitializeComponent(); this.printDocument1.PrintPage += new System.Draw

2017-06-06 11:23:28 3250

转载 Spark性能优化：shuffle调优

shuffle调优调优概述大多数Spark作业的性能主要就是消耗在了shuffle环节，因为该环节包含了大量的磁盘IO、序列化、网络数据传输等操作。因此，如果要让作业的性能更上一层楼，就有必要对shuffle过程进行调优。但是也必须提醒大家的是，影响一个Spark作业性能的因素，主要还是代码开发、资源参数以及数据倾斜，shuffle调优只能在整个Spark的性能调优中占

2017-06-01 17:35:57 419

转载 Spark性能优化：数据倾斜调优

前言继《Spark性能优化：开发调优篇》和《Spark性能优化：资源调优篇》讲解了每个Spark开发人员都必须熟知的开发调优与资源调优之后，本文作为《Spark性能优化指南》的高级篇，将深入分析数据倾斜调优与shuffle调优，以解决更加棘手的性能问题。1.数据倾斜调优调优概述有的时候，我们可能会遇到大数据计算中一个最棘手的问题——数据倾斜，此

2017-06-01 17:34:54 350

在开发完Spark作业之后，就该为作业配置合适的资源了。Spark的资源参数，基本都可以在spark-submit命令中作为参数设置。很多Spark初学者，通常不知道该设置哪些必要的参数，以及如何设置这些参数，最后就只能胡乱设置，甚至压根儿不设置。资源参数设置的不合理，可能会导致没有充分利用集群资源，作业运行会极其缓慢；或者设置的资源过大，队列没有足够的资源来提供，进而导致各种异常。总之，无论是哪

2017-06-01 17:32:46 303

转载 Spark性能优化：开发调优篇

1、前言在大数据计算领域，Spark已经成为了越来越流行、越来越受欢迎的计算平台之一。Spark的功能涵盖了大数据领域的离线批处理、SQL类处理、流式/实时计算、机器学习、图计算等各种不同类型的计算操作，应用范围与前景非常广泛。在美团•大众点评，已经有很多同学在各种项目中尝试使用Spark。大多数同学（包括笔者在内），最初开始尝试使用Spark的原因很简单，主要就是为了让大数据

2017-06-01 17:31:18 431