深海小黄鱼

忘记当初叫这个名字的意思了

scala akka引入且missing or invalid dependency detected while loading class file 'ActorSystem.class'. Co

  akka包在scala安装的目录下,引用即可,且需要引入config-*.jar,不然会提示missing or invalid dependency detected while loading class file 'ActorSystem.class'. Could not access...

2018-02-25 11:58:56

阅读数 163

评论数 0

github使用

如果你是一枚Coder,但是你不知道Github,那么我觉的你就不是一个菜鸟级别的Coder,因为你压根不是真正Coder,你只是一个Code搬运工。但是你如果已经在读这篇文章了,我觉的你已经知道Github了。正是Github,让社会化编程成为现实。什么是 Github?github是一个基于g...

2018-02-23 15:51:34

阅读数 152

评论数 0

C# 上传文件到指定服务器

///           /// WebClient上传文件至服务器,默认不自动改名           ///           /// 文件名,全路径格式           /// 服务器文件夹路径           public void UpLoadFile(stri...

2018-01-31 08:40:22

阅读数 6222

评论数 1

C# datagridview 实现单元格内容进行回车换行而不是换另一行数据

自带的换行是shift+enter但客户偏偏想要enter换行,无耐百度了好久才搜到这一篇文章。稍加改动就可实现自己的功能 运行效果截图(原始) 运行效果截图(按下回车键) /*  * 文件:From1.cs  * 说明:支持回车换行的DataGr...

2017-08-12 14:58:24

阅读数 4358

评论数 1

spark streaming案例整理

scala程序实现,接收一个端口发来的信息:端口信息使用模拟程序来实现一个端口发来的信息。 代码如下: 程序生成A-G的随机字母   import java.io.PrintWriter import java.net.ServerSocket class LoggerS...

2017-07-28 09:17:55

阅读数 201

评论数 0

spark rdd 自动分区

spark (key,value)类型的rdd才会有partitionby函数 rdd的运算都是以partition作为单位,合理的partition分配将会极大提高运算速度 另一篇博客中写到: 我们都知道Spark内部提供了HashPartitioner和RangePartitione...

2017-07-28 08:52:27

阅读数 443

评论数 0

aforge2.2.5 一些电脑上可以正常连接,但另一些在连接摄像头时一直connecting

为了获取摄像头最大分辩率,设置了videoSource.VideoResolution 属性,但有的摄像头不支持设定,所以会出现一直connecting现象,把设置了videoSource.VideoResolution 属性的语句去掉即可 如下屏蔽掉的代码              ...

2017-07-20 10:53:49

阅读数 1585

评论数 1

C# AForge 关闭摄像头

问题描述见下面图 用AForge 写程序,在做界面时发现打开程序后打开界面能连接摄像头,然后关闭再打开就一直连接状态,是因为关闭时没有关闭摄像头,只关闭了界面。  VideoCaptureDevice videoSource; 只需在关闭时加入 videoSource.Stop(...

2017-06-10 11:56:07

阅读数 461

评论数 0

C# 实现自己画内容并打印

1. 首先在界面中拉入三个控件,右边为panel 2. 界面初始化添加自打印事件,PrintEveryPage函数中添加打印内容  public FrmPrinter()         {             InitializeComponent();          ...

2017-06-06 11:23:28

阅读数 1946

评论数 0

Spark性能优化:shuffle调优

shuffle调优 调优概述       大多数Spark作业的性能主要就是消耗在了shuffle环节,因为该环节包含了大量的磁盘IO、序列化、网络数据传输等操作。因此,如果要让作业的性能更上一层楼,就有必要对shuffle过程进行调优。但是也必须提醒大家的是,影响一个Spark作业性...

2017-06-01 17:35:57

阅读数 305

评论数 0

Spark性能优化:数据倾斜调优

前言    继《Spark性能优化:开发调优篇》和《Spark性能优化:资源调优篇》讲解了每个Spark开发人员都必须熟知的开发调优与资源调优之后,本文作为《Spark性能优化指南》的高级篇,将深入分析数据倾斜调优与shuffle调优,以解决更加棘手的性能问题。 1.数据倾斜调优 ...

2017-06-01 17:34:54

阅读数 234

评论数 0

Spark性能优化:资源调优篇

在开发完Spark作业之后,就该为作业配置合适的资源了。Spark的资源参数,基本都可以在spark-submit命令中作为参数设置。很多Spark初学者,通常不知道该设置哪些必要的参数,以及如何设置这些参数,最后就只能胡乱设置,甚至压根儿不设置。资源参数设置的不合理,可能会导致没有充分利用集群资...

2017-06-01 17:32:46

阅读数 191

评论数 0

Spark性能优化:开发调优篇

1、前言       在大数据计算领域,Spark已经成为了越来越流行、越来越受欢迎的计算平台之一。Spark的功能涵盖了大数据领域的离线批处理、SQL类处理、流式/实时计算、机器学习、图计算等各种不同类型的计算操作,应用范围与前景非常广泛。在美团•大众点评,已经有很多同学在各种项目中尝试使...

2017-06-01 17:31:18

阅读数 314

评论数 0

RDD、DataFrame和DataSet的区别

转自: http://www.jianshu.com/p/c0181667daa0 RDD、DataFrame和DataSet是容易产生混淆的概念,必须对其相互之间对比,才可以知道其中异同。 RDD和DataFrame RDD-DataFrame 上图直...

2017-05-18 15:36:02

阅读数 271

评论数 0

Ubuntu 删除安装软件

1、删除软件 方法一、如果你知道要删除软件的具体名称,可以使用 sudo apt-get remove --purge 软件名称 sudo apt-get autoremove --purge 软件名称 1212 方法二、如果不知道要删除软件的具体名称,可以使用 dpkg --get-sel...

2017-05-14 16:56:00

阅读数 183

评论数 0

Ubuntu14.04安装wineqq国际版

标签:ubuntu   64位   linux   wineqq   wineqq国际版       一开始,我在Ubuntu14.04下安装的QQ版本是WineQQ2013SP6-20140102-Longene, 但后来发现这个版本QQ在linux下问题很多,比如不能用键盘输入密码,QQ表...

2017-04-27 11:03:41

阅读数 213

评论数 0

eclipse和IDEA 配置opencv java Scala

最近研究OpenCV想用java进行开发,因此研究了一下怎么在Eclipse中配置基于java的Opencv. 第一步:先到OpenCV官网下载你想要的版本,假设使用的是2.4.6版本。这里附上下载地址:http://opencv.org/downloads.html,在官网下载你想要的版本,解压...

2017-04-08 15:00:29

阅读数 923

评论数 0

windows下局域网内复制整个文件夹脚本bat

复制远程电脑上整个文件夹下所有内容 net use  \\10.1.31.15 wt/user:administrator    rd/s/q %~dp0\a md a xcopy/a/s/h \\10.1.31.15\Users  %~dp0\a pause xcopy后面跟的参数意思...

2017-04-07 14:06:44

阅读数 3342

评论数 0

Spark 体系架构

最近看到一篇关于Spark架构的博文,作者是 Alexey Grishchenko。看过Alexey博文的同学应该都知道,他对Spark理解地非常深入,读完他的 “spark-architecture” 这篇博文,有种醍醐灌顶的感觉,从JVM内存分配到Spark集群的资源管理,步步深入,感触颇...

2017-03-18 15:17:45

阅读数 253

评论数 0

spark连接Oracle

引入oracle的jar包 package com.agm.database import java.sql.DriverManager import org.apache.spark.rdd.JdbcRDD import org.apache.spark.{ SparkConf, Spark...

2017-03-14 16:05:02

阅读数 4480

评论数 0

提示
确定要删除当前文章?
取消 删除
关闭
关闭