深海小黄鱼-CSDN博客

原创学习强国十年磨剑最新分数及排名

2023-01-25日最新十年磨剑排名：10571008，分数：50234。

2023-02-06 12:45:35 6685

原创 scala akka引入且missing or invalid dependency detected while loading class file 'ActorSystem.class'. Co

akka包在scala安装的目录下，引用即可，且需要引入config-*.jar,不然会提示missing or invalid dependency detected while loading class file 'ActorSystem.class'. Could not access term typesafe in package com...

2018-02-25 11:58:56 461

如果你是一枚Coder，但是你不知道Github，那么我觉的你就不是一个菜鸟级别的Coder，因为你压根不是真正Coder，你只是一个Code搬运工。但是你如果已经在读这篇文章了，我觉的你已经知道Github了。正是Github，让社会化编程成为现实。什么是 Github?github是一个基于git的代码托管平台，付费用户可以建私人仓库，我们一般的免费用户只能使用公共仓库，也就是代码要公开。Gi...

2018-02-23 15:51:34 449

转载 C# 上传文件到指定服务器

/// /// WebClient上传文件至服务器，默认不自动改名 /// /// 文件名，全路径格式 /// 服务器文件夹路径 public void UpLoadFile(string fileNamePath, string uriString) {

2018-01-31 08:40:22 11554 1

转载 C# datagridview 实现单元格内容进行回车换行而不是换另一行数据

自带的换行是shift+enter但客户偏偏想要enter换行，无耐百度了好久才搜到这一篇文章。稍加改动就可实现自己的功能运行效果截图(原始)运行效果截图(按下回车键)/* * 文件:From1.cs * 说明:支持回车换行的DataGridView * 作者:Boitboy(游荡男孩) * 博客:http://boitboy.c

2017-08-12 14:58:24 13017 1

原创 spark streaming案例整理

scala程序实现，接收一个端口发来的信息：端口信息使用模拟程序来实现一个端口发来的信息。代码如下：程序生成A-G的随机字母 importjava.io.PrintWriterimportjava.net.ServerSocketclassLoggerSimulation { }obje

2017-07-28 09:17:55 314

原创 spark rdd 自动分区

spark (key,value)类型的rdd才会有partitionby函数rdd的运算都是以partition作为单位，合理的partition分配将会极大提高运算速度另一篇博客中写到：我们都知道Spark内部提供了HashPartitioner和RangePartitioner两种分区策略(这两种分区的代码解析可以参见：《Spark分区器HashPartitioner和Ran

2017-07-28 08:52:27 886

原创 aforge2.2.5 一些电脑上可以正常连接，但另一些在连接摄像头时一直connecting

为了获取摄像头最大分辩率，设置了videoSource.VideoResolution 属性，但有的摄像头不支持设定，所以会出现一直connecting现象，把设置了videoSource.VideoResolution 属性的语句去掉即可如下屏蔽掉的代码 //foreach (VideoCapabilities picSize in videoSou

2017-07-20 10:53:49 4528 1

原创 C# AForge 关闭摄像头

问题描述见下面图用AForge 写程序，在做界面时发现打开程序后打开界面能连接摄像头，然后关闭再打开就一直连接状态，是因为关闭时没有关闭摄像头，只关闭了界面。 VideoCaptureDevice videoSource;只需在关闭时加入 videoSource.Stop();即可解决该问题 private void FrmGetPic_FormClosing(obj

2017-06-10 11:56:07 2917

原创 C# 实现自己画内容并打印

1. 首先在界面中拉入三个控件，右边为panel2. 界面初始化添加自打印事件，PrintEveryPage函数中添加打印内容 public FrmPrinter() { InitializeComponent(); this.printDocument1.PrintPage += new System.Draw

2017-06-06 11:23:28 3205

转载 Spark性能优化：shuffle调优

shuffle调优调优概述大多数Spark作业的性能主要就是消耗在了shuffle环节，因为该环节包含了大量的磁盘IO、序列化、网络数据传输等操作。因此，如果要让作业的性能更上一层楼，就有必要对shuffle过程进行调优。但是也必须提醒大家的是，影响一个Spark作业性能的因素，主要还是代码开发、资源参数以及数据倾斜，shuffle调优只能在整个Spark的性能调优中占

2017-06-01 17:35:57 408

转载 Spark性能优化：数据倾斜调优

前言继《Spark性能优化：开发调优篇》和《Spark性能优化：资源调优篇》讲解了每个Spark开发人员都必须熟知的开发调优与资源调优之后，本文作为《Spark性能优化指南》的高级篇，将深入分析数据倾斜调优与shuffle调优，以解决更加棘手的性能问题。1.数据倾斜调优调优概述有的时候，我们可能会遇到大数据计算中一个最棘手的问题——数据倾斜，此

2017-06-01 17:34:54 328

转载 Spark性能优化：资源调优篇

在开发完Spark作业之后，就该为作业配置合适的资源了。Spark的资源参数，基本都可以在spark-submit命令中作为参数设置。很多Spark初学者，通常不知道该设置哪些必要的参数，以及如何设置这些参数，最后就只能胡乱设置，甚至压根儿不设置。资源参数设置的不合理，可能会导致没有充分利用集群资源，作业运行会极其缓慢；或者设置的资源过大，队列没有足够的资源来提供，进而导致各种异常。总之，无论是哪

2017-06-01 17:32:46 290

转载 Spark性能优化：开发调优篇

1、前言在大数据计算领域，Spark已经成为了越来越流行、越来越受欢迎的计算平台之一。Spark的功能涵盖了大数据领域的离线批处理、SQL类处理、流式/实时计算、机器学习、图计算等各种不同类型的计算操作，应用范围与前景非常广泛。在美团•大众点评，已经有很多同学在各种项目中尝试使用Spark。大多数同学（包括笔者在内），最初开始尝试使用Spark的原因很简单，主要就是为了让大数据

2017-06-01 17:31:18 417

转载 RDD、DataFrame和DataSet的区别

转自： http://www.jianshu.com/p/c0181667daa0RDD、DataFrame和DataSet是容易产生混淆的概念，必须对其相互之间对比，才可以知道其中异同。RDD和DataFrameRDD-DataFrame上图直观地体现了DataFrame和RDD的区别。左侧的RDD[Person]虽然以Person为类型参数，

2017-05-18 15:36:02 372

转载 Ubuntu 删除安装软件

1、删除软件方法一、如果你知道要删除软件的具体名称，可以使用 sudo apt-get remove --purge 软件名称 sudo apt-get autoremove --purge 软件名称 1212方法二、如果不知道要删除软件的具体名称，可以使用dpkg --get-selections | grep ‘软件相关名称’11sudo apt-get purge 一

2017-05-14 16:56:00 321

转载 Ubuntu14.04安装wineqq国际版

标签：ubuntu 64位 linux wineqq wineqq国际版一开始，我在Ubuntu14.04下安装的QQ版本是WineQQ2013SP6-20140102-Longene,但后来发现这个版本QQ在linux下问题很多，比如不能用键盘输入密码，QQ表情使用失灵，有些不兼容等，最重要的是我发现它及其的占用CPU，令我很不爽（有图为证）：

2017-04-27 11:03:41 317

原创 eclipse和IDEA 配置opencv java Scala

最近研究OpenCV想用java进行开发，因此研究了一下怎么在Eclipse中配置基于java的Opencv.第一步：先到OpenCV官网下载你想要的版本，假设使用的是2.4.6版本。这里附上下载地址：http://opencv.org/downloads.html，在官网下载你想要的版本，解压到本地的某个目录。比如 D:/OpenCV/。第二步，打开Eclipse，并找到Window –

2017-04-08 15:00:29 1531

原创 windows下局域网内复制整个文件夹脚本bat

复制远程电脑上整个文件夹下所有内容net use \\10.1.31.15 wt/user:administrator rd/s/q %~dp0\amd axcopy/a/s/h \\10.1.31.15\Users %~dp0\apausexcopy后面跟的参数意思：/P 创建每个目标文件前提示。 /S 复制目录和子目录，除了空的。 /

2017-04-07 14:06:44 5968

转载 Spark 体系架构

最近看到一篇关于Spark架构的博文，作者是 Alexey Grishchenko。看过Alexey博文的同学应该都知道，他对Spark理解地非常深入，读完他的 “spark-architecture” 这篇博文，有种醍醐灌顶的感觉，从JVM内存分配到Spark集群的资源管理，步步深入，感触颇多。因此，在周末的业余时间里，将此文的核心内容译成中文，并在这里与大家分享。如在翻译过程中有文字上的表

2017-03-18 15:17:45 373

原创 spark连接Oracle

引入oracle的jar包package com.agm.databaseimport java.sql.DriverManagerimport org.apache.spark.rdd.JdbcRDDimport org.apache.spark.{ SparkConf, SparkContext }import org.apache.log4j.{ Level, L

2017-03-14 16:05:02 5862

原创 spark连接mysql

引入mysql的jar包package com.agm.databaseimport java.sql.DriverManagerimport org.apache.spark.SparkContextimport org.apache.spark.rdd.JdbcRDDimport org.apache.spark.SparkConfimport org.

2017-03-14 16:02:36 1114

原创 spark入门实例 wordCount

数据格式：撒地方 213萨芬 123657 jhkjhk萨芬 123gjh 123意图以 2354萨芬 123package com.agm.wordsimport org.apache.spark.SparkContextimport org.apache.spark.SparkContext._import org.apache.

2017-03-14 15:57:26 730

原创 spark mllib机器学习之七 TFIDF

package com.agm.FeatureExtractorsimport org.apache.spark.ml.feature.{ HashingTF, IDF, Tokenizer }import org.apache.spark.{ SparkConf, SparkContext }import org.apache.spark.mllib.classification.{

2017-03-14 15:55:51 1039

原创 spark mllib机器学习之六 ALS

协同过滤采用音乐推荐的数据http://www.iro.umontreal.ca/~lisa/datasets/profiledata_06-May-2005.tar.gz package com.agm.practiceimport java.io.Fileimport org.apache.spark.SparkConfimport org.apache.

2017-03-14 15:52:06 662

原创 spark mllib机器学习之五 LinearRegressionWithSGD

数据格式：8,1 5 2125,90 30 50,0 0 092,22 50 20999,333 333 33350,12 26 1260,25 25 108,1 5 2867,537 97 233672,55 216 4011672,521 576 5752229,699 799 7311279,695 434 150p

2017-03-14 15:45:46 3734

原创 spark mllib机器学习之四 kmeans

数据格式：package com.agm.kmeansimport java.io.Fileimport java.io.PrintWriterimport java.io.Fileimport org.apache.spark.SparkConfimport org.apache.spark.SparkContextimport org.apa

2017-03-14 15:39:21 402

原创 spark mllib机器学习之三 FPGrowth

数据格式：苹果梨香蕉梨牛奶土豆苹果香蕉狗狗土豆土豆牛奶盐盐梨狗苹果梨狗package com.agm.guanlianimport org.apache.spark.mllib.fpm.FPGrowthimport org.apache.spark.{SparkConf, SparkContext}import ja

2017-03-14 15:32:24 1142

原创 spark mllib机器学习之二 DecisionTree

数据格式：1 1:2 2:3 3:42 1:1 2:2 3:31 1:1 2:3 3:31 1:3 2:1 3:31 1:4 2:6 3:72 1:1 2:5 3:51 1:3 2:3 3:31 1:3 2:2 3:31 1:4 2:3 3:42 1:2 2:6 3:61 1:1 2:7 3:31 1:4 2:1 3:21 1:3 2:3 3:7

2017-03-14 15:27:35 528

原创 spark mllib机器学习之一 LogisticRegressionWithLBFGS

数据格式：(0,[1,1,1,0,1,1,1])(1,[0,0,1,0,0,1,0])(2,[1,0,1,1,1,0,1])(3,[1,0,1,1,0,1,1])(4,[0,1,1,1,0,1,0])(5,[1,1,0,1,0,1,1])(6,[1,1,0,1,1,1,1])(7,[1,0,1,0,0,1,0])(8,[1,1,1,1,1,1,1])(9,[

2017-03-14 15:23:28 2944 1

原创 eclipse spark源码编译部署

1.安装Scala2.安装sbt3.安装Scala IDE http://scala-ide.org/download/current.html (要注意eclipse和Scala IDE的版本匹配问题，网页上有说明)4.下载Spark源代码： Git中运行 D:\Spark\gitCode> git clone https://github.com/apach

2017-03-14 15:16:36 1283

转载 Windows下搭建Spark+Hadoop开发环境

Windows下搭建Spark+Hadoop开发环境需要一些工具支持。只需要确保您的电脑已装好Java环境，那么就可以开始了。一. 准备工作1. 下载Hadoop2.7.1版本（写Spark和Hadoop主要是用到了Yarn，因此Hadoop必须安装）下载地址：http://apache.fayea.com/hadoop/common/hadoo

2017-02-27 09:59:08 3193

转载 spark RDD操作map与flatmap的区别

以前总是分不清楚spark中flatmap和map的区别，现在弄明白了，总结分享给大家，先看看flatmap和map的定义。map()是将函数用于RDD中的每个元素，将返回值构成新的RDD。flatmap()是将函数应用于RDD中的每个元素，将返回的迭代器的所有内容构成新的RDD有些拗口，看看例子就明白了。val rdd = sc.parallelize(List("coffee

2017-02-25 15:07:19 9300 2

原创 C# 父窗体调用子窗体后关闭自身

采用线程进行实现： Thread t = new Thread(new ThreadStart(delegate { Application.Run(new Form1()); })); t.Start(); this.Dispose(true);

2017-02-11 10:48:43 678

转载 C#使用Http Post方式传递Json数据字符串调用Web Service

引言　　前段时间一直在做一个ERP系统，随着系统功能的完善，客户端（CS模式）变得越来越臃肿。现在想将业务逻辑层以下部分和界面层分离，使用Web Service来做。由于C#中通过直接添加引用的方来调用Web Service的方式不够灵活，故采取手动发送Http请求的方式来调用Web Service。最后选择使用Post方式来调用Web Service，至于安全性和效率暂不考虑。在学习使用

2017-02-03 08:48:40 16126 2

原创 python 调用spark

1. 下载安装 spark2. 下载安装python3. 创建环境变量 spark_home D:\Spark\spark-2.0.1-bin-hadoop2.64. 将路径D:\Spark\spark-2.0.1-bin-hadoop2.6\python\pyspark加入环境变量5. 将D:\Spark\spark-2.0.1-bin-hadoop2.6 下的pyspark

2017-01-23 08:57:52 5985

转载 R 连接Sprak

sparklyr: R interface for Apache SparkConnect to Spark from R. The sparklyr package provides a complete dplyr backend.Filter and aggregate Spark datasets then bring them into R for analysi

2017-01-22 09:23:57 1169

转载 spark Error initializing SparkContext System memory 466092032 must be at least 471859200.

ERROR SparkContext: Error initializing SparkContext.Java.lang.IllegalArgumentException: System memory 259522560 must be at least 4.718592E8. Please use a larger heap size.在Eclipse里

2017-01-20 14:42:20 6432

转载 Hadoop安装教程_单机/伪分布式配置_Hadoop2.6.0/Ubuntu14.04

当开始着手实践 Hadoop 时，安装 Hadoop 往往会成为新手的一道门槛。尽管安装其实很简单，书上有写到，官方网站也有 Hadoop 安装配置教程，但由于对 Linux 环境不熟悉，书上跟官网上简略的安装步骤新手往往 Hold 不住。加上网上不少教程也甚是坑，导致新手折腾老几天愣是没装好，很是打击学习热情。本教程适合于原生 Hadoop 2，包括 Hadoop 2.6.0, Hado

2017-01-20 10:43:11 323

转载 Hadoop集群安装配置教程_Hadoop2.6.0_Ubuntu/CentOS

本教程讲述如何配置 Hadoop 集群，默认读者已经掌握了 Hadoop 的单机伪分布式配置，本教程适合于原生 Hadoop 2，包括 Hadoop 2.6.0, Hadoop 2.7.1 等版本，主要参考了官方安装教程，步骤详细，辅以适当说明，保证按照步骤来，都能顺利安装并运行 Hadoop。另外有Hadoop安装配置简略版方便有基础的读者快速完成安装。本教程由给力星出品，转载请注明

2017-01-20 10:41:41 297