2018年06月_haijiege

12月 11月 10月 09月 08月 07月 06月 05月 04月 03月 01月

原创 Maven的安装与配置

1 Maven简介Apache Maven是一个软件项目管理和综合工具，通过它便捷的管理项目的生命周期。即项目的jar包依赖，开发，测试，发布打包。2 Maven下载http://maven.apache.org http://maven.apache.org/download.cgi 下载zip格式的软件包apache-maven-3.5.0-bin.zip3 Maven环境变量设置（1）解压缩...

2018-06-25 10:57:06 274

原创在Windows平台下搭建Spark开发环境（Intellij IDEA）

1. 在Windows平台下搭建Spark开发环境（Intellij IDEA+Maven）1.1 集成开发环境IDE为了方便应用程序开发与测试，提高开发效率，一般使用集成开发工具IDE。同样，为了方便Spark应用程序编写和测试，可以选择集成开发工具Intellij IDEA或Eclipse。由于Intellij IDEA对Scala更好的支持，大多Spark开发团队选择了Intellij I...

2018-06-22 18:56:02 17389 5

原创 spark-submit 错误：ClassNotFoundException：WordCount

在IDEA中运行WordCount成功打包后使用命令：./spark-submit --class WordCount /home/hadoop/WordCount/out/artifacts/WordCount_jar/WordCount.jar运行后报错：查了好久发现可能跟package name有关，于是尝试下面的提交方式：./spark-submit --class scala.dblab...

2018-06-22 11:19:48 10558

翻译 idea的使用

1. Intellij IDEA常用快捷键下面的快捷键，最好自己试一下，这样的话就能明白它到底是干什么用的，语言描述可能不到位快捷鍵用法描述 Ctrl+Shift+A 根据名称查找操作，例如查找创建scala class操作 Alt+F1 视图切换 Ctrl+Tab 工具窗口、正在编辑的代码文件切换 Alt+Home 显示导航条 Ctrl+J 插入代码模板，例如main方法 Ct...

2018-06-15 15:26:20 468

转载 ntellij IDEA:当右键运行时出现了Run Scala console，而没有run操作的原因

本人刚开始接触Scala语言，想搭建一个IDE开发环境，所有的操作都是按照网上的做的，但是就是没找到运行的地方在哪里，如图：朋友告诉我，我的文件建错了，应该建一个object而不是建一个class写入相应的代码后，右键，你会神奇的发现，有run了，本人刚学Scala，不要喷，也希望帮助到像我一样刚入门的人。输出为：[plain] view plain copy....../Users/eric/D...

2018-06-15 14:35:27 3696 2

转载 IntelliJ IDEA 中右键新建（new）时，选项没有scala(java) class的解决方法和具体解释

首先注明：本文不是原创，我也是在网上找了好久，找到这篇博文（链接），解决了我的问题，顺便在这里总结一下，给有需要的人。项目是用Maven 创建的，具体的创建过程就不做解释了。出现的问题如下：具体问题的图，如下：打开设置界面的路径如下: 主界面File——>Project Structure——>modules 如上图红圈所示，我们可以根据对项目的任意目录进行这五种目录类型标注，这个知...

2018-06-15 11:37:19 2688

转载 10种常见的软件架构模式

Tips原文作者：Vijini Mallawaarachchi原文地址：10 Common Software Architectural Patterns in a nutshell有没有想过要设计多大的企业规模系统？在主要的软件开发开始之前，我们必须选择一个合适的体系结构，它将为我们提供所需的功能和质量属性。因此，在将它们应用到我们的设计之前，我们应该了解不同的体系结构。什么是架构模式？根据维基...

2018-06-13 18:25:06 1493

转载 linux修改文件所有者和文件所在组

chgrp 用户名文件名 -Rchown 用户名文件名 -R -R表示递归目录下所有文件以上部分已验证一、修改文件所属组群——chgrp 修改文件所属组群很简单-chgrp命令，就是change group的缩写（我们可以利用这些来记忆命令）语法：chgrp 组群文件名/目录举例：[root@redhat ~]# groupadd grou...

2018-06-13 10:48:11 5945

转载 sbt安装

Spark 中没有自带 sbt，需要手动安装sbt，可在官网https://www.scala-sbt.org/download.html下载，我们这里使用的是sbt-0.13.9.tgz 我们选择安装在 /usr/local/sbt 中：sudo mkdir /usr/local/sbtsudo chown -R hadoop /usr/local/sbt # 此处的 hadoop 为...

2018-06-12 16:07:08 5010 2

pip-9.0.1.tar

pip 是一个现代的，通用的 Python 包管理工具。提供了对 Python 包的查找、下载、安装、卸载的功能; pip 是一个现代的，通用的 Python 包管理工具。提供了对 Python 包的查找、下载、安装、卸载的功能;

2017-09-06

python3.6.0-64位

Python具有丰富和强大的库。它常被昵称为胶水语言，能够把用其他语言制作的各种模块（尤其是C/C++）很轻松地联结在一起。常见的一种应用情形是，使用Python快速生成程序的原型（有时甚至是程序的最终界面），然后对其中[3] 有特别要求的部分，用更合适的语言改写，比如3D游戏中的图形渲染模块，性能要求特别高，就可以用C/C++重写，而后封装为Python可以调用的扩展类库。需要注意的是在您使用扩展类库时可能需要考虑平台问题，某些可能不提供跨平台的实现

2017-09-06