技术
CMSurprise
这个作者很懒,什么都没留下…
展开
-
错误: 找不到或无法加载主类 simple.Test
偶然的机会,碰到了一个小问题,虽然不难,却很折磨人;而且咨询度娘之后发现网友的解决方法千奇百怪,但是查看/尝试了大约5种不同的说法却没有能够解决问题。看来还是得去求助外网:bing OR google。后来谷歌之后解决了问题,但是却又碰到了新问题,此处做个记录:主要记录解决此问题的方法,顺便描述新问题的坑,留待后面填补。问题描述环境描述脱离本机环境描述问题就是耍流氓。 OS:WIndows 10原创 2016-03-26 22:14:06 · 11637 阅读 · 0 评论 -
Linux环境下安装ssh
前言在配置 Hadoop 集群分布时,要使用 SSH 免密码登录,spark 也是。此处只简单介绍 ssh 的安装,后续的免密码登录在 Spark 配置文章中详细介绍、记录。简单介绍维基百科定义: Secure Shell(缩写为 SSH),由 IETF 的网络工作小组(Network Working Group)所制定;SSH 为一项创建在应用层和传输层基础上的安全协议,为计算机上的 Shel原创 2016-07-01 21:08:07 · 9618 阅读 · 0 评论 -
Spark入门 - 2 Spark安装和集群部署
安装Scala版本选择Spark官方对配套的Scala版本有规定,所以要根据自己的实际情况来选择Scala版本。因此首先去Spark官网下载Spark,再根据要求下载对应版本的Scala。在http://spark.apache.org/docs/1.6.2/中有一句提示:Spark runs on Java 7+, Python 2.6+ and R 3.1+. For the Scala API原创 2016-07-25 20:44:00 · 2861 阅读 · 0 评论 -
Spark入门 - 3 测试Spark集群
这是Spark入门的第三篇,也是最后一篇。说是入门,其实就只是简单的根据两本Spark书本,结合网络资料,自己一边动手实现,一边做的记录。自己看的时候确实方便许多,重新搭建一遍Hadoop-2.6.4的时候,查看前两篇记录,重现一遍的时候效率很高。环境的搭建只是基础中的基础,不过之后的一切工作都要在这上面展开,并且用途也因人而异。因此这部分的记录入门尚可。通过Spark提供的示例LocalPi测试S原创 2016-07-26 16:36:59 · 2588 阅读 · 0 评论 -
Spark入门 - 1 搭建Hadoop分布式集群
2016-07-25 更新: 进行到Spark安装的时候,spark-1.6.2没有对应的hadoop-2.7.2的with bin版本,因此推翻重来。 目前为hadoop-2.6.4+scala-2.10.6+spark-1.6.2-bin-hadoop2.6。 因此,如果近期搭建环境,注意三个包的版本选择搭配。官网有具体说明,请具体查阅。如果有精力,也可以使用源码等原创 2016-07-21 10:58:53 · 1730 阅读 · 1 评论 -
Spark入门 - History Server配置使用
问题描述在Spark安装成功后,无论是通过spark-submit工具还是通过Intellij IDEA提交任务,只要在Spark应用程序运行期间,都可以通过WebUI控制台页面来查看具体的运行细节,在浏览器中通过地址:http://<driver-node>:4040即可查看当前的运行状态。但是一旦应用程序运行结束,该Web界面也就失效了,无法继续查看监控集群信息。无法回顾刚刚运行的程序细节,进而原创 2016-11-16 20:30:41 · 9951 阅读 · 0 评论 -
Spark入门 - 常用Spark监控Tab
常用Spark监控Tab最近用Spark做任务,中间来回配置集群环境,查看配置后的效果,以及监测程序运行过程中的运行进度等,需要频繁查看WebUI的几个Tab。各个tab功能不一,从不同方面显示了Spark的各方面性能参数和运行进度。特意记录一下,方便以后用得到的时候能够快速回顾知识点。HDFS配置概览第一个tab是在配置好Hadoop之后就可以查看的。在这之前要先运行start-dfs.sh开启文原创 2016-11-16 22:57:24 · 9492 阅读 · 0 评论 -
Python生成指定大小文件
在平时做实验的过程中,经常需要生成一些测试数据,比如指定文件大小、文件记录数,以及文本型、数字型数据等要求。本文记录使用Python生成指定大小的文件和生成指定数量的数据文件两种方式,以及另一个Python小程序,可以读取文件验证文件的行数,即记录数。 以下程序均为Python3版本。生成指定大小的文件#!/usr/bin/env python#-*- coding:utf-8 -*-imp原创 2016-11-19 11:03:49 · 12949 阅读 · 2 评论 -
Django速成-构建一个Blog-Demo
根据书本引导构建的一个Django Blog Demo,还很简陋。主要为引导用户熟悉Django的流程,以及运作原理。主要设置项为setting.py文件。具体的更改数据库,配置数据库参数,时区等都可以在这里配置。更多设置项可以参考文件里的注释链接查阅官方文档进行更改。Python版本:3.5.2,Django版本:(1, 9, 7, ‘final’, 0)。运行配置完是数据库后,首先在manage原创 2016-11-26 11:26:37 · 1803 阅读 · 0 评论 -
Linux环境下安装Java
前言Linux 系统中 Java 环境的配置真的是非常基础但又非常重要,而且因为非常基础,所以在配置新的 Linux 工作环境的时候,不可避免的就要把相关基础配置重复一遍,有点像是建房子的地基建设,不可避免要重复很多遍。 之前一直是需要的时候临时查找资料,后面发展到本地做个文档记录下大致步骤,最近学习 Spark,又一轮的环境配置及 Linux 一些基础工具的安装,之前散乱的知识点串联了一遍。刚好原创 2016-07-01 12:05:00 · 953 阅读 · 0 评论 -
django后台入门--引言
写在前面最近面试Shanbay的暑期实习生,在正式开始面试之前要有一个小作业,根据布置的任务做出一个背单词网站Demo,供后面面试官筛选和筛选后的面试提问。 然而作为一个刚入门的纯Java后台,Python很久之前学过一点,但很久不用了,Django不会,Bootstrap不会,Web不会(不过应该会写一个helloworld页面吧)。一脸懵逼啊。。。经过十天左右的“奋战”,好歹做出了一个能跑起来原创 2016-07-12 22:41:25 · 611 阅读 · 0 评论 -
学生信息管理系统-书本实例
写在前面本例是南邮本科教材<<面向对象程序设计及C++(第2版)>>(就是下面这本,朱立华、俞琼、郭剑、朱建主编)中第六章后面的小 Project,简单的学生信息管理系统,没有 String、没有 vector,简单的类实现以及运算符重载操作。代码并不难,只是作为热身练习,不过修复 Bug 倒也耗费了不少时间。这里只做记录,mark 自己水过来的本科课程,以及现在重新回来填坑。这里基本是重现了课本上原创 2016-05-09 21:17:32 · 1023 阅读 · 0 评论 -
mkdir()和mkdirs()的区别
本文内容主要整理自Stack Overflow的问题:Difference between mkdir() and mkdirs() in java for java.io.File [closed]问题起源最近在实习工作中,将项目部署到新环境的服务器中时,遇到了mkdir()失败的问题。原因是在项目中配置的路径信息在新服务器上不存在,而且该路径是多层目录结构,mkdir()在多层目录不存在的情况原创 2017-08-19 20:01:52 · 3224 阅读 · 1 评论