2018年01月_gamedev˚

08月 07月 06月 04月 03月 02月 01月

原创 sparkSQL结合hive的入门程序

学习sparkSQL时最简单的一个示例，是用json格式的文件充当hive表，并注册为临时表，然后用hiveQL的API来查询得出需要的结果。package spark.sparkSQLimport org.apache.spark.SparkConfimport org.apache.spark.SparkContextimport org.apache.spark.sql.hive

2018-01-30 01:18:33 331

原创 Spark程序开发规范

在编写SparkRDD程序时，经常要将本地开发好的代码，在本地测试完后，要打包成jar，并发布到集群上去跑一跑。这是通过命令行传入参数的友好性提示和规范编码就体现出来了，下面我将整理【Scala语言开发Spark程序的常用模板】package spark.sparkSQLobject SparkSQLTwitter { def main(args: Array[String]) {

2018-01-29 15:52:44 2316

原创 Scala Spark Map DataFrame Missing Paramenter Type

在学习sparkSQL时，按照书中的例子敲了代码，但是报出map row:Missing Paramenter Type的错误，意思就是没有指定row变量的类型。当我在我的代码的val hiveCtx = new HiveContext(sc)的下一行，添加import hiveCtx.implicits._代码段之后，错误被解除了。因为这段代码会将RDD隐式转换为DataFrame 完整代...

2018-01-28 20:46:35 598

原创 ~ 按位取反运算解析

今天我在看简明Python指南的时候，看到其中一个计算机计算的问题，它是这样描述的：x的按位取反结果为-(x+1) ~5 输出 -6。有关本例的更多细节可以参阅：http://stackoverflow.com/a/11810203看到这儿我就疑惑了，之前在大学中学习的计算机基础课程又还给教材了，hhh… 无奈，我只好取网上搜寻解析的答案，而网上的解释说得不太让人明白，自己结合他人的解

2018-01-28 14:39:56 16366 6

原创 linux用户登陆时，配置自动加载执行shell脚本的做法

通过 /etc/motd 文件中直接加入脚本内容或在 /etc/profile.d 文件夹中加入.sh执行脚本文件，可以实现在linux用户登陆后，自动执行脚本内容。大家观察 /etc/profile.d 文件夹下，有许多我们非常熟悉的内容，包括vim、less等：[elon@spark ~]$ ls /etc/profile.d/colorls.csh gnome-ssh-askpas

2018-01-28 02:10:21 16744 3

原创克隆VMware虚拟机及克隆后修改系统参数的全过程

克隆VM lunix虚拟机克隆之前local模式下调试的spark虚拟机，采用克隆完整文件的模式修改unix系统参数通过上一步的克隆，得到多个unix系统环境，现在拿其中一个进行修改举例，其余部分大致相同，除了IP和主机名以外。第一步修改mac地址在虚拟机还未启动之前，先修改该系统的mac地址，如下操作所示。生成新的mac地址，并用记事本记录

2018-01-27 02:06:46 17563 8

原创 Java中获得查询日期的上月末的日期

Java中获得查询日期的上月末的日期，通过calendar类来进行日期格式的转换和调用。具体代码如下，注释即为代码解析 @Bizlet("获得查询日期的上月末的日期") public String getLastMonthDate(String DateStr) throws ParseException{ SimpleDateFormat d

2018-01-26 20:44:37 2430 1

原创 org.apache.hadoop.io.nativeio.NativeIO$Windows.createFileWithMode0(Ljava/lang/String;JJJI)Ljava/io..

这是在Windows环境下执行Spark程序时出现的，本人的windows系统中安装的是Hadoop2.7.5包，可跨windows平台执行的包已发布在csdn下载栏中，【点击获取】执行Spark程序，saveAsTextFile(path)函数时出现异常An exception or error caused a run to abort: org.apache.hadoop.io.n

2018-01-26 16:52:21 1323

原创 maven官方安装及编译教程 | maven官方文档

maven 构建Java应用及其他应用的入门教程，建议读者参考Spring的官方文档【点击跳转】这里主要说明下，我们maven中编译Java代码的几个关键命令的说明，首先贴出maven帮助文档中对这几个命令的描述：mvn compileThis will run Maven, telling it to execute the compile goal. When it’s fin

2018-01-25 22:42:48 780 2

转载 Git忽略规则及.gitignore规则不生效的解决办法 | 修改.gitignore文件Github上不生效的解决办法

在git中如果想忽略掉某个文件，不让这个文件提交到版本库中，可以使用修改根目录中 .gitignore 文件的方法（如无，则需自己手工建立此文件）。这个文件每一行保存了一个匹配的规则例如：# 此为注释 – 将被 Git 忽略*.a # 忽略所有 .a 结尾的文件!lib.a # 但 lib.a 除外/TODO # 仅仅忽略项目根目录下的 TODO 文件，不包括

2018-01-25 03:43:21 471

原创【Windows中Spark环境搭建 | 基于Maven依赖库】在windows中对spark程序进行local调试学习

写在开头本博客的目标是可以在不开启spark集群 | Linux虚拟机的情况下，对Spark RDD程序的完美运行，旨在解放初学者应无Linux集群环境、无内存容量支撑的情况下运行spark程序，写这篇的灵感来源于自己在学习Spark时，看官方文档中介绍spark standalone模式部署，动辄20G内存、一个Master附带几个worker节点，然后默默看了眼自己的笔记本，8G内存、还要

2018-01-22 23:02:17 836 1

原创 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform..

启动或执行Hadoop | Spark程序时出现警告18/01/22 17:50:39 WARN NativeCodeLoader: Unable to load native-hadoop library for your platform… using builtin-java classes where applicable原因分析这是因为 $HADOOP_HOME/lib/na

2018-01-22 19:33:37 1101

原创自定义csdn博客栏目参考

专栏装饰代码持续更新中… 也欢迎各位喜欢折腾的朋友分享出你的好设计下载及长期维护地址【csdn博客栏目自定义】专栏一：个人资料 | 欢迎关注由于排版原因，这里就仅贴出该专栏的截图和代码展示效果图展示代码展示div> div align="center" style="padding-top:5px; font-family:'Open San

2018-01-22 15:21:31 422

原创 java.lang.UnsatisfiedLinkError: org.apache.hadoop.util.NativeCrc32.nativeComputeChunkedSums(IIL...

在window Eclipse中运行Hadoop和Spark程序时会遇见如下异常错误java.lang.UnsatisfiedLinkError: org.apache.hadoop.util.NativeCrc32.nativeComputeChunkedSums(IILjava/nio/ByteBuffer;ILjava/nio/ByteBuffer;IILjava/lang/String;J

2018-01-22 13:51:31 3538 3

原创配置和启动Spark | local模式以及standalone模式

Spark Local模式直接在 $SPARK_HOME/bin/spark-shell 中运行spark RDD程序，在UI界面http://nodename:4040/中可以看到jobs的执行情况[elon@spark ~]$ spark-shell --master localSetting default log level to "WARN".To adjust logg

2018-01-21 10:47:59 3434

原创 Eclipse+Maven+Scala Project+Spark | 编译并打包wordcount程序

学习用Eclipse+Maven来构建并打包一个简单的单词统计的例程。本项目源码已托管于Github –>【Spark-wordcount】第一步在EclipseIDE中安装Scala插件在Eclipse中安装Scala插件第二步创建Scala Project创建Scala 项目第三步给Scala项目注入maven依赖将Scala

2018-01-12 18:47:18 4618 2

原创 Spark构建独立应用 | sbt应用构建打包

学习用sbt来构建并打包一个简单的单词统计的例程。第一步创建Scala版的单词统计应用WordCount.scala/** * Illustrates flatMap + countByValue for wordcount. */import org.apache.spark._import org.apache.spark.SparkContext._object W

2018-01-07 01:08:39 689

原创使用Scala

在Scala中，对于脚本文件，其扩展名为.sc，而编译后的文件扩展名为.scala。加载脚本文件并执行通常对于脚本文件，使用scala环境，然后使用:load命令加载(编译并运行)文件：# upper1.scclass Upper{ def upper(strings: String*): Seq[String] = { strings.map((s:Stri

2018-01-03 19:58:26 2308

原创安装Scala

在最近的学习中，由于要着手学习Spark，而Spark又是右Scala语言编写的，所以在学习的时候，难免后遇到有关scala的语法知识以及编程技巧等，再加之被scala简介的代码所吸引，于是乎决定在Scala上先入门…在安装Scala之前，需要确保自己的机器的JVM环境是Java 8以上，若不是则下载升级 download Java here使用SBT创建一个 sbt 工程，你需要经过

2018-01-03 19:47:18 363

TeamViewer9.1版本

TeamViewer9.1版本，不会报商业连接导致不能使用的问题~ 放心用

2019-05-06

hadoop-2.7.5-bin压缩包，适合在window平台运行hadoop和spark程序，其中的文件已做替换

2018-01-30

struts2-interceptor 拦截器有关的一个增删改查小程序

应用拦截器优化增删改查

2017-06-22

员工薪资管理系统课程设计

员工薪资管理系统 ---- 软件工程课程设计

2017-05-26

利用Javabean+JSP 实现文件的上传、显示、下载

利用Javabean+JSP 实现文件的上传、显示、下载实现文件上传功能和下载功能，显示文件列表和读取文件内容功能。

2017-05-23

仅利用session和application实现聊天室

实验：内置对象使用一、实验目的 1、掌握各个内置对象的含义； 2、理解并熟练应用session、application对象。二、实验内容 1、设计聊天室，在聊天室中，需要通过JSP内置对象application来实时保存特定数量的当前聊天信息。聊天室的设计包括：用户进行登录，选择聊天室，进行聊天，退出聊天室。在聊天室中，用户只需输入一个用户名就可以进入聊天室，但是如果当前有人在使用该用户名，那么就必须换一个唯一的用户名。具体要求：  用户登录成功后，程序会要求用户选择聊天室。可以不设置用户自行建立聊天室的功能，而且在聊天中途不能从一个聊天室切换到另一个聊天室。  进入聊天室后，用户可以从用户信息窗口看到该聊天室中所有用户的用户名，也可以在聊天窗口中看到随时更新的聊天信息。用户可以给所有人或某一个聊天用户发送公共的聊天信息，这个聊天内容大家都可以看到。用户也可以给某个用户发送私人的聊天信息，这种信息属于私聊信息，只有发送者和接收者可以看到。此外，聊天窗口还会出现一些系统公告，比如某某上站、某某离开等消息，另外用户还可以自己定义聊天信息和聊天用户信息刷新的时间间隔。  在用户单击“退出”按钮后，页面关闭，同时application和session中保存的信息都将丢失。三、实验方法 1、用户登录信息使用request对象getParameter()方法得到用户登陆的一些信息； 2、公聊信息可以使用application对象，私聊信息使用session对象。 3、聊天的信息要不断刷新页面，使用户实时看到聊天信息。 4、用户退出时，有两种情况需要考虑：一是用户点击“退出”按钮，二是关闭浏览器，强制退出窗口，可查阅windows感知浏览器关闭的事件的相应方法。

2017-04-18

Java编写航班信息查询管理系统

# OOP（机试）本程序总结文章：http://blog.qiji.tech/?p=10344 - - - ## 程序基本要求一、项目名称: Air Infomation Programming 基于控制台的航班信息程序，简称AIP 二、具体要求如下：（1）显示航班信息程序主菜单，如图-1所示，包括： * 1)列出所有航班 * 2)按起飞时间查询 * 3)按目的地查询 * 4)删除航班 * 5)更新航班 * 6)退出系统（2）列出所有航班：查出所有航班的信息，以列表形式显示，包括：编号，航班号，目的地，起飞日期。（3）按起飞时间查询：输入起飞时间（格式如2011-2-25），查出所有这一天的航班。（4）按目的地查询：输入目的地，查出所有飞往此地的航班。（5）删除航班：删除指定编号的航班。（6）更新航班：更新指定编号的航班。（7）退出系统。三、类的设计需要定义如下类 * 航班信息实体类（AirInfo） * 航班编号(id) * 航班号(flight_number) * 目的地(destination) * 起飞日期(flight_date) * 航班信息管理类AirInfoManager类 * 程序入口类TestAirInfo类四、具体要求及推荐实现步骤 1. 创建实体类AirInfo，属性私有化，根据业务提供需要的构造方法和setter/getter方法。 1. 创建航班管理AirInfoManager类，在类中提供列出所有航班的方法，按起飞时间查询的方法、按目的地查询的方法、删除航班的方法、更新航班的方法、退出程序的方法。 2. 创建TestAirInfo类，启动和运行程序。 3. 航班的信息用ArrayList（或数组）保存。 4. 要求代码规范，命名正确。 - - -

2016-05-11

Java API 1.8 英文版开发文档

Java API 1.8 英文版开发文档双手奉上~~ Java API 1.8 英文版开发文档双手奉上~~

2016-05-07

Java API 1.6 中文版开发文档

Java API 1.6 中文版开发文档双手奉上~~

2016-05-07

Java网格布局-4*4计算器

计算器程序使用了网格布局来排列计算器按钮。当缩放窗口时，计算器按钮将随之变大或者变小，但所有的按钮尺寸始终保持一致。

2016-05-05

Java编写的航班信息查询管理系统

OOP（机试）[具体要求在压缩文档中给出] 项目名称: Air Infomation System 基于控制台的航班信息系统，简称AIS 具体要求如下：（1）显示航班信息系统主菜单，如图-1所示，包括： 1)列出所有航班 2)按起飞时间查询 3)按目的地查询 4)删除航班 5)更新航班 6)退出系统（2）列出所有航班：查出所有航班的信息，以列表形式显示，包括：编号，航班号，目的地，起飞日期。（3）按起飞时间查询：输入起飞时间（格式如2011-2-25），查出所有这一天的航班。（4）按目的地查询：输入目的地，查出所有飞往此地的航班。（5）删除航班：删除指定编号的航班。（6）更新航班：更新指定编号的航班。（7）退出系统。三、类的设计需要定义如下类航班信息实体类（AirInfo） 航班编号(id) 航班号(flight_number) 目的地(destination) 起飞日期(flight_date) 航班信息管理类AirInfoManager类程序入口类TestAirInfo类四、具体要求及推荐实现步骤 6.创建实体类AirInfo，属性私有化，根据业务提供需要的构造方法和setter/getter方法。 7.创建航班管理AirInfoManager类，在类中提供列出所有航班的方法，按起飞时间查询的方法、按目的地查询的方法、删除航班的方法、更新航班的方法、退出系统的方法。 8.创建TestAirInfo类，启动和运行系统。 9.航班的信息用ArrayList（或数组）保存。 10.要求代码规范，命名正确。

2016-05-04

React Native 可以走多远，应用场景有多广，未来行业发展前景如何？

2016-07-04

大数据对于一个自学的大学生难吗？

2016-06-28

TA创建的收藏夹 TA关注的收藏夹

TA关注的人