2018年02月_gamedev˚

08月 07月 06月 04月 03月 02月 01月

原创 linux Shell脚本编码格式修改

在windows下写好的shell脚本，放到linux上执行，往往会因为编码格式的问题存在兼容问题： -bash: ./lbs-circle-server.sh: /bin/sh^M: bad interpreter: No such file or directory这是由于文件编码格式为windows doc，在vi命令模式中使用 :set ff 命令，可以看到改文件的格式为dos...

2018-02-24 14:10:44 13392 1

转载解决Navicat 出错:1130-host . is not allowed to connect to this MySql server,MySQL

1.改表法。可能是你的帐号不允许从远程登陆，只能在localhost。这个时候只要在localhost的那台电脑，登入MySQL后，更改 “mysql” 数据库里的 “user” 表里的 “host” 项，从”localhost”改称”%”mysql -u root -pmysql>use mysql;mysql>update user set host = ‘%’ w...

2018-02-23 15:35:08 327

原创 Linux中Spark SQL分布式SQL引擎部署RDB | 安装MySQL+Hive | 使用beeline交互式工具

● 文件准备hive-0.12.0.tar.gz https://pan.baidu.com/s/1nxnAd0PMySQL-client-5.1.73-1.glibc23.x86_64.rpm https://pan.baidu.com/s/1eUaXhC2MySQL-server-5.1.73-1.glibc23.x86_64.rpm https://pan.baidu.com/s/...

2018-02-22 16:15:36 627

原创 shell命令行中用sbt打包scala程序为jar包并发布到集群中测试

1. sbt安装下载sbt文件，并在Linux中解压二进制的sbt软件包，这里提供下载地址 https://www.scala-sbt.org/download.html在解压后进入目录，然后执行./bin/sbt，第一次执行时会从网上下载依赖的JAR包，并保存到~/.sbt：[elon@hadoop ~]$ tar xf sbt-1.1.1.tgz[elon@hadoop ~]$ ...

2018-02-22 01:36:22 3374

原创 idea利用sbt打包scala程序为jar包并发布到集群中测试

前提条件是创建好了wordcount项目，可以参考Scala官方IDE教程 Getting Started with Scala in IntelliJBuilding a Scala Project with IntelliJ and sbtSpark Quick Start https://spark.apache.org/docs/latest/quick-start.html#s...

2018-02-22 01:08:03 10587

原创 CentOS6中 fabric 安装及简单使用

简介 fabric 是一个python的库，fabric可以通过ssh批量管理服务器。第一步安装依赖包安装epel源wget -O /etc/yum.repos.d/epel.repo http://mirrors.aliyun.com/repo/epel-6.repo安装fabric依赖及pipyum install -y python-pip gcc python-dev...

2018-02-21 23:27:58 809

原创 ERROR Executor: Exception in task 0.0 in stage 91.0

遇到下面这种Executor报错的情况，多半是sparkRDD或者DataFrame定义的时候出了问题，因为sparkSql程序执行的机制是：transformation端不是真正的执行，只有action端才是执行的开始，所以会在action函数调用的时候，才会把之前transform端或者定义类方法的时候存在的错误显式的抛出来。可以根据exception具体信息以及之前的代码确定哪儿出来问题...

2018-02-14 11:20:41 11628 7

原创 hadoop-yarn集群中，通过shell脚本自动化提交spark任务

spark_submit.sh#!/bin/sh# spark_submit.sh# 这是提交spark任务到yarn分布式集群上的自动化脚本export HADOOP_HOME=/home/elon/hadoop/hadoop-2.7.5spark-submit --master yarn --deploy-mode client --class org.training....

2018-02-11 12:18:33 2134

原创目录分类...

欢迎使用Markdown编辑器写博客本Markdown编辑器使用StackEdit修改而来，用它写博客，将会带来全新的体验哦：Markdown和扩展Markdown简洁的语法代码块高亮图片链接和图片上传LaTex数学公式UML序列图和流程图离线写博客导入导出Markdown文件丰富的快捷键快捷键加粗 Ctrl + B 斜体 Ctrl + I...

2018-02-10 21:14:56 439

原创使用Maven编译Spark源码

参考下面这篇博客，可以学到很多关于maven源码编译相关的知识。例如，将阿里云的资源库设为maven资源下载的目标地址等等使用Maven编译Spark源码 http://blog.csdn.net/lc_1123/article/details/78628989编译错误解决方案参考 [1] Problems while compiling Spark with mav...

2018-02-10 21:13:14 334

原创 SparkContext Error File not found /tmp/spark-events does not exist

[Error] SparkContext Error - File not found /tmp/spark-events does not exist在master节点上创建了/tmp/spark-events.然后将其分发到集群上的其他节点即可工作。mkdir /tmp/spark-eventsrsync -a /tmp/spark-events {slaves}:/tmp/spar...

2018-02-10 14:43:21 4228

原创 spark2.2.1中 spark.yarn.jars | spark.yarn.archive的正确配置

【ERROR】错误: 找不到或无法加载主类 org.apache.spark.deploy.yarn.ExecutorLauncher End Could not find or load main class org.apache.spark.deploy.yarn.ExecutorLauncher Application failed 2 times due to AM Containe...

2018-02-09 21:33:29 4495

原创 ipc.Client: Retrying connect to server,failed on socket timeout exception (已解决)

在格式化NameNode出现下面异常，通过异常信息，我们初步可以看到是因为ipc.client，即无法访问集群中的journalnode主机所导致。18/02/08 15:47:47 INFO namenode.FSNamesystem: Retry cache on namenode is enabled18/02/08 15:47:47 INFO namenode.FSNamesyste...

2018-02-08 16:16:48 3210

原创 Hadoop集群搭建个人规范

从头至尾Hadoop多台主机集群搭建帮助文档资源【链接：https://pan.baidu.com/s/1mjJPq2k 密码：9ukr】补充事项： ○ CentOS6.6 镜像文件下载地址：http://vault.centos.org/6.6/isos/x86_64/○ 集群部署概况：机器 IP地址部署应用 hadoop1 192.16...

2018-02-08 14:37:18 495

转载 linux中ctrl+z和ctrl+c的区别

ctrl+c和ctrl+z都是中断命令,但是他们的作用却不一样.ctrl+c是强制中断程序的执行, 而ctrl+z的是将任务中断,但是此任务并没有结束,他仍然在进程中他只是维持挂起的状态,用户可以使用fg/bg操作继续前台或后台的任务,fg命令重新启动前台被中断的任务,bg命令把被中断的任务放在后台执行.例如: 当你vi一个文件是,如果需要用shell执行别的操作,但是你又不打算关闭v...

2018-02-08 08:58:37 381

原创 spark2.x 独立集群环境搭建 | 适用于spark集群环境搭建

在开始环境搭建的教程之前，先说明下此篇博文为作者自学过程中实际操作总结，正确性以验证，并作为一位学习者记录自己的操作过程。准备一个以上的unix系统环境 | 克隆WM虚拟机及修改系统参数的全过程克隆WM虚拟机克隆之前local模式下调试的spark虚拟机，采用克隆完整文件的模式修改unix系统参数通过上一步的克隆，得到多个unix系统环境，现在拿其中一...

2018-02-07 23:52:30 876

TeamViewer9.1版本

TeamViewer9.1版本，不会报商业连接导致不能使用的问题~ 放心用

2019-05-06

hadoop-2.7.5-bin压缩包，适合在window平台运行hadoop和spark程序，其中的文件已做替换

2018-01-30

struts2-interceptor 拦截器有关的一个增删改查小程序

应用拦截器优化增删改查

2017-06-22

员工薪资管理系统课程设计

员工薪资管理系统 ---- 软件工程课程设计

2017-05-26

利用Javabean+JSP 实现文件的上传、显示、下载

利用Javabean+JSP 实现文件的上传、显示、下载实现文件上传功能和下载功能，显示文件列表和读取文件内容功能。

2017-05-23

仅利用session和application实现聊天室

实验：内置对象使用一、实验目的 1、掌握各个内置对象的含义； 2、理解并熟练应用session、application对象。二、实验内容 1、设计聊天室，在聊天室中，需要通过JSP内置对象application来实时保存特定数量的当前聊天信息。聊天室的设计包括：用户进行登录，选择聊天室，进行聊天，退出聊天室。在聊天室中，用户只需输入一个用户名就可以进入聊天室，但是如果当前有人在使用该用户名，那么就必须换一个唯一的用户名。具体要求：  用户登录成功后，程序会要求用户选择聊天室。可以不设置用户自行建立聊天室的功能，而且在聊天中途不能从一个聊天室切换到另一个聊天室。  进入聊天室后，用户可以从用户信息窗口看到该聊天室中所有用户的用户名，也可以在聊天窗口中看到随时更新的聊天信息。用户可以给所有人或某一个聊天用户发送公共的聊天信息，这个聊天内容大家都可以看到。用户也可以给某个用户发送私人的聊天信息，这种信息属于私聊信息，只有发送者和接收者可以看到。此外，聊天窗口还会出现一些系统公告，比如某某上站、某某离开等消息，另外用户还可以自己定义聊天信息和聊天用户信息刷新的时间间隔。  在用户单击“退出”按钮后，页面关闭，同时application和session中保存的信息都将丢失。三、实验方法 1、用户登录信息使用request对象getParameter()方法得到用户登陆的一些信息； 2、公聊信息可以使用application对象，私聊信息使用session对象。 3、聊天的信息要不断刷新页面，使用户实时看到聊天信息。 4、用户退出时，有两种情况需要考虑：一是用户点击“退出”按钮，二是关闭浏览器，强制退出窗口，可查阅windows感知浏览器关闭的事件的相应方法。

2017-04-18

Java编写航班信息查询管理系统

# OOP（机试）本程序总结文章：http://blog.qiji.tech/?p=10344 - - - ## 程序基本要求一、项目名称: Air Infomation Programming 基于控制台的航班信息程序，简称AIP 二、具体要求如下：（1）显示航班信息程序主菜单，如图-1所示，包括： * 1)列出所有航班 * 2)按起飞时间查询 * 3)按目的地查询 * 4)删除航班 * 5)更新航班 * 6)退出系统（2）列出所有航班：查出所有航班的信息，以列表形式显示，包括：编号，航班号，目的地，起飞日期。（3）按起飞时间查询：输入起飞时间（格式如2011-2-25），查出所有这一天的航班。（4）按目的地查询：输入目的地，查出所有飞往此地的航班。（5）删除航班：删除指定编号的航班。（6）更新航班：更新指定编号的航班。（7）退出系统。三、类的设计需要定义如下类 * 航班信息实体类（AirInfo） * 航班编号(id) * 航班号(flight_number) * 目的地(destination) * 起飞日期(flight_date) * 航班信息管理类AirInfoManager类 * 程序入口类TestAirInfo类四、具体要求及推荐实现步骤 1. 创建实体类AirInfo，属性私有化，根据业务提供需要的构造方法和setter/getter方法。 1. 创建航班管理AirInfoManager类，在类中提供列出所有航班的方法，按起飞时间查询的方法、按目的地查询的方法、删除航班的方法、更新航班的方法、退出程序的方法。 2. 创建TestAirInfo类，启动和运行程序。 3. 航班的信息用ArrayList（或数组）保存。 4. 要求代码规范，命名正确。 - - -

2016-05-11

Java API 1.8 英文版开发文档

Java API 1.8 英文版开发文档双手奉上~~ Java API 1.8 英文版开发文档双手奉上~~

2016-05-07

Java API 1.6 中文版开发文档

Java API 1.6 中文版开发文档双手奉上~~

2016-05-07

Java网格布局-4*4计算器

计算器程序使用了网格布局来排列计算器按钮。当缩放窗口时，计算器按钮将随之变大或者变小，但所有的按钮尺寸始终保持一致。

2016-05-05

Java编写的航班信息查询管理系统

OOP（机试）[具体要求在压缩文档中给出] 项目名称: Air Infomation System 基于控制台的航班信息系统，简称AIS 具体要求如下：（1）显示航班信息系统主菜单，如图-1所示，包括： 1)列出所有航班 2)按起飞时间查询 3)按目的地查询 4)删除航班 5)更新航班 6)退出系统（2）列出所有航班：查出所有航班的信息，以列表形式显示，包括：编号，航班号，目的地，起飞日期。（3）按起飞时间查询：输入起飞时间（格式如2011-2-25），查出所有这一天的航班。（4）按目的地查询：输入目的地，查出所有飞往此地的航班。（5）删除航班：删除指定编号的航班。（6）更新航班：更新指定编号的航班。（7）退出系统。三、类的设计需要定义如下类航班信息实体类（AirInfo） 航班编号(id) 航班号(flight_number) 目的地(destination) 起飞日期(flight_date) 航班信息管理类AirInfoManager类程序入口类TestAirInfo类四、具体要求及推荐实现步骤 6.创建实体类AirInfo，属性私有化，根据业务提供需要的构造方法和setter/getter方法。 7.创建航班管理AirInfoManager类，在类中提供列出所有航班的方法，按起飞时间查询的方法、按目的地查询的方法、删除航班的方法、更新航班的方法、退出系统的方法。 8.创建TestAirInfo类，启动和运行系统。 9.航班的信息用ArrayList（或数组）保存。 10.要求代码规范，命名正确。

2016-05-04

React Native 可以走多远，应用场景有多广，未来行业发展前景如何？

2016-07-04

大数据对于一个自学的大学生难吗？

2016-06-28

TA创建的收藏夹 TA关注的收藏夹

TA关注的人