2018年03月_gamedev˚

08月 07月 06月 04月 03月 02月 01月

原创面试笔记之查看linux系统内存的几种方式

面试笔记在参加玖万里的那次校招面试中，被问到查看linux系统内存的几种方式，这个问题我在平时中没有引起重视，这次做一个总结记录。方式一：free 直观的展示linux系统内存使用及交换区的容量大小等方式二：top 动态实时查看系统中每一个进程的资源使用情况：方式三：cat /proc/meminfo 方式四：gnome-system-monitor 一个显示最近...

2018-03-25 23:15:39 454

原创 Spark调优与学习笔记

【1】数据本地行存储，将存储与计算同节点部署【2】存储格式选择列式存储，如Parquet，减少读IO量，压缩比高，减少存储空间。【3】选择合理的Partition Key，防止数据倾斜或任务倾斜。【4】对复用的RDD进行cache缓存操作【5】尽可能避免shuffle，如：用reduceByKey代替groupByKey 【6】尽可能实用Spark SQL实现Spark计算，因为...

2018-03-23 09:10:51 306 1

原创 Hadoop MapReduce 计算框架剖析与学习笔记

要点剖析MR程序性能优化作业优化作业输入和作业输出要点剖析【1】该键和值类必须由框架序列化，因此需要实现Writable接口。此外，关键类必须实现WritableComparable接口，以方便框架进行排序。 Input and Output types of a MapReduce job: (input) <k1, v1> -> map -...

2018-03-23 09:09:59 428

原创 HDFS性能优化与学习笔记

HDFS要点HDFS性能优化HDFS故障恢复和容灾备份HDFS要点1.HDFS具有主/从架构。一个HDFS集群包含一个NameNode，一个主服务器，用于管理文件系统名称空间并管理客户端对文件的访问。此外，还有许多DataNode，通常是群集中的每个节点一个，它们管理连接到它们所运行的节点的存储。HDFS公开文件系统名称空间并允许用户数据存储在文件中。在内...

2018-03-23 09:07:10 1798

原创 MySQL 备份原表

假设我现在手头有一张原表customers，有两种方式来备份原表：方式一：在没有创建备份表结构时，我们可以通过下面方式备份原表CREATE TABLE back as SELECT * FROM customers WHERE 1=1;这条sql语句的意思就是创建一个back表，与customers表结构一致，在select子语句中携带了表数据，在创建back表时会一并带过去。...

2018-03-16 21:35:40 366

原创如何创建一个给定的Path路径中的文件目录及其文件

目录Java笔记shell笔记Java笔记 /** * 安全的创建一个文件 * - 当该文件的父目录不存在时，一并创建。 * * @param Path 创建文件的完整路径 * @return 创建的新文件File对象 * @throws IOException */ prote...

2018-03-15 20:35:28 1399

原创 Hadoop官方文档学习之 HDFS联邦体系结构

背景HDFS有两个主要层次：Namespaces - 由目录，文件和块组成。 - 它支持所有与Namespaces相关的文件系统操作，例如创建，删除，修改和列出文件和目录。块存储服务有两个部分：块管理（在Namenode中执行）通过处理注册和定期心脏跳动提供Datanode群集成员身份。进程阻止报告并维护块的位置。支持块相关的操作，如创建，删除，修改...

2018-03-06 20:35:07 744

原创 Hadoop官方文档学习之 HDFS高可用性QJM与NFS模式

背景在Hadoop 2.0.0之前，NameNode是HDFS集群中的单点故障（SPOF）。每个群集都有一个NameNode，如果该机器或进程不可用，整个群集将不可用，直到NameNode重新启动或在单独的计算机上启动为止。HDFS高可用性功能通过提供在具有热备份的主动/被动配置中在同一集群中运行两个冗余NameNode的选项来解决上述问题。这允许在计算机崩溃的情况下快速故障转移到新的Na...

2018-03-06 17:04:44 1075

转载 org.apache.hadoop.io.nativeio.NativeIO$Windows.access(null) entry in command string: null chmod 0700

环境：windowsHadoop版本：hadoop2.7.3开发工具：eclispe-hadoop-plugin运行map reduce任务报错：(null) entry in command string: null chmod 0700解决办法：在https://github.com/SweetInk/hadoop-common-2.7.1-bin中下载winutils.exe,libwinu...

2018-03-05 23:17:25 1167

原创 HDFS高可用性手动故障转移和自动故障转移配置教程

本文适用范围，对于任何官方开源包安装的集群环境要配置HA NameNode，你必须将多个配置选项添加到你的hdfs-site.xml配置文件。这里我先给出全部的配置项，然后接下来会逐步提及各配置项。<configuration><property> <name>dfs.nameservices</name> <valu...

2018-03-04 16:33:37 2478

原创 HDFS创建全局快照

HDFS创建快照的详细说明文档请参见： [HDFS快照 | HDFS Snapshots] http://blog.csdn.net/coder__cs/article/details/79430333允许创建目录的快照。如果操作成功完成，则该目录变为快照可见。[elon@hadoop4 bin]$ hdfs dfsadmin -allowSnapshot /Allowing sna...

2018-03-03 15:13:42 636

原创 HDFS快照 | HDFS Snapshots

HDFS快照概况 HDFS快照是文件系统的只读时间点副本。快照可以在文件系统的子树上或整个文件系统上进行。快照的一些常见用例是数据备份，防止用户错误和灾难恢复。 HDFS快照的实施非常高效：快照创建是即时的：成本为O（1），不包括索引节点查找时间。额外内存仅在相对于快照进行修改时使用：内存使用量为O（M），其中M是修改的文件/目录的数量。...

2018-03-03 14:50:20 1046

翻译 Hadoop集群垃圾箱配置 | fs.trash.interval

启用Hadoop集群垃圾箱配置配置参数：<property> <name>fs.trash.interval</name> <value>10</value> <description>检查点被删除后的分钟数。如果为零，垃圾桶功能将被禁用。该选项可以在服务器和客户端上配置。...

2018-03-03 14:12:10 5215

原创学习Hadoop官方文档之 Hadoop文件系统元数据的持久性与运作机制

NameNode中EditLog与FsImage文件的工作机制EditLog和FsImage存储HDFS名称空间由NameNode存储。NameNode使用名为EditLog的事务日志来持久记录元数据在本次集群启动后发生的所有更改操作。例如，在HDFS中创建一个新文件会导致NameNode向EditLog中插入一条记录，指出这一点。同样，更改文件的复制因子会导致将新记录插入到Edi...

2018-03-03 10:59:11 347

翻译 Hadoop平衡器管理员指南 | Hadoop Balancer Administrator Guide

平衡器是一种平衡HDFS集群磁盘空间使用情况的工具数据节点变满或新空节点加入群集时。该工具被部署为一个可由集群管理员在实时HDFS上运行的应用程序群集，而应用程序添加和删除文件。SYNOPSISTo start: sbin/start-balancer.sh [-threshold <threshold>] Example: bin/ start-balancer.sh s...

2018-03-02 21:01:11 547

翻译 Hadoop Web应用程序代理服务器 | Hadoop Web Application Proxy

Web Application ProxyWeb Application Proxy 是YARN的一部分。默认情况下，它将作为资源管理器(RM)的一部分运行，但可以配置为以独立模式运行。代理的原因是通过YARN减少网络攻击的可能性。在YARN中，应用程序主(AM)有责任提供一个web UI并将该链接发送到RM。这就引出了一些潜在的问题。 RM作为一个受信任的用户运行，访问该web...

2018-03-01 00:51:15 3068

TeamViewer9.1版本

TeamViewer9.1版本，不会报商业连接导致不能使用的问题~ 放心用

2019-05-06

hadoop-2.7.5-bin压缩包，适合在window平台运行hadoop和spark程序，其中的文件已做替换

2018-01-30

struts2-interceptor 拦截器有关的一个增删改查小程序

应用拦截器优化增删改查

2017-06-22

员工薪资管理系统课程设计

员工薪资管理系统 ---- 软件工程课程设计

2017-05-26

利用Javabean+JSP 实现文件的上传、显示、下载

利用Javabean+JSP 实现文件的上传、显示、下载实现文件上传功能和下载功能，显示文件列表和读取文件内容功能。

2017-05-23

仅利用session和application实现聊天室

实验：内置对象使用一、实验目的 1、掌握各个内置对象的含义； 2、理解并熟练应用session、application对象。二、实验内容 1、设计聊天室，在聊天室中，需要通过JSP内置对象application来实时保存特定数量的当前聊天信息。聊天室的设计包括：用户进行登录，选择聊天室，进行聊天，退出聊天室。在聊天室中，用户只需输入一个用户名就可以进入聊天室，但是如果当前有人在使用该用户名，那么就必须换一个唯一的用户名。具体要求：  用户登录成功后，程序会要求用户选择聊天室。可以不设置用户自行建立聊天室的功能，而且在聊天中途不能从一个聊天室切换到另一个聊天室。  进入聊天室后，用户可以从用户信息窗口看到该聊天室中所有用户的用户名，也可以在聊天窗口中看到随时更新的聊天信息。用户可以给所有人或某一个聊天用户发送公共的聊天信息，这个聊天内容大家都可以看到。用户也可以给某个用户发送私人的聊天信息，这种信息属于私聊信息，只有发送者和接收者可以看到。此外，聊天窗口还会出现一些系统公告，比如某某上站、某某离开等消息，另外用户还可以自己定义聊天信息和聊天用户信息刷新的时间间隔。  在用户单击“退出”按钮后，页面关闭，同时application和session中保存的信息都将丢失。三、实验方法 1、用户登录信息使用request对象getParameter()方法得到用户登陆的一些信息； 2、公聊信息可以使用application对象，私聊信息使用session对象。 3、聊天的信息要不断刷新页面，使用户实时看到聊天信息。 4、用户退出时，有两种情况需要考虑：一是用户点击“退出”按钮，二是关闭浏览器，强制退出窗口，可查阅windows感知浏览器关闭的事件的相应方法。

2017-04-18

Java编写航班信息查询管理系统

# OOP（机试）本程序总结文章：http://blog.qiji.tech/?p=10344 - - - ## 程序基本要求一、项目名称: Air Infomation Programming 基于控制台的航班信息程序，简称AIP 二、具体要求如下：（1）显示航班信息程序主菜单，如图-1所示，包括： * 1)列出所有航班 * 2)按起飞时间查询 * 3)按目的地查询 * 4)删除航班 * 5)更新航班 * 6)退出系统（2）列出所有航班：查出所有航班的信息，以列表形式显示，包括：编号，航班号，目的地，起飞日期。（3）按起飞时间查询：输入起飞时间（格式如2011-2-25），查出所有这一天的航班。（4）按目的地查询：输入目的地，查出所有飞往此地的航班。（5）删除航班：删除指定编号的航班。（6）更新航班：更新指定编号的航班。（7）退出系统。三、类的设计需要定义如下类 * 航班信息实体类（AirInfo） * 航班编号(id) * 航班号(flight_number) * 目的地(destination) * 起飞日期(flight_date) * 航班信息管理类AirInfoManager类 * 程序入口类TestAirInfo类四、具体要求及推荐实现步骤 1. 创建实体类AirInfo，属性私有化，根据业务提供需要的构造方法和setter/getter方法。 1. 创建航班管理AirInfoManager类，在类中提供列出所有航班的方法，按起飞时间查询的方法、按目的地查询的方法、删除航班的方法、更新航班的方法、退出程序的方法。 2. 创建TestAirInfo类，启动和运行程序。 3. 航班的信息用ArrayList（或数组）保存。 4. 要求代码规范，命名正确。 - - -

2016-05-11

Java API 1.8 英文版开发文档

Java API 1.8 英文版开发文档双手奉上~~ Java API 1.8 英文版开发文档双手奉上~~

2016-05-07

Java API 1.6 中文版开发文档

Java API 1.6 中文版开发文档双手奉上~~

2016-05-07

Java网格布局-4*4计算器

计算器程序使用了网格布局来排列计算器按钮。当缩放窗口时，计算器按钮将随之变大或者变小，但所有的按钮尺寸始终保持一致。

2016-05-05

Java编写的航班信息查询管理系统

OOP（机试）[具体要求在压缩文档中给出] 项目名称: Air Infomation System 基于控制台的航班信息系统，简称AIS 具体要求如下：（1）显示航班信息系统主菜单，如图-1所示，包括： 1)列出所有航班 2)按起飞时间查询 3)按目的地查询 4)删除航班 5)更新航班 6)退出系统（2）列出所有航班：查出所有航班的信息，以列表形式显示，包括：编号，航班号，目的地，起飞日期。（3）按起飞时间查询：输入起飞时间（格式如2011-2-25），查出所有这一天的航班。（4）按目的地查询：输入目的地，查出所有飞往此地的航班。（5）删除航班：删除指定编号的航班。（6）更新航班：更新指定编号的航班。（7）退出系统。三、类的设计需要定义如下类航班信息实体类（AirInfo） 航班编号(id) 航班号(flight_number) 目的地(destination) 起飞日期(flight_date) 航班信息管理类AirInfoManager类程序入口类TestAirInfo类四、具体要求及推荐实现步骤 6.创建实体类AirInfo，属性私有化，根据业务提供需要的构造方法和setter/getter方法。 7.创建航班管理AirInfoManager类，在类中提供列出所有航班的方法，按起飞时间查询的方法、按目的地查询的方法、删除航班的方法、更新航班的方法、退出系统的方法。 8.创建TestAirInfo类，启动和运行系统。 9.航班的信息用ArrayList（或数组）保存。 10.要求代码规范，命名正确。

2016-05-04

React Native 可以走多远，应用场景有多广，未来行业发展前景如何？

2016-07-04

大数据对于一个自学的大学生难吗？

2016-06-28

TA创建的收藏夹 TA关注的收藏夹

TA关注的人