- 博客(117)
- 收藏
- 关注
RSS订阅转载 yarn命令删除job
yarn application -killjobId转载于:https://www.cnblogs.com/java-meng/p/11230168.html
2019-07-23 10:24:00
1446
转载 mr自定义排序和分类
一、上文的补充 1、setup方法一般是用来初始化和加载资源的，主要也是因为编写mr程序所使用jvm和跑mr所使用的jvm并不是同一个，它们之间数据也不能共享，所以需要在setup里进行load。 2、上文提到了可以自定义类型，当你需要使用这个自定义类型来做key时，你可以指定一个Comparator，当然也可以是自定义的Comparator。 例如： publi...
2019-07-19 14:51:00
258
转载 mr利用shuffle阶段来实现数据去重的功能
一、需求前提 小张同学从别处整来了一批日志，日志内容主要记录了每个用户在运营商中所使用过的手机号，如果没有则为空，数据大概是用户账号、电信手机号、联通手机号、移动手机号、铁通手机号、小灵通等等。当然还有一个关联关系静态文件，主要记录用户所在的省和地市，数据是用户账号，所在省，所在市。日志和静态文件都存在hdfs中。现在小张同学想要分析每个省每个地市有电信、联通、移动、铁通、小灵通手...
2019-07-18 18:24:00
312
转载 hadoop如何使用第三方依赖jar包（转载）
转载：https://blog.csdn.net/zhouyan8603/article/details/46976361在hadoop环境下，我们经常会遇到执行一些脚本，然后却需要临时依赖一些jar包，比如在查看mahout运行结果的时候，如果用hadoop fs -text xxx就会遇到类似的错误信息：java.io.IOException: WritableName can'...
2019-07-17 10:33:00
421
转载 查看mapreduce log日志（自用）
查看任务报告：命令：yarn application -status application_1539198654522_1073695 |more查看mapreduce log日志：命令：yarn logs -applicationId application_1539198654522_1073695 |more转载于:https://www.cnblogs.com/java-m...
2019-07-09 14:13:00
223
转载 OpenID代码示例（自用）
发送认证到OP1. //创建消费者对象，它将向认证服务器发出认证请求2. ConsumerManager manager = new ConsumerManager();3. //setAssociations方法设置与OP的关联存放的位置，可以把它存在内存或者数据库或者xml或者文件中，这里将它存放在内存4. manager.setAssociations(...
2019-06-28 09:50:00
1242
转载 JVM测试总结_基于Java8（自用）
一、jvm垃圾回收器引用链接：https://www.cnblogs.com/chenpt/p/9803298.htmljvm的垃圾回收器有serial收集器、parnew收集器、parallel scavenge收集器、serial old 收集器、parallel old收集器、cms收集器、g1收集器HotSpot虚拟机所包含的收集器：图中展示了7种...
2019-06-27 14:50:00
105
转载 Collections.sort() in JDK1.6
本文主要介绍了Collections.sort方法在JDK1.6中的源码实现（JDK版本1.6.0_45）1.Collections.sort()public static <T> void sort(List<T> list, Comparator<? super T> c) { Object[] a = list.to...
2018-08-23 11:49:00
222
转载 基于大数据的电影网站项目开发之Hive的配置（五）
1. 安装MySQL在root用户根目录下使用以下命令进行mysql的安装 yum install mysql-server mysql mysql-devel2. 开启mysql service mysqld start3. 设置root密码 mysqladmin -u root password 'root'4. 设置mysql开机启动...
2017-09-14 09:42:00
326
转载 基于大数据的电影网站项目开发之HBase分布式安装（四）
1.hbase解压，通过xftp将hbase-1.0.1.1-bin.tar.gz上传到虚拟机中通过tar -zxvf hbase-1.0.1.1-bin.tar.gz解压到soft目录下2. 设置环境变量HBASE_HOME=/home/meng/soft/hbase-1.0.1.1export PATH=$PATH:$HBASE_HOME/bin3.h...
2017-09-13 11:08:00
256
转载 基于大数据的电影网站项目开发之阶段性总结（三）
一、基础讲解1. 主机ping不同虚拟机 虚拟机要设置IP地址，ip段是vmware 编辑菜单-->虚拟网络编辑器 网段， 网关:192.168.XXX.2 IP地址，不要是.1/.2 把vmware装好以后，在"网络适配器"里，应该多出两个虚拟网卡2. linux 使用linux里的一些命令 cd：...
2017-09-13 10:08:00
620
转载 基于大数据的电影网站项目开发之Hadoop2.6.0伪分布式设置（二）
一、jdk的安装1、将linux版本的jdk通过xftp上传到hadoop用户目录下，在这之前首先需要安装Xshell和Xftp，在安装完成后，打开xshell并新建会话；输入会话名称，协议选择SSH，输入虚拟机内主机的IP，这个IP的配置在上一篇文章已经进行了讲解。在输入完毕后进行连接，然会会提示你输入用户名和密码，即主机的用户名和密码（用户名为你当时配置的简称），然会...
2017-09-13 09:55:00
266
转载 基于大数据的电影网站项目开发之CentOS的安装（一）
一、下载VMware并安装，至于安装教程从网上搜索进行参考二、下载系统镜像文件，这里使用的是CentOS-6.5-x86_64-bin-DVD1.iso三、安装镜像文件运行VMware workstation，点击文件-新建虚拟机，出现以下窗口。选择典型（个人推荐自定义，能更好的了解详细安装教程）下一步。默认，下一步选择稍后安装操...
2017-09-12 18:09:00
200
转载 基于CAS的SSO(单点登录)实例
第一步 部署CAS-Server（服务端） 1.从CAS官方网站（http://developer.jasig.org/cas/）下载最新版本的CAS-Server（当前最新版本cas-server-4.0.0-release.zip），将其解压，找到modules/cas-server-webapp-3.5.2.war，复制到本地tomcat下的webapps下，并重命名为cas...
2017-08-01 18:15:00
98
转载 浅谈MVC
一、MVC的产生之源 MVC是Model、View、Controller这三个英文单词的缩写，从这三个单词的含义中我们可以看出MVC的核心是什么？显而易见，Model指的是模型，在某些地方你也可以理解为数据，自我接触MVC到现在，Model所扮演的角色就是数据实体；View指的是视图，也就是与用户进行交互的界面；Controller指的是控制器，那么它控制的是什么呢？在网上Cont...
2017-04-23 10:11:00
104
转载 设计模式中24个模式说明
1、 简单工厂模式简单工厂模式定义了一个工厂类来负责创建其他类的实例，通过配置xml文件中要创建的子类名称，工厂类则会根据xml文件读取节点获取数据并创建对应的实体类，这样就做到了更改创建的实体类时，无须修改客户端代码，只需修改配置文件就可以了，让程序更加符合开闭原则。2、 工厂方法模式工厂方法模式是简单工厂模式的进一步的扩展。在简单工厂模式下，一个工厂负责创建多种子类；...
2017-04-04 19:39:00
116
转载 阅读《大型网站技术架构》第五、六、七章感想，如何提高系统的可用性和易用性。...
网站的可用性指标是网站架构设计中的重要指标，对外是服务承诺，对内是考核指标。所以说，一个高可用的网站架构是一个公司所需要具备的。而在影响网站可用性的众多因素中，硬件故障是常态，网站的高可用架构设计的主要目的就是保证服务器硬件故障时，服务依然可用、数据依然保存并能够被访问。 实现上述高可用架构的主要手段是数据和服务的冗余备份及失效转移，一旦某些服务器宕机，就将服务切换到其他可用的...
2017-03-16 20:24:00
173
转载 以淘宝网为例描述质量属性的六个常见属性场景
1.可用性每逢节日和活动，用户搜索、购买、付款出现延迟情况刺激源：用户刺激：用户同时访问系统，系统访问量过大，出现重大延迟甚至崩溃制品：系统环境：正常操作响应：提示用户系统繁忙，正在处理响应度量：一分钟后反馈结果2.可修改性增加或删除网页的功能，例如淘宝网搞一些活动刺激源：开发人员刺激：修改用户界面制品：系统用户界面环境：...
2017-03-10 10:50:00
135
转载 架构漫谈读后感
架构的产生是由于人的能力有限，从而产生了分工，人人各司其职，通过沟通来获得生活的必须品，这就产生了架构。架构就是把一个整体切分成不同的部分，由不同角色来完成这些分工，并通过建立不同部分相互沟通的机制，使得这些部分能够有机的结合为一个整体，并完成这个整体所需要的所有活动。架构解决的是人的问题。做好架构的能力，首先要对系统有正确的概念，有正确的理解，才能了解问题的本质。 架构需要解...
2017-03-03 19:24:00
72
转载 软件工程师的工作流程
1，需求整理分析 有人认为架构师是在需求规格说明书完成后介入的，但我认为架构师要从项目最开始的阶段就参与进来。理由有很多：首先，第一手的信息损失最少，架构师能够更好的把握需求；其次，分析人员在与客户交流时，往往不会深入挖掘需求，因为有很多隐藏的需求客户自己都不见得意识的到，而架构师则可以依靠敏感的软件嗅觉发现这些需求，减少以后的变数；第三，分析人员往往脱离开发团队，盲目接受客户需求...
2017-02-23 09:05:00
392
转载 大型网站技术架构：核心原理与案例分析阅读笔记六
大型网站核心架构要素之可扩展性 扩展性是指对现有系统影响最小的情况下，系统功能可持续扩展或提升的能力。它是系统架构设计层面的“开闭原则”。伸缩性是指系统能够通过增加（减少）自身资源规模的方式增强（减少）自己计算处理事务的能力。在网站架构中，通常值利用集群的方式增加服务器数量、提高系统的整体事物吞吐能力。我们要对二者的使用有所区分，不能混淆二者的概念。 如何构建可扩展的网...
2017-02-05 17:36:00
95
转载 大型网站技术架构：核心原理与案例分析阅读笔记五
大型网站核心架构要素之伸缩性 所谓网站的伸缩性是指不需要改变网站的软硬件设置，仅仅通过改变部署的服务器数量就可以扩大或缩小网站的服务处理能力。回顾网站架构的发展史，其实就是一部不断向网站添加服务器的历史。 那么如何设计网站的伸缩性?不同功能进行物理分离实现伸缩，具体可分为纵向分离和横向分离；单一功能通过集群规模实现伸缩，通过上面所诉的分离后，使用服务器集群，将相同服务部...
2017-02-05 17:35:00
85
转载 大型网站技术架构：核心原理与案例分析阅读笔记四
大型网站核心架构要素之可用性 网站的可用性指标是网站架构设计中的重要指标，对外是服务承诺，对内是考核指标。所以说，一个高可用的网站架构是一个公司所需要具备的。而在影响网站可用性的众多因素中，硬件故障是常态，网站的高可用架构设计的主要目的就是保证服务器硬件故障时，服务依然可用、数据依然保存并能够被访问。 实现上述高可用架构的主要手段是数据和服务的冗余备份及失效转移，一旦某...
2017-02-04 16:27:00
93
转载 大型网站技术架构：核心原理与案例分析阅读笔记三
大型网站核心架构要素之性能 在讲架构要素之前，我们首先要了解什么是架构，简单来说，架构就是“最高层次的规划，难以改变的决定”，架构决定了未来的方向和最终的成果。而对于软件架构来说，则是“有关软件整体结构与组件的抽象描述，用于指导大型软件系统各个方面的设计”。 对于软件架构，需要关注性能、可用性、伸缩性、扩展性和安全性5个方面。下面简单介绍一下网站的高性能架构。...
2017-02-04 16:25:00
139
转载 大型网站技术架构：核心原理与案例分析阅读笔记二
大型网站架构模式：1、 分层简单来说，分层就是对软件进行横向的切分，把软件分为应用层、服务层、数据层这三大基础层，而在这三大基础层上还可以进行更细的分层，通过分层来实现分工合作，便于进行开发维护。2、 分割分割是对软件进行纵向的切分，在分层之后根据不同的业务对每层进行分割，把分割后的功能包装成高内聚、低耦合的模块单元，一方面便于软件的开发维护，另一方面便于不同模...
2017-01-18 17:27:00
71
转载 大型网站技术架构：核心原理与案例分析阅读笔记一
网站架构概述： 网站架构是基于网站基础上的，随着网站规模的不断扩大，网站架构也随之调整。大型网站都是从小型网站发展而来，网站架构也是一样，是从小型网站架构逐步演化而来。下面简单概述一下网站架构的发展史：1、最开始的网站架构是应用程序、数据库、文件等所有的资源都在一台服务器上。2、随着网站规模的不断发展，一台服务器显然不能满足需求，这时候的网站架构就将应用和数据分离...
2017-01-18 17:26:00
143
转载 软件需求分析课堂讨论01
课堂讨论分组：每4人一组内容：某大学为进一步推进无纸化考试，欲开发一考试系统。系统管理员能够创建专业方向、课程编号、任课教师等相关考试基础信息。教师和考生进行考试相关工作。系统与考试有关的主要功能如下：（1）考试设置：教师制定试题（题目和答案），制定考试说明、考试时间和提醒时间等考试信息，录入参加考试的学生信息，并分别进行存储。（2）显示并接收解答。根据教师设定的考试...
2016-10-21 18:14:00
111
转载 问题账户需求分析
案例分析： 某大银行的一位银行卡办公室的收账经理Liz遇到了一个问题。她每周都收到一份过期未付款的账户名单。这份报告已经从两年前的250个账户增加到现在的1 250个账户。 为了确定那些严重拖欠债务的账户，Liz需要通读这份报告。严重拖欠债务的账户由几个不同的规则确定，每个规则都要求Liz检查客户的一项或几项数据。过去半天的工作量现在增加到了每周三天。即使在确定了严重拖欠债务...
2016-09-23 20:42:00
91
转载 2016年秋季个人阅读计划
精读书目：《掌握需求过程》1.每周阅读精读一篇阅读，并发表一篇阅读笔记，字数不少于800字，具体发表日期如下： 第一篇：10月7日之前； 第二篇：10月15日之前； 第三篇：10月23日之前； 第四篇：10月31日之前； 第五篇：11月7日之前； 第...
2016-09-23 19:54:00
53
转载 学习进度条十五(第16周)
第16周所花时间5h代码量124行博客量3篇了解到的知识点1.软件测试2.项目文档的编写转载于:https://www.cnblogs.com/java-meng/p/5613344.html...
2016-06-24 10:29:00
90
转载 梦断代码阅读笔记三
今天在看完梦断代码后，感想很多，虽然有很多地方不是很理解，也不太懂那些项目，但是我感觉在看完之后还是很有收获的。阅读是一件说容易就容易说难变难的事情，主要看你怎么去看待阅读，有句老话说的很对，相信大家也都耳熟能详，那就是“书中自有颜如玉，书中自有黄金屋”，下面我想写一下我比较有收获的几点。 在看第六章关于设计方案这方面时还是很有感想的，在看到作者想把一个重要的文件夹移到更方便的...
2016-06-17 17:58:00
79
转载 梦断代码阅读笔记二
今天看了《梦断代码》的第2章-Agenda之魂，刚开始看时不知道Agenda是什么东西，看完之后才知道是什么东东，这里先不做解释，下面会详细介绍到。说到Agenda，就必须提一下米奇·卡普尔这个人，卡普尔曾被冠以“反盖茨”的名号，由于他不喜欢使用Exchange，但当时小型组织的日程管理没有其他方案可选，但是用Exchange的代价不低，你得购置一台服务器，购买Windows许可，购...
2016-06-15 21:13:00
72
转载 数组最大值
设计思路：1.构造功能函数2.最大值赋给数组第一个数3.循环比较数组其他数与第一个数的大小，大的赋给max4.主函数调用函数5.输出源程序代码：#include<iostream>using namespace std;int Largest(int length,int list[]){ int i,max=li...
2016-06-14 21:56:00
94
转载 梦断代码阅读笔记一
今天我大致看了《梦断代码》的前两章，内容虽然不多，但是写出了作者的真实写照。我在看到这本书目录时，有点迷惑，为什么开始的一章标为“第0章”呢？在阅读这一章的过程中知道了原因，原来作者只想指出程序员的特殊之处：程序员从0开始计数，而不是从1开始。那么为什么程序员要从0开始计数呢？很简单，只是因为计算机是从0开始计数的，所以程序员也要学着从0开始，这样才能和计算机保持一致。 第二章...
2016-06-14 17:43:00
151
转载 软件工程概论课程的总结
我还记得在还没开始上软件工程这门课之前，认为相比于之前的java课这门课真是太好混了，然后在上完第一次课之后就懵圈了，怎么这概论课还有作业呢？这和之前的概论课不一样啊，当时我们都没有意识到噩梦才刚刚开始。第一次的课堂作业好像是什么网页设计，当时有点懵，网页？这个还没学啊，这作业怎么做啊，老师不应该先讲一讲吗？课下这作业也是一拖再拖，一直拖到第二周才开始做，嗯......对，博客也是在...
2016-06-13 20:53:00
157
转载 学习进度条十四(第15周)
第15周所花时间31h代码量471行博客量13篇了解到的知识点1.利用javaFX做java内置浏览器。2.javaFX需要调用Launch()方法开启javaFX中所有用到的线程。3.登录界面记住用户，密码，实现自动登录。4.table表的实时刷新。5.将软件打包封装成jar文件，然后...
2016-06-13 18:12:00
80
转载 构建之法阅读笔记六
今天看完构建之法，开始写最后一篇感想，在开始写对构建之法这本书的感想之前，我想先写一下对今天软件工程概论课上老师讲的话的一些感受。今天上课一上来老师就说我们离“人”还差很远，在听完之后发现还真是这么回事。那么，人是什么，人分为做事的人和不做事的人，而仅仅当一个做事的人就可以了吗？当然不行，做事的人又可以细分成做真事的人，做假事的人和假装做事的人，你想当哪种人呢？ 言归正传，今天...
2016-06-13 17:26:00
66
转载 构建之法阅读笔记五
最近几天在看构建之法中看到了“需求分析”这一章，对于需求分析可能大部分同学都会觉得不陌生，因为在上一学期中的UML统一建模语言中讲过有关需求分析的一些基本的东西。但是，当时并没有完全理解，到现在也忘得差不多了，今天认真的看了一遍，大概说一下我自己的收获。 在做软件时第一件事是要做什么呢？不是一上来就写代码，而是要先做好调研，做好需求分析。在讲需求分析之前，要先知道软件需求是什么...
2016-06-12 23:29:00
69
转载 第二阶段冲刺10(6月9号)
昨天做的事： 将软件打包封装成jar文件。今天做的事： 通过文件转换器将jar文件转换成exe文件。遇到的困难： 数据库还不能封装进软件中，在打包成jar文件后，发现程序不能运行，经检查后发现是引用的类库没有导出来。转载于:https://www.cnblogs.com/java-meng/p/5575370.html...
2016-06-11 15:09:00
73
转载 构建之法阅读笔记四
在开始做大作业之前，老师让我们自由组队，我想这也算作一个团队吧，还记得当时老师建议我们尽量选不熟悉的人组队，但是我想没有一组是这样做的，那么老师为什么会给出这样的建议呢，肯定是有其道理的，就是尽量避免偷懒的人太多，还有彼此熟悉的人有些话不能说的太过。不说这个了，下面说一下看完书后个人对团队的理解。 怎么才能算作一个团队，我想不仅仅是简单的在一块就成了团队，团队首先要有一个共同目...
2016-06-08 18:04:00
52
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人