- 博客(43)
- 资源 (2)
- 收藏
- 关注
RSS订阅原创 第七届决赛试题
1、平方末尾能够表示为某个整数的平方的数字称为“平方数” 比如，25,64 虽然无法立即说出某个数是平方数，但经常可以断定某个数不是平方数。 因为平方数的末位只可能是：[0, 1, 4, 5, 6, 9] 这6个数字中的某个。 所以，4325435332必然不是平方数。如果给你一个2位或2位以上的数字，你能根据末位的两位来断定它不是平方数吗？请计算一下，一个2位以上的平方数的最...
2018-04-29 20:38:55
213
原创 namenode和datanode的工作机制
namenode工作机制1、namenode职责（1）负责客户端请求的响应（2）元数据的管理（查询，修改）2、元数据管理namenode对数据的管理采用了三种存储形式：内存元数据(NameSystem)磁盘元数据镜像文件数据操作日志文件（可通过日志运算出元数据）2.1元数据存储机制内存中有一份完整的元数据(内存meta data)磁盘有一个“准完...
2018-04-28 17:45:25
2937
原创 HDFS的原理与基本概念
HDFS的基本概念1、HDFS前言（1）设计思想 分而治之：将大文件、大批量文件，分布式存放在大量服务器上，以便于采取分而治之的方式对海量数据进行运算分析（2）在大数据系统中作用 为各类分布式运算框架（如：mapreduce，spark，tez，…）提供数据存储服务（3）重点概念 文件切块，副本存放，元数据2、HDFS的概念和特性概念： （1）它是一个文件系...
2018-04-24 17:14:35
650
原创 HDFS的命令
（1）hdfs客户端的位置/home/hadoop/apps/hadoop-2.6.4/bin/hadoop（2）启动hdfs查看根目录[hadoop@mini01 hadoop-2.6.4]$ hadoop fs -ls /（3）上传文件到根目录（此根目录不是Linux的根目录，是hdfs的根目录）#先创建wenjian.txt文件，并写入内容[hadoop@m...
2018-04-24 15:35:48
300
原创 Hadoop的安装与配置
1、准备工作（1）准备linux环境：（具体请参考我的linux相关博客，都有介绍，这里就不一一讲解）将虚拟机的网络模式选为NAT修改主机名修改IP修改主机名和IP的映射关系关闭防火墙修改sudo配置ssh免登陆（3）下载Hadoop安装包（这里版本为2.6.4） 下载地址：http://hadoop.apache.org/releases.html（4）安装jd...
2018-04-22 21:58:14
515
原创 Hadoop简介
1、什么是Hadoop（1）Hadoop是apache旗下的一套开源软件平台（2）Hadoop提供的功能：利用服务器集群，根据用户的自定义业务逻辑，对海量数据进行分布式处理（3）Hadoop的核心组件有：HDFS（分布式文件系统）YARN（运算资源调度系统）MAPREDUCE（分布式运算编程框架）（4）广义上来说，Hadoop通常是指一个更广泛的概念——Hadoop生态...
2018-04-22 17:38:03
359
原创 Zookeeper错误记录
1、Will not attempt to authenticate using SASL (无法定位登录配置)解决办法 （1）在linux上关闭防火墙，注意是每一台机器都关闭（2）修改C:\Windows\System32\drivers\etc\hosts，添加ip映射192.168.253.21 mini01192.168.253.22 mini02192.168.253....
2018-04-21 16:21:43
455
原创 Maven错误记录
1、Missing artifact javax.jms:jms:jar（1）错误提示Missing artifact javax.jms:jms:jar: Missing artifact com.sun.jdmk Missing artifact com.sun.jmx:jmxri（2）解决办法 原来的代码：<dependency> &...
2018-04-20 17:59:48
317
原创 高可用web框架
Nginx1、nginx简介（1）Nginx是一个自由、开源、高性能及轻量级的HTTP服务器及反转代理服务器。Nginx以其高性能、稳定、功能丰富、配置简单及占用系统资源少而著称（2）Nginx 超越 Apache 的高性能和稳定性，使得国内使用 Nginx 作为 Web 服务器的网站也越来越多2、基本功能（1）反向代理加速，简单的负载均衡和容错； 3、优势...
2018-04-20 12:49:01
975
原创 Zookeeper的结构与命令
1、Zookeeper特性（1）Zookeeper：一个leader，多个follower组成的集群（2）全局数据一致：每个server保存一份相同的数据副本，client无论连接到哪个server，数据都是一致的（3）分布式读写，更新请求转发，由leader实施（4）更新请求顺序进行，来自同一个client的更新请求按其发送顺序依次执行（5）数据更新原子性，一次数据更新要么成...
2018-04-19 15:53:15
329
原创 Zookeeper的安装与配置
1、Zookeeper概念简介Zookeeper是一个分布式协调服务；就是为用户的分布式应用程序提供协调服务 （1）zookeeper是为别的分布式程序服务的（2）Zookeeper本身就是一个分布式程序（只要有半数以上节点存活，zk就能正常服务）（3）Zookeeper所提供的服务涵盖：主从协调、服务器节点动态上下线、统一配置管理、分布式共享锁、统一名称服务（4）虽然说可以提供...
2018-04-18 21:12:49
305
原创 本地YUM源制作
YUM相关概念1、YUM的概念（1）什么是YUM YUM（全称为 Yellow dog Updater, Modified）是一个在Fedora和RedHat以及CentOS中的Shell前端软件包管理器。基于RPM包管理，能够从指定的服务器自动下载RPM包并且安装，可以自动处理依赖性关系，并且一次安装所有依赖的软件包，无须繁琐地一次次下载、安装。（2）YUM的作用 在Linu...
2018-04-18 12:37:53
378
原创 sort-uniq-cut-wc详解
1、sort相关命令（1）sort命令概述： sort 命令对 File 参数指定的文件中的行排序，并将结果写到标准输出。如果 File 参数指定多个文件，那么 sort 命令将这些文件连接起来，并当作一个文件进行排序。（2）sort语法：[root@www ~]# sort [-fbMnrtuk] [file or stdin]选项与参数：-f ：忽略大小写的差异，例...
2018-04-16 18:32:36
311
原创 自动化脚本部署
1、自动化脚本部署概述及准备（1）当有多台机器要做相同的部署工作时，为了避免重复劳作，就需要用到自动化部署。 自动化部署：简单来说就是批量的在目标机器上安装程序 （2）以安装jdk为例：准备工作首先要做的就是机器间的ssh免密通信的操作上传执行脚本到目标机器在执行脚本中先安装wget通过wget下载安装包安装、配置环境变量注意： （1）如果是迷你版的话，可能没有scp...
2018-04-16 17:46:01
1776
原创 Shell脚本基础
1、什么是Shell（1）Shell是用户与内核进行交互操作的一种接口，目前最流行的Shell称为bash Shell（2）Shell也是一门编程语言<解释型的编程语言>，即shell脚本（3）一个系统可以存在多个shell，可以通过cat /etc/shells命令查看系统中安装的shell，不同的shell可能支持的命令语法是不相同的2、Shell脚本的执行方式...
2018-04-16 12:46:30
481
1
原创 java动态代理和反射
反射1、反射代码详解通过反射的方式可以获取class对象中的属性、方法、构造函数等，以下是实例：package cn.java.reflect;import java.lang.reflect.Constructor;import java.lang.reflect.Field;import java.lang.reflect.Method;import java.u...
2018-04-13 17:30:38
306
原创 JVM技术
java监控工具使用jconsolejconsole是一种集成了上面所有命令功能的可视化工具，可以分析jvm的内存使用情况和线程等信息启动jconsole 通过JDK/bin目录下的“jconsole.exe”启动Jconsole后，将自动搜索出本机运行的所有虚拟机进程，不需要用户使用jps来查询了，双击其中一个进程即可开始监控。也可以“远程连接服务器，进行远程虚拟机的监控。” ...
2018-04-13 17:28:54
290
原创 JMS技术
1、什么是JMS（1）JMS即Java消息服务（Java Message Service）应用程序接口是一个Java平台中关于面向消息中间件（MOM）的API，用于在两个应用程序之间，或分布式系统中发送消息，进行异步通信。Java消息服务是一个与具体平台无关的API，绝大多数MOM提供商都对JMS提供支持。（2）JMS是一种与厂商无关的API，用来访问消息收发系统消息。它类似于JDBC(J...
2018-04-13 17:25:10
332
原创 java并发编程的一些总结
1、不应用线程池的缺点有些开发者图省事，遇到需要多线程处理的地方，直接new Thread(…).start()，对于一般场景是没问题的，但如果是在并发请求很高的情况下，就会有些隐患： 新建线程的开销。线程虽然比进程要轻量许多，但对于JVM来说，新建一个线程的代价还是挺大的，决不同于新建一个对象 资源消耗量。没有一个池来限制线程的数量，会导致线程的数量直接取决于应用的并发量...
2018-04-13 17:20:03
228
原创 java并发包
1、Java并发包介绍JDK5.0 以后的版本都引入了高级并发特性，大多数的特性在java.util.concurrent 包中，是专门用于多线程发编程的，充分利用了现代多处理器和多核心系统的功能以编写大规模并发应用程序。主要包含原子量、并发集合、同步器、可重入锁，并对线程池的构造提供了强力的支持。2、线程池的5中创建方式（1）Single Thread Executor : 只有...
2018-04-13 17:18:00
1257
原创 线程与synchronized关键字
Java多线程1、进程介绍 不管是我们开发的应用程序，还是我们运行的其他的应用程序，都需要先把程序安装在本地的硬盘上。然后找到这个程序的启动文件，启动程序的时候，其实是电脑把当前的这个程序加载到内存中，在内存中需要给当前的程序分配一段独立的运行空间。这片空间就专门负责当前这个程序的运行。 不...
2018-04-13 17:08:05
267
原创 iptables防火墙及其相关命令
1、iptables防火墙简介Iptables也叫netfilter是Linux下自带的一款免费且优秀的基于包过滤的防火墙工具，它的功能十分强大，使用非常灵活，可以对流入、流出、流经服务器的数据包进行精细的控制。iptables是Linux2.4及2.6内核中集成的模块。2、iptables原理简介（1）iptables的结构 在iptables中有四张表，分别是filter、n...
2018-04-13 12:51:04
397
转载 动态规划（DP）初步
一、引入 动态规划程序设计是对解最优化问题的一种途径、一种方法，而不是一种特殊算法。不像前面所述的那些搜索或数值计算那样，具有一个标准的数学表达式和明确清晰的解题方法。动态规划程序设计往往是针对一种最优化问题，由于各种问题的性质不同，确定最优解的条件也互不相同，因而动态规划的设计方法对不同的问题，有各具特色的解题方法，而不存在一种万能的动态规...
2018-04-12 11:38:08
1586
1
原创 centos错误记录（附笔记笔记）
centos错误记录1、eth0 似乎不存在, 初始化操作将被延迟解决方法： 清空70-persistent-net.rules，重启系统，让系统自己重新生成这个文件[root@server1 ~]# vi /etc/udev/rules.d/70-persistent-net.rules [root@server1 ~]# reboot笔记1、rz命令（1）r...
2018-04-11 11:14:02
584
原创 CentOS7虚拟机连接外网（附CentOS克隆步骤）
修改加载方式(使用命令行方式,对于不熟练的童鞋不建议修改.) 这里需要使用root用户进行修改. 使用su命令即可.使用命令 vi /etc/inittab 将圈出来的5改为3即可. 然后使用shutdown now 命令进行重启. 1、修改网络设置，连接外网步骤1 打开网络共享中心,配置vmnet8的网络参数,点击VMnet8,选中IPV4协议,然后点击属性,配置相...
2018-04-11 08:57:37
3520
原创 第八届—日期问题
小明正在整理一批历史文献。这些历史文献中出现了很多日期。小明知道这些日期都在1960年1月1日至2059年12月31日。令小明头疼的是，这些日期采用的格式非常不统一，有采用年/月/日的，有采用月/日/年的，还有采用日/月/年的。更加麻烦的是，年份也都省略了前两位，使得文献上的一个日期，存在很多可能的日期与其对应。 比如02/03/04，可能是2002年03月04日、2004年02月03日或2...
2018-04-10 12:42:52
492
原创 纸牌三角形
A,2,3,4,5,6,7,8,9 共9张纸牌排成一个正三角形（A按1计算）。要求每个边的和相等。 下图就是一种排法（如有对齐问题，参看p1.png）。 A 9 64 83 7 5 2这样的排法可能会有很多。如果考虑旋转、镜像后相同的算同一种，一共有多少种不同的排法呢？请你计算并提交该数字。思路1、镜像和旋转；并没有说一条边中间的两个数字不能调换 2、使用...
2018-04-10 12:36:29
552
原创 包子凑数
小明几乎每天早晨都会在一家包子铺吃早餐。他发现这家包子铺有N种蒸笼，其中第i种蒸笼恰好能放Ai个包子。每种蒸笼都有非常多笼，可以认为是无限笼。每当有顾客想买X个包子，卖包子的大叔就会迅速选出若干笼包子来，使得这若干笼中恰好一共有X个包子。比如一共有3种蒸笼，分别能放3、4和5个包子。当顾客想买11个包子时，大叔就会选2笼3个的再加1笼5个的（也可能选出1笼3个的再加2笼4个的）。当然有时包...
2018-04-10 12:28:45
323
原创 linux的常用软件安装
1、上传解压缩打包命令put命令上传文件 注意：文件上传时要有后缀名 alt+p 调出sftp工具，使用put命令上传（如果不指定目录，则上传到当前用户的主目录） sftp> cd /home/ （指定上传路径） sftp> put C:\Users\Administrator\Desktop\day02\soft\jdk-7u45-linux-x64.tar.gzg...
2018-04-10 11:42:14
794
转载 七大常见排序算法
文档版本 开发工具 测试平台 工程名字 日期 作者 备注 V1.0 2016.04.06 lutianfei none V1.1 2016.07.16 lutianfei 增加了归并排序说明 V2.0 201...
2018-04-09 08:47:43
252
转载 排序算法基本思想之比较
内排序有可以分为以下几类：(1)、插入排序：直接插入排序、二分法插入排序、希尔排序。 (2)、选择排序：简单选择排序、堆排序。 (3)、交换排序：冒泡排序、快速排序。 (4)、归并排序 (5)、基数排序1、插入排序 - 直接插入排序（Straight Insertion Sort）1、基本思想：每步将一个待排序的记录，按...
2018-04-09 08:44:58
560
原创 SpringMVC使用注解开发
注解开发案例（1）springmvc.xml配置文件<?xml version="1.0" encoding="UTF-8"?><beans xmlns="http://www.springframework.org/schema/beans" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xml...
2018-04-08 20:12:32
250
原创 linux常用命令
1、日常操作命令**查看当前所在的工作目录 pwd **查看当前系统的时间 date **查看有谁在线（哪些人登陆到了服务器） who 查看当前在线 last 查看端口 netstat -nltp 查找文件 find / -name mysql2、文件系统操作** ls / 查看根目录下的子节点（文件夹和文件）信息 ls -al -a是显示隐藏...
2018-04-06 09:23:11
273
原创 linux命令大全
1、常用命令（1）进入到用户根目录 cd ~ 或 cd （2）查看当前所在目录 pwd （3）进入到hadoop用户根目录 cd ~hadoop （4）返回到原来目录 cd - （5）返回到上一级目录 cd .. （6）查看hadoop用户根目录下的所有文件 ls -la （7）在根目录下创建一个hadoop的文件夹 mkdir /hadoop （8）在/hadoo...
2018-04-05 18:26:09
315
原创 linux的虚拟网络的配置（附ssh免登录）
NAT虚拟网络配置1、图解分析2、配置过程1首先在vmware中，查看NAT网络模式中的虚拟路由器的网段和IP地址3、配置过程2桥接虚拟网络配置1、图解分析hostonly虚拟网络配置（1）虚拟机都连接在VMNET1这个网卡上，VMNET1网卡就作为网关。虚拟机配置IP的时候就根据VMNET1的地址来配置（2）hoston...
2018-04-05 18:07:40
363
原创 VMware Workstation安装详细步骤
1、安装vmware软件 2、验证VMWARE是否安装成功 (有些机器在安装vmware的时候会出现一个错误：virtual XT，这需要重启电脑<按F2/按DELET/………>进入BIOS，开启这个虚拟加速开关) (有些WINDOWS8/10系统会出现虚拟网卡安装失败的现象，这需要关闭windows的驱动程序安装签名验证) 3、启动vmware后的软件界面 4、...
2018-04-05 17:55:39
9350
原创 VMware安装centos常见错误
virtualXT,以及虚拟网卡安装失败原因分析： 我们自己的电脑可能没有启动支持虚拟解决方法： Operating System not found 原因分析： 安装centos（系统盘），系统默认是首先使用光盘安装，因此，我们要设置我首先使用ISO镜像文件 解决方法： 开机状态下，把光驱设置里的connected勾上，之后在重启，esc键选择光驱启动（先...
2018-04-04 19:57:19
7343
1
转载 VMware Workstation 的安装和使用
VMware Workstation 是一个虚拟PC的软件，利用VMware工作站，可以在现有的操作系统上虚拟出一个或多个新的硬件环境，相当于模拟出多台新的PC，以此来实现在一台机器上同时运行多个独立的操作系统。VMware 是一种常用的、功能强大的虚拟机管理软件，还有一种比较常用的轻量级的虚拟机管理软件VirtualBox。VMware Workstation 是一种虚拟机管理软件...
2018-04-04 16:48:15
372
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人