z425955498-CSDN博客

原创 java工具类

1. org.apache.commons.io.IOUtilscloseQuietly ( ) toString ( ) copy ( ) toByteArray ( ) write ( ) toInputStream ( ) readLines ( ) copyLarge ( ) lineIterator ( ) readFully ( )2. org.apache.c...

2018-11-26 20:44:16 142

翻译 Tomcat集群session复制配置

<!-- Cluster(集群,族) 节点,如果你要配置tomcat集群,则需要使用此节点. className 表示tomcat集群时,之间相互传递信息使用那个类来实现信息之间的传递. channelSendOptions可以设置为2、4、8、10，每个数字代表一种方式 2 = Channel.SEND_OPTIONS_USE_ACK(确认发送) ...

2018-11-26 15:19:32 208

1. 下载zookeeper安装包,解压后copy3份,分别命名为zookeeper1, zookeeper2, zookeeper32. 进入每个节点zookeeper/conf 目录下新建 zoo.cfg文件输人以下内容:# The number of milliseconds of each ticktickTime=2000# The number of ticks that the in...

2018-06-09 11:01:31 172

原创 hadoop - 安装

Hadoop 1.0 环境1) 下载 Hadoop 安装包：在http://pan.baidu.com/s/1qXSN3hM 地址中可以找到hadoop-1.2.1-bin.tar.gz文件使用securtCRT的rz功能上传hadoop-1.2.1-bin.tar.gz这个文件到虚拟机的系统中2) 安装 Hadoop 安装包： 1.首先将安装包解压缩：tar zxvf

2017-12-23 14:53:08 189

原创 zookeeper-简介(二)

Zookeeper 访问控制传统的文件系统中，ACL 分为两个维度，一个是属组，一个是权限，子目录/文件默认继承父目录的 ACL。而在 Zookeeper 中，node 的 ACL 是没有继承关系的，是独立控制的。Zookeeper 的 ACL，可以从三个维度来理解：一是 scheme: user; 二是permission，通常表示为 scheme:user:permission

2017-12-23 13:48:42 147

原创 zookeeper-简介(一)

Zookeeper 是一种分布式的，开源的，应用于分布式应用的协作服务。它提供了一些简单的操作，使得分布式应用可以基于这些接口实现诸如同步、配置维护和分集群或者命名的服务。Zookeeper 很容易编程接入，它使用了一个和文件树结构相似的数据模型。可以使用 Java 或者 C 来进行编程接入。1. Zookeeper 数据模型ZooKeeper 拥有一个层次的命名空间，这个和标准的

2017-12-23 13:38:29 157

原创 hadoop - MapReduce 简介(二)

1.MapReduce 错误处理机制1) 硬件故障在 Hadoop Cluster 中，只有一个 JobTracker，因此，JobTracker 本身是存在单点故障的。我们可以采用主备部署方式除了 JobTracker 错误就是 TaskTracker 错误。TaskTracker 故障相对较为常见，MapReduce 通常是通过重新执行任务来解决该故障。正常情况下，Ta

2017-12-23 13:23:26 148

原创 hadoop-Mapreduce 简介(一)

1.整个MapReduce计算过程分为 Map 阶段和 Reduce阶段，也称为映射和缩减阶段，这两个独立的阶段实际上是两个独立的过程，即 Map 过程和 Reduce 过程，在 Map 中进行数据的读取和预处理，之后将预处理的结果发送到 Reduce 中进行合并2.MapReduce 执行流程input -> map -> middle result Shuffle 派发

2017-12-23 12:21:17 172

原创 hadoop-hdfs简介(三)

1.操作 HDFS 的基本命令1) 打印文件列表（ls）hadoop fs -ls hdfs:/ #hdfs: 明确说明是 HDFS 系统路径简写：hadoop fs -ls / #默认是 HDFS 系统下的根目录hadoop fs -ls /package/test/ #HDFS 系统下某个目录2) 上传文件、目录（put、copyFromLocal）

2017-12-22 23:50:33 272

原创 hadoop-hdfs简介(二)

1.HDFS 体系架构1） HDFS 是一个主/从（Master/Slave）体系架构，由于分布式存储的性质，集群拥有两类节点 NameNode 和 DataNode。2）NameNode（名字节点）：系统中通常只有一个，中心服务器的角色，管理存储和检索多个 DataNode 的实际数据所需的所有元数据。3）DataNode（数据节点）：系统中通常有多个，是文件系统中真正存储数据的地方

2017-12-22 22:10:12 113

原创 hadoop-hdfs简介(一)

1. HDFS 专为解决大数据存储问题而产生的，其具备了以下特点：1）.可存储超大文件文件系统是要构建于磁盘上的，有块的逻辑概念，是磁盘块的整数倍，通常文件系统为几千个字节，而磁盘块一般为 512 个字节。HDFS 是一种文件系统，文件块要比普通磁盘上文件系统大的多，默认是 64MBHDFS文件的大小可以大于网络中任意一个磁盘的容量，文件的所有块并不需要存储在一个磁盘上

2017-12-22 21:54:03 261

原创 java ： java -jar,java -cp,jar cvf 命令详解

jar cvf ./main.jar ./将当前目录下的所有文件打成jar包，jar包名为main.jar(放在工作目录下)java -jar *.jar param1 param2运行jar包，会自动到 jar 包中查询mainfest中定义的启动类并运行 param1，param2 为main方法的参数可不填java -cp lib/*;etc/ com.

2017-12-22 13:27:35 10685

原创 java，js 编码解码

编码解码主要解决中文乱码问题js：encodeURI(str) // 编码默认是采用的UTF-8的编码.decodeURI(str) // 解码默认是采用的UTF-8的解码.该方法不会对 ASCII 字母和数字进行编码，也不会对这些 ASCII 标点符号进行编码： - _ . ! ~ * ' ( ) 。对以下在 URI 中具有特殊含义的 ASCI

2017-12-22 11:25:43 216

翻译 java+js 实现 RSA 加密解密

import java.security.Key; import java.security.KeyFactory; import java.security.KeyPair; import java.security.KeyPairGenerator; import java.security.PrivateKey; import java.security.Pub

2017-12-20 10:32:14 1322

原创 linux 登录 oracle，mysql

1.登录oraclesu oracle // 首先切换到 oracle用户sqlplus // 打开sql命令行,输入用户ming，密码登录show user // 查看登录的用户conn // 切换登录用户oracle内部有两个建好的用户：system和sys。用户可直接登录到system用户以创建其他用户，因为sys

2017-12-19 10:30:56 28188

原创 java 正则

Pattern 类：1.Pattern 类没有公共构造方法。创建Pattern 对象，调用其公共静态编译方法，它返回一个 Pattern 对象。该方法接受一个正则表达式作为它的第一个参数。String pattern = "(\\D*)(\\d+)(.*)";Pattern r = Pattern.compile(pattern);2.查找字符串中是否包了 ru

2017-12-13 16:02:31 208

原创 js 正则

1. 正则表达式格式 var exp= /^\d+\.\d+$/;以 / 开头和以 / 结束，表示这是一个正则对象正则内容以 ^ 开头表示从头开始匹配，以 $ 结束表示匹配到结尾2. 用法校验整个字符串，电话码格式,返回 true falsevar reg= /^((0\d{2,3}-\d{7,8})|(1[3584]\d{9}))$/;reg.te

2017-12-13 13:36:47 657

原创 spark 环境搭建

1. Spark是Scala写的，在jvm上运行，运行环境java7+ spark 1.6.2 对应 scala 2.10 对应 sbt(打包工具) 0.13. 8 spark 2.0 对应 scala 2.112. 下载地址 spark http://spark.apache.org/downloads.html (下载时会自动匹配hadoop版本

2017-12-10 18:42:48 179

原创 Spark 简介

spark历史：伯克利实验室研究项目，基于Hadoop的Mapreduce机制，引入内存管理机制，提高了迭代式计算和交互式中的效率。spark组件：spark core:spark基本功能，包括任务调度，内存管理，容错机制内部定义了RDDs(弹性分布式数据集),提供多个APIs调用，为其他组件提供底层服务spark sql:spark处理结构化数据的库，类似Hive SQL,MySql，

2017-12-10 16:34:45 413

原创软件测试（二）

按测试模式来分类：1. 瀑布模型2. 敏捷测试 3. 基于脚本的测试4. 基于风险的测试 5. 探索式测试等。一、瀑布模型1. 步骤 1）. 项目计划：输出项目的计划书 2）. 需求分析：明确用户的需求定义并对需求有清晰的描述，输出软件的规格说明 --描述用户需求和产品功能的阶段 3）. 软件设计：根据需求得出产品的设计方案，包括软硬件的结构、

2017-12-03 18:32:29 146

原创软件测试（一）

软件测试的分类 1.按测试阶段分类 1）.单元测试 2）.集成测试 3）.系统测试 4）.验收测试 2.测试手段的分类 1）.根据测试对象的可见度：黑盒测试、白盒测试 2）.根据状态：静态测试、动态测试 3）.执行方式：手工测试、自动化测试一. 单元测试：对软件中的最小可测试单元进行检查和验证。1. 单元测试原则： 1).

2017-12-03 17:57:54 166

原创 mysql 重复记录查询与删除

根据一个字段SELECT * FROM tb_table WHERE sample_code IN(SELECT sample_code FROM tb_table GROUP BY sample_code HAVING COUNT(sample_code) > 1);delete from tb_table where id not in (select maxid from

2017-11-29 10:42:46 249

原创 nodejs+mysql

安装驱动cnpm install mysql查询数据var mysql = require('mysql'); var connection = mysql.createConnection({ host : 'localhost', user : 'root', passw

2017-11-28 20:23:38 266

原创 node.js 创建服务器及客户端

GET请求var http = require('http');var url = require('url');var util = require('util'); http.createServer(function(req, res){ res.writeHead(200, {'Content-Type': 'text/plain'});

2017-11-28 19:56:59 332

原创 node.js 常用工具

util.inheritsJavaScript 没有提供对象继承的语言级别特性，而是通过原型复制来实现的。util.inherits是一个实现对象间原型继承的函数var util = require('util'); function Base() { this.name = 'base'; this.base = 1991; t

2017-11-28 19:33:40 179

原创 node.js 全局对象及全局变量

全局对象： global，所有全局变量（除了 global 本身以外）都是 global 对象的属性。全局方法：setTimeout(cb, ms) - 到时执行一次的函数setInterval(cb, ms) - 间隔执行函数setTimeout(cb, ms) - 清除定时任务全局变量:__fil

2017-11-28 15:16:37 647

原创 node.js 路由

router.js 文件代码：function route(pathname) { console.log("About to route a request for " + pathname);} exports.route = route;server.js 文件代码：var http = require("http");var url = req

2017-11-28 14:49:26 155

原创 node.js-模块

一个 Node.js 文件就是一个模块；Node.js 提供了 exports 和 require 两个对象，其中 exports 是模块公开的接口，require 用于从外部获取一个模块的接口，即所获取模块的 exports 对象。如：可通过 require('./hello') 引入了当前目录下的 hello.js 模块（./ 为当前目录，node.js 默认后缀为 js）

2017-11-28 14:44:59 113

原创 node.js stream

Stream 是一个抽象接口，Node 中有很多对象实现了这个接口。例如，对http 服务器发起请求的request 对象就是一个 Stream，还有stdout（标准输出）。Node.js，Stream 有四种流类型：Readable - 可读操作。Writable - 可写操作。Duplex - 可读可写操作.Transform -

2017-11-28 12:57:36 102

原创 node.js -buffer

Buffer(缓冲区)在 Node.js中，定义了一个 Buffer 类，该类用来创建一个专门存放二进制数据的缓存区。一个 Buffer 类似于一个整数数组，但它对应于 V8 堆内存之外的一块原始内存。创建 Buffer 类创建长度为 60 字节的 Buffer 实例：var buf =newBuffer(60);len = buf.wr

2017-11-28 12:23:46 138

原创 node.js 使用-事件处理（EventEmitter）

Node.js 所有的异步 I/O 操作在完成时都会发送一个事件到事件队列。Node.js里面的许多对象都会分发事件：一个net.Server对象会在每次有新连接时分发一个事件，一个fs.readStream对象会在文件被打开的时候发出一个事件。所有这些产生事件的对象都是 events.EventEmitter 的实例。实例：//event.js 文件

2017-11-27 18:02:06 423

原创 node.js 使用-回调函数

Node.js 是单进程单线程应用程序，但是通过事件和回调支持并发，所以性能非常高。Node.js 的每一个 API 都是异步的，并作为一个独立线程运行，使用异步函数调用，并处理并发。Node.js 基本上所有的事件机制都是用设计模式中观察者模式实现。Node.js 单线程类似进入一个while(true)的事件循环，直到没有事件观察者退出，每个异步事件都生成一个事件观察者

2017-11-27 17:51:29 224

原创 node.js 安装与基本使用

node.js可以充当web服务器以及web应用服务器端JavaScript处理：server-side JavaScript execution非阻断/异步I/O：non-blocking or asynchronous I/O事件驱动：Event-driven1、Windows 安装包(.msi)32 位安装包下载地址 : https://nodejs.

2017-11-27 17:08:19 152

原创 react-native 开发环境搭建

1. 安装 node.jshttps://nodejs.org/en/download/npm 更改为淘宝镜像 npm--registry https://registry.npm.taobao.org info underscore 2.安装 react-native 命令行输入npm install -g react-native-cli检查

2017-11-25 23:29:09 551

原创 python+mysql样例

import pymysql # 打开数据库连接db = pymysql.connect("localhost","root","1234","test" )# 使用 cursor() 方法创建一个游标对象 cursorcursor = db.cursor()# 使用 execute() 方法执行 SQL 查询 cursor.execute("SELECT VERSI

2017-11-25 17:24:26 353

原创 python3安装 - win7

1、下载python3进入python官网，链接https://www.python.org/选择Downloads--->Windows，点击进入选择3.x.x版本下载或点击以下链接直接下载https://www.python.org/ftp/python/3.5.2/python-3.5.2rc1-amd64.exe

2017-11-25 16:37:56 646

原创 Python爬虫 - Beautiful Soup4（二）-网络文件爬取

from urllib import requestfrom bs4 import BeautifulSoupurl = 'http://python.org/'# 下载网页print ("连接网络")html = request.urlopen(url)print ("开始下载网页")content = html.read()content = conte

2017-11-25 15:26:27 564

原创 cron 表达式详解

1. cron 有如下两种语法格式： Seconds Minutes Hours Day Month Week Year或 Seconds Minutes Hours Day Month Week2. 字段允许值允许的特殊字符秒 0-59 , - * / 分 0-59 , - * / 小时 0-23 , - * /

2017-11-25 15:13:55 182

原创 Python爬虫 - Beautiful Soup4（一）-本地文件爬取

1.Beautiful Soup4 安装(简称BS4) pip 或者 easy_install 安装：easy_installbeautifulsoup4 pipinstallbeautifulsoup42.HTML解析器安装解析器类型有：html.parser（python自带），lxml，h

2017-11-22 19:04:47 1409

空空如也

空空如也