- 博客(39)
- 收藏
- 关注
原创 java工具类
1. org.apache.commons.io.IOUtilscloseQuietly ( ) toString ( ) copy ( ) toByteArray ( ) write ( ) toInputStream ( ) readLines ( ) copyLarge ( ) lineIterator ( ) readFully ( )2. org.apache.c...
2018-11-26 20:44:16 148
翻译 Tomcat集群session复制配置
<!-- Cluster(集群,族) 节点,如果你要配置tomcat集群,则需要使用此节点. className 表示tomcat集群时,之间相互传递信息使用那个类来实现信息之间的传递. channelSendOptions可以设置为2、4、8、10,每个数字代表一种方式 2 = Channel.SEND_OPTIONS_USE_ACK(确认发送) ...
2018-11-26 15:19:32 216
原创 zookeeper 集群搭建
1. 下载zookeeper安装包,解压后copy3份,分别命名为zookeeper1, zookeeper2, zookeeper32. 进入每个节点zookeeper/conf 目录下新建 zoo.cfg文件输人以下内容:# The number of milliseconds of each ticktickTime=2000# The number of ticks that the in...
2018-06-09 11:01:31 178
原创 hadoop - 安装
Hadoop 1.0 环境1) 下载 Hadoop 安装包:在http://pan.baidu.com/s/1qXSN3hM 地址中可以找到hadoop-1.2.1-bin.tar.gz文件使用securtCRT的rz功能上传hadoop-1.2.1-bin.tar.gz这个文件到虚拟机的系统中2) 安装 Hadoop 安装包: 1.首先将安装包解压缩:tar zxvf
2017-12-23 14:53:08 196
原创 zookeeper-简介(二)
Zookeeper 访问控制传统的文件系统中,ACL 分为两个维度,一个是属组,一个是权限,子目录/文件默认继承父目录的 ACL。而在 Zookeeper 中,node 的 ACL 是没有继承关系的,是独立控制的。Zookeeper 的 ACL,可以从三个维度来理解:一是 scheme: user; 二是permission,通常表示为 scheme:user:permission
2017-12-23 13:48:42 153
原创 zookeeper-简介(一)
Zookeeper 是一种分布式的,开源的,应用于分布式应用的协作服务。它提供了一些简单的操作,使得分布式应用可以基于这些接口实现诸如同步、配置维护和分集群或者命名的服务。Zookeeper 很容易编程接入,它使用了一个和文件树结构相似的数据模型。可以使用 Java 或者 C 来进行编程接入。1. Zookeeper 数据模型ZooKeeper 拥有一个层次的命名空间,这个和标准的
2017-12-23 13:38:29 166
原创 hadoop - MapReduce 简介(二)
1.MapReduce 错误处理机制1) 硬件故障在 Hadoop Cluster 中,只有一个 JobTracker,因此,JobTracker 本身是存在单点故障的。我们可以采用主备部署方式除了 JobTracker 错误就是 TaskTracker 错误。TaskTracker 故障相对较为常见,MapReduce 通常是通过重新执行任务来解决该故障。正常情况下,Ta
2017-12-23 13:23:26 160
原创 hadoop-Mapreduce 简介(一)
1.整个MapReduce计算过程分为 Map 阶段和 Reduce阶段,也称为映射和缩减阶段,这两个独立的阶段实际上是两个独立的过程,即 Map 过程和 Reduce 过程,在 Map 中进行数据的读取和预处理,之后将预处理的结果发送到 Reduce 中进行合并2.MapReduce 执行流程input -> map -> middle result Shuffle 派发
2017-12-23 12:21:17 185
原创 hadoop-hdfs简介(三)
1.操作 HDFS 的基本命令1) 打印文件列表(ls)hadoop fs -ls hdfs:/ #hdfs: 明确说明是 HDFS 系统路径简写:hadoop fs -ls / #默认是 HDFS 系统下的根目录hadoop fs -ls /package/test/ #HDFS 系统下某个目录2) 上传文件、目录(put、copyFromLocal)
2017-12-22 23:50:33 287
原创 hadoop-hdfs简介(二)
1.HDFS 体系架构1) HDFS 是一个主/从(Master/Slave)体系架构,由于分布式存储的性质,集群拥有两类节点 NameNode 和 DataNode。2)NameNode(名字节点):系统中通常只有一个,中心服务器的角色,管理存储和检索多个 DataNode 的实际数据所需的所有元数据。3)DataNode(数据节点):系统中通常有多个,是文件系统中真正存储数据的地方
2017-12-22 22:10:12 129
原创 hadoop-hdfs简介(一)
1. HDFS 专为解决大数据存储问题而产生的,其具备了以下特点:1).可存储超大文件文件系统是要构建于磁盘上的,有块的逻辑概念,是磁盘块的整数倍,通常文件系统为几千个字节,而磁盘块一般为 512 个字节。HDFS 是一种文件系统,文件块要比普通磁盘上文件系统大的多,默认是 64MBHDFS文件的大小可以大于网络中任意一个磁盘的容量,文件的所有块并不需要存储在一个磁盘上
2017-12-22 21:54:03 269
原创 java : java -jar,java -cp,jar cvf 命令详解
jar cvf ./main.jar ./将当前目录下的所有文件打成jar包,jar包名为main.jar(放在工作目录下)java -jar *.jar param1 param2运行jar包,会自动到 jar 包中查询mainfest中定义的启动类并运行 param1,param2 为main方法的参数可不填java -cp lib/*;etc/ com.
2017-12-22 13:27:35 10732
原创 java,js 编码解码
编码解码主要解决 中文乱码问题js:encodeURI(str) // 编码 默认是采用的UTF-8的编码.decodeURI(str) // 解码 默认是采用的UTF-8的解码.该方法不会对 ASCII 字母和数字进行编码,也不会对这些 ASCII 标点符号进行编码: - _ . ! ~ * ' ( ) 。对以下在 URI 中具有特殊含义的 ASCI
2017-12-22 11:25:43 224
翻译 java+js 实现 RSA 加密解密
import java.security.Key; import java.security.KeyFactory; import java.security.KeyPair; import java.security.KeyPairGenerator; import java.security.PrivateKey; import java.security.Pub
2017-12-20 10:32:14 1328
原创 linux 登录 oracle,mysql
1.登录oraclesu oracle // 首先切换到 oracle用户sqlplus // 打开sql命令行,输入用户ming,密码登录show user // 查看登录的用户conn // 切换登录用户oracle内部有两个建好的用户:system和sys。用户可直接登录到system用户以创建其他用户,因为sys
2017-12-19 10:30:56 28232
原创 java 正则
Pattern 类:1.Pattern 类没有公共构造方法。创建Pattern 对象,调用其公共静态编译方法,它返回一个 Pattern 对象。该方法接受一个正则表达式作为它的第一个参数。String pattern = "(\\D*)(\\d+)(.*)";Pattern r = Pattern.compile(pattern);2.查找字符串中是否包了 ru
2017-12-13 16:02:31 218
原创 js 正则
1. 正则表达式格式 var exp= /^\d+\.\d+$/;以 / 开头和以 / 结束,表示这是一个正则对象正则内容以 ^ 开头表示从头开始匹配,以 $ 结束表示匹配到结尾2. 用法 校验整个字符串,电话码格式,返回 true falsevar reg= /^((0\d{2,3}-\d{7,8})|(1[3584]\d{9}))$/;reg.te
2017-12-13 13:36:47 674
原创 spark 环境搭建
1. Spark是Scala写的,在jvm上运行,运行环境java7+ spark 1.6.2 对应 scala 2.10 对应 sbt(打包工具) 0.13. 8 spark 2.0 对应 scala 2.112. 下载地址 spark http://spark.apache.org/downloads.html (下载时会自动匹配hadoop版本
2017-12-10 18:42:48 184
原创 Spark 简介
spark历史:伯克利实验室研究项目,基于Hadoop的Mapreduce机制,引入内存管理机制,提高了迭代式计算和交互式中的效率。spark组件:spark core:spark基本功能,包括任务调度,内存管理,容错机制内部定义了RDDs(弹性分布式数据集),提供多个APIs调用,为其他组件提供底层服务spark sql:spark处理结构化数据的库,类似Hive SQL,MySql,
2017-12-10 16:34:45 420
原创 软件测试(二)
按测试模式来分类:1. 瀑布模型2. 敏捷测试 3. 基于脚本的测试4. 基于风险的测试 5. 探索式测试等。一、瀑布模型1. 步骤 1). 项目计划:输出项目的计划书 2). 需求分析:明确用户的需求定义并对需求有清晰的描述,输出软件的规格说明 --描述用户需求和产品功能的阶段 3). 软件设计:根据需求得出产品的设计方案,包括软硬件的结构、
2017-12-03 18:32:29 155
原创 软件测试(一)
软件测试的分类 1.按测试阶段分类 1).单元测试 2).集成测试 3).系统测试 4).验收测试 2.测试手段的分类 1).根据测试对象的可见度:黑盒测试、 白盒测试 2).根据状态:静态测试、动态测试 3).执行方式:手工测试、自动化测试一. 单元测试:对软件中的最小可测试单元进行检查和验证。1. 单元测试原则: 1).
2017-12-03 17:57:54 175
原创 mysql 重复记录查询与删除
根据一个字段SELECT * FROM tb_table WHERE sample_code IN(SELECT sample_code FROM tb_table GROUP BY sample_code HAVING COUNT(sample_code) > 1);delete from tb_table where id not in (select maxid from
2017-11-29 10:42:46 259
原创 nodejs+mysql
安装驱动cnpm install mysql查询数据var mysql = require('mysql'); var connection = mysql.createConnection({ host : 'localhost', user : 'root', passw
2017-11-28 20:23:38 280
原创 node.js 创建服务器及客户端
GET请求var http = require('http');var url = require('url');var util = require('util'); http.createServer(function(req, res){ res.writeHead(200, {'Content-Type': 'text/plain'});
2017-11-28 19:56:59 343
原创 node.js 常用工具
util.inheritsJavaScript 没有 提供对象继承的语言级别特性,而是通过原型复制来实现的。util.inherits是一个实现对象间原型继承 的函数var util = require('util'); function Base() { this.name = 'base'; this.base = 1991; t
2017-11-28 19:33:40 190
原创 node.js 全局对象及全局变量
全局对象: global,所有全局变量(除了 global 本身以外)都是 global 对象的属性。全局方法:setTimeout(cb, ms) - 到时执行一次的函数setInterval(cb, ms) - 间隔执行函数setTimeout(cb, ms) - 清除定时任务全局变量:__fil
2017-11-28 15:16:37 660
原创 node.js 路由
router.js 文件代码:function route(pathname) { console.log("About to route a request for " + pathname);} exports.route = route;server.js 文件代码:var http = require("http");var url = req
2017-11-28 14:49:26 164
原创 node.js-模块
一个 Node.js 文件就是一个模块;Node.js 提供了 exports 和 require 两个对象,其中 exports 是模块公开的接口,require 用于从外部获取一个模块的接口,即所获取模块的 exports 对象。如:可通过 require('./hello') 引入了当前目录下的 hello.js 模块(./ 为当前目录,node.js 默认后缀为 js)
2017-11-28 14:44:59 121
原创 node.js stream
Stream 是一个抽象接口,Node 中有很多对象实现了这个接口。例如,对http 服务器发起请求的request 对象就是一个 Stream,还有stdout(标准输出)。Node.js,Stream 有四种流类型:Readable - 可读操作。Writable - 可写操作。Duplex - 可读可写操作.Transform -
2017-11-28 12:57:36 111
原创 node.js -buffer
Buffer(缓冲区)在 Node.js中,定义了一个 Buffer 类,该类用来创建一个专门存放二进制数据的缓存区。一个 Buffer 类似于一个整数数组,但它对应于 V8 堆内存之外的一块原始内存。创建 Buffer 类创建长度为 60 字节的 Buffer 实例:var buf =newBuffer(60);len = buf.wr
2017-11-28 12:23:46 144
原创 node.js 使用-事件处理(EventEmitter)
Node.js 所有的异步 I/O 操作在完成时都会发送一个事件到事件队列。Node.js里面的许多对象都会分发事件:一个net.Server对象会在每次有新连接时分发一个事件, 一个fs.readStream对象会在文件被打开的时候发出一个事件。 所有这些产生事件的对象都是 events.EventEmitter 的实例。实例://event.js 文件
2017-11-27 18:02:06 433
原创 node.js 使用-回调函数
Node.js 是单进程单线程应用程序,但是通过事件和回调支持并发,所以性能非常高。Node.js 的每一个 API 都是异步的,并作为一个独立线程运行,使用异步函数调用,并处理并发。Node.js 基本上所有的事件机制都是用设计模式中观察者模式实现。Node.js 单线程类似进入一个while(true)的事件循环,直到没有事件观察者退出,每个异步事件都生成一个事件观察者
2017-11-27 17:51:29 232
原创 node.js 安装与基本使用
node.js可以充当web服务器以及web应用服务器端JavaScript处理:server-side JavaScript execution非阻断/异步I/O:non-blocking or asynchronous I/O事件驱动:Event-driven1、Windows 安装包(.msi)32 位安装包下载地址 : https://nodejs.
2017-11-27 17:08:19 162
原创 react-native 开发环境搭建
1. 安装 node.jshttps://nodejs.org/en/download/npm 更改为淘宝镜像 npm--registry https://registry.npm.taobao.org info underscore 2.安装 react-native 命令行输入npm install -g react-native-cli检查
2017-11-25 23:29:09 562
原创 python+mysql样例
import pymysql # 打开数据库连接db = pymysql.connect("localhost","root","1234","test" )# 使用 cursor() 方法创建一个游标对象 cursorcursor = db.cursor()# 使用 execute() 方法执行 SQL 查询 cursor.execute("SELECT VERSI
2017-11-25 17:24:26 359
原创 python3安装 - win7
1、下载python3进入python官网,链接https://www.python.org/选择Downloads--->Windows,点击进入选择3.x.x版本下载或点击以下链接直接下载https://www.python.org/ftp/python/3.5.2/python-3.5.2rc1-amd64.exe
2017-11-25 16:37:56 664
原创 Python爬虫 - Beautiful Soup4(二)-网络文件爬取
from urllib import requestfrom bs4 import BeautifulSoupurl = 'http://python.org/'# 下载网页print ("连接网络")html = request.urlopen(url)print ("开始下载网页")content = html.read()content = conte
2017-11-25 15:26:27 574
原创 cron 表达式详解
1. cron 有如下两种语法格式: Seconds Minutes Hours Day Month Week Year或 Seconds Minutes Hours Day Month Week2. 字段 允许值 允许的特殊字符 秒 0-59 , - * / 分 0-59 , - * / 小时 0-23 , - * /
2017-11-25 15:13:55 197
原创 Python爬虫 - Beautiful Soup4(一)-本地文件爬取
1.Beautiful Soup4 安装(简称BS4) pip 或者 easy_install 安装:easy_installbeautifulsoup4 pipinstallbeautifulsoup42.HTML解析器安装 解析器类型有:html.parser(python自带),lxml,h
2017-11-22 19:04:47 1423
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人