- 博客(45)
- 资源 (24)
- 收藏
- 关注
webmagic爬虫
package com.wilian.astro.webmagic.follifollie; import com.wilian.astro.webmagic.vo.WatchVO; import us.codecraft.webmagic.Page;import us.codecraft.webmagic.Site;import us.codecraft.webmagi...
2018-04-16 17:01:33
175
1
Java序列化
1.什么是序列化? 把Java对象转换为字节序列的过程称为对象的序列化,把字节序列恢复为Java对象的过程称为对象的反序列化。对象的序列化主要有如下2种用途:把对象的字节序列永久地保存到硬盘上,通常存放在一个文件中在网络上传送对象的字节序列2.序列化的实现方式类继承Serializable接口,可使用writeObject方法和readObject方法控制类序列化...
2017-03-19 15:39:28
151
JDK RMI框架及相关技术综述
1.RMI基本原理 RMI框架为远程对象分别生成了客户端代理和服务端代理。(HelloWorld的实例中可以看到客户端端的远程对象为代理类。)位于客户端的代理类称为存根STUB,服务端的代理类称为骨架SKELETON。存根与骨架通过SOCKET进行通信。服务端与客户端之间传送的方法参数或返回值,必须是远程对象(Remote接口也集成Serializable接口)、可序列化对象、基本类型。...
2017-03-18 21:15:47
220
原创 RMI版HelloWorld
1.创建远程接口 package com.wilian.rmi.server;import java.rmi.Remote;import java.rmi.RemoteException;public interface HelloWorld extends Remote{//必须继承Remote接口 //必须要抛出RemoteExcepttion...
2017-03-18 18:59:46
171
原创 org.xml.sax.SAXException: Invalid element
今天开发项目遇到一个问题,简单记录下,希望能帮到遇到同样问题的同学 我使用Axis1.4开发webservice客户端,客户端代码如下: Service service = new Service();Call call;try {call = (Call)service.createCall();call.setTargetEndpointAddress(d2Url...
2013-12-19 21:35:02
4807
3
原创 编译hadoop-eclipse插件
转载 http://www.ilablog.org/%E7%BC%96%E8%AF%91hadoop-eclipse%E6%8F%92%E4%BB%B6/编译hadoop-eclipse插件 目录 一、所需软件… 2 二、Ant和Cygwin安装… 2 三、编译hadoop-eclipse-plugin-1.0.3.jar插件… 5 前言...
2013-01-08 17:21:57
137
Zookeeper集群环境安装
1.集群机器配置主机名IPnamenode192.168.1.250datanode1192.168.1.237datanode2192.168.1.2512.上述机器上分别安装Hadoop的集群,不在累述。其中namenode为master,其他为slave3.下载zookeeper-3.3.5.tar.gz,下面...
2012-07-20 19:05:59
86
Hadoop FS Shell
[wilian@localhost hadoop-0.20.2]$ bin/hadoop fs -helphadoop fs is the command to execute fs commands. The full syntax is: hadoop fs [-fs <local | file system URI>] [-conf <configura...
2012-07-18 14:27:08
173
原创 Redis 主从复制
redis主从复制过程:当配置好slave后,slave与master建立连接,然后发送sync命令。无论是第一次连接还是重新连接,master都会启动一个后台进程,将数据库快照保存到文件中,同时master主进程会开始收集新的写命令并缓存。后台进程完成写文件后,master就发送文件给slave,slave将文件保存到硬盘上,再加载到内存中,接着master就会把缓存的命令转发给slave,后续...
2012-06-27 16:12:15
82
原创 Redis 常用命令之服务器相关命令
redis-cli -h 192.168.12.12 远程登录redis客户端redis 127.0.0.1:6379> ping 测试连接是否存活 PONGredis 127.0.0.1:6379> echo wilian 在命令行打印一些内容"wilian"redis 127.0.0.1:6379> select 1 选择数据库。R...
2012-06-27 15:10:34
124
原创 Redis 常用命令之键值相关命令
redis 127.0.0.1:6379> keys * 列出所有的key 1) "myset1" 2) "mylist5" 3) "key2" 4) "mail" 5) "muset2" 6) "myset2" 7) "mylist6" 8) "mylist2" 9) "mysse
2012-06-27 14:53:47
251
原创 Redis sorted set操作
sorted set是set的一个升级版本,它在set的基础上增加了一个顺序属性,这一属性在添加修改元素的时候可以指定,每次指定后,zset会自动重新按新的值调整顺序。可以理解为有两列的mysql表,一列存value,一列存顺序。操作中key理解为zset的名字。 和set一样sorted set也是string类型元素的集合,不同的是每个元素都会关联一个double...
2012-06-27 09:21:22
129
Redis sets操作
set 是集合,和我们数学中的集合概念相似,对集合的操作有添加删除元素,有对多个集合求交并差等操作,操作中key理解为集合的名字。 Redis的set是string类型的无序集合。set元素最大可以包含(2的32次方)个元素。 set的是通过hash table实现的,所以添加、删除和查找的复杂度都是O(1)。hash table会随着添加或者删除自动的调整大小。...
2012-06-26 17:16:19
99
Redis lists操作
list 是一个链表结构,主要功能是push、pop、获取一个范围的所有值等等,操作中key理解为链表的名字。 Redis的list 类型其实就是一个每个子元素都是string类型的双向链表。链表的最大长度是(2的32次方)。我们可以通过push,pop操作从链表的头部或者尾部添加删除元素。这使得list既可以用作栈,也可以用作队列。 有意思的是list 的p...
2012-06-26 16:33:51
74
Redis hashes操作
Redis hash是一个string类型的field 和value的映射表.它的添加、删除操作都是O(1)(平均)。hash特别适合用于存储对象。相较于将对象的每个字段存成单个string类型。将一个对象存储在hash类型中会占用更少的内存,并且可以更方便的存取整个对象。省内存的原因是新建一个hash对象时开始是用zipmap(又称为small hash)来存储的。这个zipm...
2012-06-26 15:23:14
108
Redis 字符串操作
redis 127.0.0.1:6379> set name wwl 设置key对应的值为String类型的valueOKredis 127.0.0.1:6379> get name"wwl"redis 127.0.0.1:6379> get name"wwl"redis 127.0.0.1:6379> del name(integer) ...
2012-06-26 15:01:11
100
Redis编译与安装
1.下载 redis-2.4.15.tar.gz http://www.redis.io/download 2.编译$ tar xzf redis-2.4.15.tar.gz$ cd redis-2.4.15$ makeroot@ubuntu:~/Downloads/redis-2.4.15# cd /usr/local/bin/ #编译好的文件将被复制到/usr/l...
2012-06-26 11:10:24
98
原创 Redis 配置文件
# Redis示例配置文件# 注意单位问题:当需要设置内存大小的时候,可以使用类似1k、5GB、4M这样的常见格式:## 1k => 1000 bytes# 1kb => 1024 bytes# 1m => 1000000 bytes# 1mb => 1024*1024 bytes# 1g => 1000000000 bytes# 1gb => 102...
2012-06-25 17:38:57
73
原创 android背景选择器selector
一.创建xml文件,位置:drawable/xxx.xml,同目录下记得要放相关图片 <?xml version="1.0" encoding="utf-8" ?> <selector xmlns:android="http://schemas.android.com/apk/res/android"> <!-- 默认时的背景图片--> ..
2012-06-15 14:59:00
85
原创 MongoDB 索引
1.使用ensureIndex添加索引ensureIndex函数帮助文档db.blog.ensureIndex(keypattern[,options]) - options is an object with these possible fields: name, unique, dropDupsname:指定索引名称unique:是否唯一索引dropDups:是否删除...
2012-06-06 22:34:56
71
MongoDB 分片
1.建立分片建立分片有两步:启动实际的服务器,然后决定怎么切分数据。分片一般会有3个组成部分:片:就是保存子集合数据的容器。片可是单个的mongod服务器,也可以是副本集。所以即便一片内有多台服务器,也只能有一个主服务器,其他的服务器保存相同的数据。mongos:就是MongoDB各版本中都配的路由器进程。它路由所有请求,然后将结果聚合。它本身并不存储数据或者配置信息(但会缓存配置...
2012-06-06 22:23:25
93
MongoDB 复制
1.主从复制运行mongod --master启动主服务器运行mongod --slave --source master_address 启动从服务器 其中master_address就是上面主节点的地址所有从节点都从主节点复制内容,从节点是不能插入数据的。建议一个集群中不超过12个从节点。主从复制的选项:--only 在从节点上指定只复制特定某个数据库(默认复制所有数据库)...
2012-06-03 23:44:28
146
原创 MongoDB 管理
1.MongoDB的启动和停止启动部分:\mysoft\mongo\bin>mongod.exe --help ** NOTE: when using MongoDB 32 bit, you are limited to about 2 gigabytes of data ** see http://blog.mongodb.org/post/137...
2012-06-02 01:12:51
102
MongoDB 高阶
1.db.eval()执行Javascript脚本2.DBREF文档引用> db.user.insert({"_id":"mike","display_name":"Mike D"})> db.user.insert({"_id":"kristina","display_name":"Kristina C"
2012-06-01 17:02:14
100
MongoDB GridFS
1.利用Mongofile命令进行文件的操作usage: mongofiles.exe [options] command [gridfs filename]command: one of (list|search|put|get) list - list all files. 'gridfs filename' is an optional prefix //查看所有...
2012-06-01 15:54:45
113
MongoDB 固定集合
1.何谓固定集合:事先创建而且大小固定的集合。2.固定集合特性:固定集合很像环形队列,如何空间不足,最早的文档就会被删除,为新的文档腾出空间。还有默认情况下固定集合没有索引,即便是“_id”上也没有索引。一般来说,固定集合适用于任何想要自动淘汰过期属性的场景,没有太多的操作限制。3.创建固定集合db.createCollection("my_collections",{capped:t...
2012-06-01 15:02:44
81
MongoDB 命令(二)
删除一个集合我们有下面2中方式1.db.test.drop()2.db.runCommamd({"drop":"test"})那runCommamd究竟有多少命令可以执行呢?使用db.listCommands()可以查看到所有可执行的命令。如:distinct: read-lock { distinct : 'collection name' , key : 'a.b...
2012-06-01 14:08:00
118
MongoDB 聚合
1.count()函数返回集合中文档的数量2.distinct找出给定键的所有不同的值。> db.users.insert({"name":"Ada","age":20})> db.users.insert({"name":"Fred","age":35})> db.users.insert({"name":"Susan&qu
2012-05-31 23:52:06
78
MongoDB 查询
1.find查询先看看find的函数说明: db.blog.find([query],[fields]) - query is an optional query filter. fields is optional set of fields to return.e.g. db.blog.find( {x:77}, {name:1, x:1} )find的2个参数,...
2012-05-30 22:58:56
130
原创 MongoDB 更新修改器
更新修改器是种特殊的键,用来指定复杂的更新操作,比如调整、增加或者删除键,还可能是从操作数组或者内嵌文档.1.$inc修改器 用来增加值。> db.analytics.find();{ "_id" : ObjectId("4fc39b6b57bb647e0855d6ed"), "url" : "www.baidu.com", "pageviews" : 1 }> db.anal
2012-05-30 00:53:20
109
直接插入排序
直接插入排序,类似我们在起牌的时候手里的牌按大小顺序进行插入,假定之前的N-1个数据都是排序好的,此时之需要将第N个数据插入到合适的位置即可。/** * 插入排序 * @author wilian * @version */public class InsertSort { public static void main(String args[]) { i...
2012-05-29 18:20:22
121
Mongodb 数据类型
1.nullnull用于表示空值或者不存在的字段2.布尔布尔类型有两个值true和false3.32位整数、64位整数、64位浮点数4.字符串5.符号6.对象ID7.日期8.正则表达式9.代码10.二进制数据11.最大值、最小值12.未定义undefined13.数组14.内嵌文档...
2012-05-28 23:25:40
96
MongoDB Shell 学习(二)
本节主要讲述怎么去学习好shell1.利用shell自带的帮助命令> help db.help() help on db methods db.mycoll.help() help on collection methods rs.help() ...
2012-05-28 23:02:35
81
Mongodb Shell学习(一)
本节内容讲述的是MongoDB Shell下一些基本命令的使用.安装完Mongodb后,在开启命令行切到/bin下,输入mongo即可进入到命令行模式:C:\Users\Administrator>mongoMongoDB shell version: 1.8.5connecting to: test 默认链接的数据库为test数据库1.显示所有的数据库 show...
2012-05-28 22:51:11
72
原创 写给浮躁的java程序员的
一、JAVA中final 与 static 总结 finalstatic修饰类该类不可被继承只能修饰内部类,该类不需要new,是静态加载(嵌套顶层类)修饰接口××修饰构造函数××修饰语句块×虚拟机按声明顺序初始化static成员字段和static语句块修饰字段属性表示属性初始化后不能修改(实例...
2012-03-12 20:12:22
102
原创 Java开源工具:网站开发工具清单
美国程序员Jon Scott Stevens,公布了他的创业公司所使用的开发工具清单。 他的语言平台是Java,开发项目是一个网站(还未上线)。所用到的工具都是开源的,可以免费得到。 在目前的创业者之中,用Java作为网站开发语言的人似乎很少。这当然不是没有原因的,Java看上去确实不像是最便捷的网站开发工具,给人的感觉是用起来麻烦又费事。 但是不可否认的是,Java的平台很成...
2012-03-12 20:02:48
94
原创 Hibernate中Criteria的完整用法
最近在项目中使用 Spring 和 Hibernate 进行开发,有感于 Criteria 比较好用,在查询方法设计上可以灵活的根据 Criteria 的特点来方便地进行查询条件的组装。现在对 Hibernate的Criteria 的用法进行总结: Hibernate 设计了 CriteriaSpecification 作为 Criteria 的父接口,下面提供了 Criter...
2011-06-19 11:03:44
74
原创 Android之文件&XML
1.题记 Android系统中文件的存储方式,以及XML的读取和写入方式基本与Java系统中类似,但由于Android终端系统的存储容量有限,故很多文件的操作都在SD卡上进行。2.内存文件的存取 文件对数据进行存储,Activity提供了openFileOutput()方法可以用于把数据输出到文件中,具体的实现过程与在J2SE环境中保存数据到文件中是一样的。 publ...
2011-03-21 10:20:58
127
原创 Android之Service&BroadCastReceiver
1.题记 Android中的服务和windows中的服务是类似的东西,服务一般没有用户操作界面,它运行于系统中不容易被用户发觉,可以使用它开发如监控之类的程序。 广播接收者(BroadcastReceiver)用于接收广播Intent,广播Intent的发送是通过调用Context.sendBroadcast()、Context.sendOrderedBroadca...
2011-03-18 14:10:48
314
原创 Android之Intent
1.题记 Intent提供了一种通用的消息系统,它允许在你的应用程序与其他的应用程序间传递Intent来执行动作和产生事件。通过使用Intent可以激活Android应用的三个核心组件:活动、服务、广播接收器。2.Intent的划分与匹配 Intent可以划分成显示意图和隐式意图。 显示意图:调用Intent.setComponent()或Int...
2011-03-17 15:31:59
110
Extjs+struts2+hibernate 做的一个简单的图书管理系统(源代码)
2009-08-02
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人