- 博客(12)
- 资源 (4)
- 问答 (1)
- 收藏
- 关注
RSS订阅原创 WebMagic的学习（三）——使用和定制Pipeline，爬取数据存储到MySql数据库
一、Pipeline介绍Pipeline的接口定义如下：public interface Pipeline { // ResultItems保存了抽取结果，它是一个Map结构， // 在page.putField(key,value)中保存的数据，可以通过ResultItems.get(key)获取 public void process(ResultItems...
2018-12-27 16:16:23
5644
15
原创 WebMagic的学习（二）——实现PageProcessor以及爬虫demo
一、爬虫实例爬取csdn个人主页，先进入主页，我们发现列表页是这样的规则https://blog\\.csdn\\.net/qq_41061437/article/details/1只有后面的数字会发生变化，因此可以用正则表达式："https://blog\\.csdn\\.net/qq_41061437/article/list/\\d，定义一个URL_LIST:pub...
2018-12-27 11:08:57
4010
2
原创 WebMagic的学习（一）——基本介绍
一、总体架构WebMagic总体架构分为四个组件：Downloader、PageProcessor、Scheduler、Pipeline，由Spider将它们组织起来。对应爬虫的生命周期中的下载、处理、管理和持久化等功能。二、四个组件的介绍①DownloaderDownloader负责从互联网上下载页面，以便后续处理。WebMagic默认使用Apache HttpClient作为下...
2018-12-26 17:06:04
1776
原创 Nginx的学习
一、Nginx介绍Nginx ("engine x") 是一个高性能的 HTTP 和 反向代理 服务器，也是一 IMAP/POP3/SMTP 代理服务器。其将源代码以类BSD许可证的形式发布，因它的稳定性、丰富的功能集、示例配置文件和低系统资源的消耗而闻名官方测试nginx能够支支撑5万并发链接，并且cpu、内存等资源消耗却非常低，运行非常稳定Nginx是一款轻量级的Web 服务器...
2018-12-12 20:11:40
1280
原创 Redis的学习（四）——Redis集群搭建（6台linux）
一、redis-cluster架构图：架构细节:(1)所有的redis节点彼此互联(PING-PONG机制),内部使用二进制协议优化传输速度和带宽.(2)节点的fail是通过集群中超过半数的节点检测失效时才生效.(3)客户端与redis节点直连,不需要中间proxy层.客户端不需要连接集群所有节点,连接集群中任何一个可用节点即可(4)redis-cluster把所有的物理节...
2018-12-12 17:02:20
1542
原创 Redis的学习（三）——Redis主从配置（一台linux）
持久化保证了即使redis服务重启也不会丢失数据，因为redis服务重启后会将硬盘上持久化的数据恢复到内存中，但是当redis服务器的硬盘损坏了可能会导致数据丢失，如果通过redis的主从复制机制就可以避免这种单点故障，如下图：说明：主redis中的数据有两个副本（replication）即从redis1和从redis2，即使一台redis服务器宕机其它两台redis服务也可以继续提供...
2018-12-12 16:52:52
1152
原创 Redis的学习（二）——数据结构和命令
一、Redis的数据结构可参考：https://www.cnblogs.com/dijia478/p/8058775.htmlRedis的数据结构简单理解就是一个Map结构，key-value ，根据key操作value！二、操作①存储String常用的命令：赋值：取值：删除：数值的增减：②存储Hash常用命令：赋值：取值：...
2018-12-12 16:39:56
1124
原创 Redis的学习（一）——在linux上的安装
Redis是一种NoSQL数据库，泛指非关系型数据库。一、NoSQL数据库的优势①易扩展NoSQL数据库种类繁多，但是一个共同的特点都是去掉关系数据库的关系型特性。数据之间无关系，这样就非常容易扩展。也无形之间，在架构的层面上带来了可扩展的能力。②大数据量、高性能NoSQL数据库都具有非常高的读写性能，尤其在大数据量下，同样表现优秀。这得益于它的无关系性，数据库的结构简单。一般...
2018-12-12 15:18:47
1117
原创 Quartz的学习（二）——Spring、SpringBoot的整合
一、Spring整合①导入依赖<dependencies> <dependency> <groupId>org.springframework</groupId> <artifactId>spring-context</artifactId> <version>4.1.6.RELEA
2018-12-11 20:03:22
1208
原创 Quartz的学习（一）——基本使用
一、Quartz是什么？Quartz是OpenSymphony开源组织在Job scheduling领域又一个开源项目,它可以与J2EE与J2SE应用程序相结合也可以单独使用。 在企业级应用中，经常会制定一些“计划任务”，即在某个时间点做某件事情，核心是以时间为关注点，即在一个特定的时间点，系统执行指定的一个操作 任务调度涉及多线程并发、线程池维护、运行时间规则解析、运行现场的保护以恢复等...
2018-12-11 18:41:16
1316
原创 Shiro的学习（三）——Shiro授权
一、环境准备授权，也叫访问控制，即在应用中控制谁能访问哪些资源（如访问页面/编辑数据/页面操作等）。在授权中需了解的几个关键对象：主体（Subject）、资源（Resource）、权限（Permission）、角色（Role）。主体：主体，即访问应用的用户，在Shiro中使用Subject代表该用户。用户只有授权后才允许访问相应的资源。资源：在应用中用户可以访问的任何东西，比如...
2018-12-11 13:32:12
1261
原创 Shiro的学习（二）——Shiro认证
一、环境使用maven进行管理，pom.xml文件：<dependencies> <dependency> <groupId>org.apache.shiro</groupId> <artifactId>shiro-core</artifactId> <version>1.2.3&a
2018-12-11 13:08:41
1136
ComboBoxAndDataGridView.rar
2019-12-23
WinfromSortTest.rar
2019-12-12
UpdateQuartzTriggerTime.rar
2019-09-21
QuartzTest.rar
2019-09-19
hutool导出excel从指定列开始
2021-11-26
TA创建的收藏夹 TA关注的收藏夹
TA关注的人