2017年11月_冯子玉

12月 11月 09月 08月 07月 06月 05月 04月

原创 scrapy实现增量式爬取

实现爬虫的增量式爬取有两种方法，一是在获得页面解析的内容后判断该内容是否已经被爬取过，二是在发送请求之前判断要被请求的url是否已经被爬取过，前一种方法可以感知每个页面的内容是否发生变化，能获取页面新增或者变化的内容，但是由于要对每个url发送请求，所以速度比较慢，而对网站服务器的压力也比较大，后一种无法获得页面变化的内容，但是因为不用对已经爬取过的url发送请求，所以对服务器压力比较小，速度比较快

2017-11-22 10:25:36 11992 2

原创谷歌插件-无法点到百度搜索按钮

1.mainfest.json文件{ "manifest_version": 2, "name": "永远点不到的搜索按钮", "version": "1.0", "description": "让你永远也点击不到Google的搜索按钮", "content_scripts": [ {

2017-11-22 08:57:09 348

原创 Spring-MVC初步-搭建一个web程序

MVC思想,即”MOD:模型”,”VIEW”:”视图”,”CONTROL”:”控制”分离的思想,其中MOD层用于处理数据,包括业务算法,数据持久层等的实现;VIEW层用于为用户显示数据,比如JSP或html页面等;CONTROL层用于连接MOD层和VIEW层,包括封装数据,渲染数据等.三个部分以最小的耦合协同工作,是构建现代web应用的一个重要思想Spring-MVC 1.结构从一个web请求开

2017-11-09 15:56:17 237

原创 spring-AOP的实现

AOP(面向切面编程)的理解与实现1.什么是面向切面编程要理解面向切面编程,必须要理解切面的含义,切面是指在程序的许多地方都会应用到的功能,例如对于日志系统来说,记录日志就可以被当做一个切面,在一个应用程序的许多地方,日志都是不可或缺的,但在这些地方,我们主要的关注点却不一定记录日志上,比如当我们在开启一个数据库连接时,我们主要关注的点在于开启连接,而不是记录日志,举个现实中的例子就是,我们日常生活

2017-11-09 15:39:29 311

原创 spring-依赖注入的实现

上一篇日志讲了依赖注入的思想和原理,这里总结一下spring中实现依赖注入的具体实现方式1.原理在spring中,所有的POJO都可以被声明,或者定义为一个组件,通过配置文件,自动扫描,java代码的方式,可以任意装配不同组件 2.方法在spring中,装配组件的方式有三种,分别是自动装配,XML配置文件装配以及java代码中显示装配,而组件装配无非就是两个过程1.创建组件;2.装配组件 1.自动

2017-11-09 11:55:35 1249

原创 Spring初步-依赖注入的原理

要使用一个工具去完成诸多的的任务,必须要理解这个工具的原理和核心思想,而spring最重要的工具毫无疑问是依赖注入(DI)和面向切面编程(AOP),web开发中最重要的思想莫过于mvc思想依赖注入提到依赖注入,我会想到很多与之有关的词 “面向接口编程”,”策略模式”,”命令模式”等等,这些词其实都围绕着一个中心”解耦合”就像《head first设计模式》里面开篇就提到的那个鸭子一样,红头鸭,塑料鸭

2017-11-07 13:53:36 302

game2D.zip

用golang开发的一个基于opengl的游戏，非常简单，只有一个游戏场景和能在场景中运动的游戏人物，实现了运动检测，纹理动画

2019-07-08

cronselector.zip

基于jquery的cron表达式选择器,具有选择和反向渲染的功能,样式文件由自己开发,不依赖其他前端框架

2019-06-06

定时任务框架

使用springboot搭建的一个定时任务框架,具有增,删,改,查,启动,暂停任务的功能,前端页面使用react+antd搭建,详细介绍: https://blog.csdn.net/qq_35488769/article/details/83628374

2018-11-02

elasticsearch6.3.2_java开发依赖

基于elasticsearch6.3.2进行java开发所需要的全部依赖

2018-08-23

web直播程序

使用nodejs和python编写的简单的视频直播程序,nodejs依赖已经全部包含在内,python部分的依赖请自己安装

2018-08-02

地址解析百度地图地址解析

批量将地址解析为百度地图经纬度坐标,需要自己申请AK,可以指定并发数量

2017-12-15

echarts-gl

百度官网给出的echarts版本与echarts-gl版本不匹配,这里给出历史版本下载

2017-12-14

58同城二手房出售信息

爬自58同城的216W条二手房数据,从mongoDB中导出的json文件,包含的字段有 1.详情页面url 2.房屋朝向 3.房屋房间数量(类似两室一厅这种) 3.from url 4.经纬度 5.字符串地址 6,爬取时间(时间戳格式) 7.所属城市(类似湖北武汉这种) 可以用于大数据分析,机器学习等等,欢迎下载(未压缩前文件大小为700M,一般的文本编辑器无法打开)

2017-12-14

视频直播小程序

用python实现的视频直播程序,包括屏幕直播和摄像头直播,分别用TCP和UDP实现

2017-07-26

python实现视频直播

python3.6基于Opencv写的一个视频直播小程序,分别用UDP和TCP实现,包括传输屏幕直播和摄像头直播,有兴趣的可以看看