莫忘

花罚拾年,莫敢相忘

基于BeautifulSoup解析的网页爬虫实现

目标爬去cnkongqi.com上的气象数据,cnkongqi.com站点上包含全国每个城市的天气,空气质量等数据,这些数据每小时都会进行更新。我的目标是要将该站点的某一时间的气象数据全部抓取下来,并保存到数据库。本次爬虫编写语言选用python,由于在下对python是小白,所以这个爬虫程序可以...

2016-12-28 22:03:47

阅读数:635

评论数:0

MySQL5.7中对JSON的支持

概述从MySQL5.7.8开始,Mysql提供了一个原生的Json类型,Json值将不再以字符串的形式存储,而是采用一种允许快速读取文本元素(document elements)的内部二进制(internal binary)格式。在Json列插入或者更新的时候将会自动验证Json文本,未通过验证的...

2016-12-16 14:51:57

阅读数:17229

评论数:3

Java实现BT种子解析

BT种子结构 announce:tracker服务器的URL(字符串) announce-list(可选):备用tracker服务器列表(列表) creation date(可选):种子创建的时间,Unix标准时间格式,从1970 1月1日 00:00:00到创建时间的秒数(整数) comment...

2016-12-16 09:39:19

阅读数:5287

评论数:0

基于Jsoup实现的简单爬虫

Jsoup 概念 jsoup 是一款Java 的HTML解析器,可直接解析某个URL地址、HTML文本内容。它提供了一套非常省力的API,可通过DOM,CSS以及类似于jQuery的操作方法来取出和操作数据。 其实在这之前我解析Html一直都是使用HtmlPaser来做,在我第一次看到Jsou...

2016-12-09 15:19:26

阅读数:2901

评论数:0

Java实现的简单字符串加密工具

一个使用位运算实现的简单的字符串对称加密工具

2016-12-09 09:54:27

阅读数:440

评论数:0

SQL中CASE关键字的使用

使用方法代码示例CASE关键字有两种使用方法,分别是‘简单case函数’和‘case搜索函数’简单case函数CASE sex WHEN '1' THEN '男' WHEN '2' THEN '女' ELSE '其他' ENDcase搜索函数CASE sex WHEN se...

2016-12-08 19:36:08

阅读数:11655

评论数:0

基于HTTP的多线程文件下载功能实现

思想 文件信息获取的获取方式与单线程的方式一样 与单线程相比不同的是将远程文件分块并发获取,然后再并发写入到本地暂存文件中 远程文件分块的实现依据是:connection.setRequestProperty(“Range”,”bytes=”+start+”-“+end) 本地将文件写入指定位置的...

2016-12-08 19:33:58

阅读数:1119

评论数:0

基于HTTP的单线程文件下载功能实现

思路 使用http请求远程文件地址 从响应体中获取文件头信息 读取响应体中的输入流,并写入本地文件输出流中

2016-12-08 19:32:51

阅读数:987

评论数:0

SpringMVC实现文件下载的两种方法

这两天玩spring的过程中遇到了一个很常见的问题——文件下载。以往很多时候都是直接给一个文件的静态链接,这种方法有很多局限性,其中一个很明显的局限性就是不易统计下次状态,还有就是需要http服务器来保存文件,不可访问服务器本机文件系统的文件,综上所述,我们需要一种易于统计并可下载本地文件系统中文...

2016-12-06 16:50:33

阅读数:43889

评论数:7

提示
确定要删除当前文章?
取消 删除
关闭
关闭