- 博客(13)
- 资源 (6)
- 问答 (1)
- 收藏
- 关注
RSS订阅转载 Java网络爬虫实操（5）
上一篇：Java网络爬虫实操（4）大家好，前几篇文章介绍的URL都是返回HTML内容的，然后再从HTML字符串里解析出我们想要的数据。但是，随着前端编程技术的发展，至少十多年前开始ajax、json等技术就已经是主流了。我们在网页上看到的很多数据，都是ajax异步方式请求服务器，然后以json数据格式返回响应结果并加载到网页上的。本篇文章的目标：使用NetDiscovery爬虫框架，使用GET和P...
2018-02-26 17:36:25
234
转载 Java网络爬虫实操（4）
上一篇：Java网络爬虫实操（3）本篇文章继续围绕NetDiscovery框架中pipeline的用法，结合另一个专门爬图片的框架PicCrawler，实现图片的批量下载和信息的存储。顺便介绍一下Vert.X框架中的mongo基础操作。1) 目标任务找一个有很多美女图片的网址解析出要下载的图片链接，放到一个list中把list传到图片爬虫框架，几行代码搞定把需要的信息存储到mongodb /...
2018-02-26 17:35:56
228
转载 Java网络爬虫实操（3）
上一篇：Java网络爬虫实操（2）本篇文章主要介绍NetDiscovery框架中pipeline模式的一些实际使用方法。1) 什么是pipelinepipeline是一种常见的算法模式，针对不断循环的耗时任务，如果要等一个循环结束后再轮到处理下一个任务的话，时间上有点浪费。所以，把耗时任务拆分为几个环节，只要一个环节完成了，就可以轮到下一个任务的那个环节就马上开始处理。不用等到这个耗时任务全部结束...
2018-02-26 17:35:21
114
转载 Java网络爬虫实操（2）
上一篇： Java网络爬虫实操（1）本篇文章继续介绍爬虫框架NetDiscovery的使用：如何发重复请求、如何用爬虫容器引擎驱动爬虫程序1 ）重复请求的场景举例从2017年下半年开始，比特币、数字货币、虚拟币、区块链技术、去中心化等等新名词频频出现在媒体上，让人不想看到都很难。（本篇文章不研究数字货币是不是未来的发展方向）风险提示：炒币有风险，入市需谨慎找了一个数字货币的聚合信息平台，上面会定时...
2018-02-26 17:34:44
251
转载 Java网络爬虫实操（1）
大家好，说起爬虫相信很多程序员都听到过，简单来讲就是自动批量抓网络上信息的程序。接下来我结合github上一个爬虫框架NetDiscovery进行演示。1）为什么要用框架？框架能够帮助我们处理一些基础的、与目标任务没直接联系的工作，让我们专注在目标任务上。尤其对于爬虫初学者来说，很快就能体会到操作爬虫带来的效果与成就感，而不必去操心额外的事情。等入了门，再尝试不依赖框架独立从零写一个爬虫程序，然后...
2018-02-26 17:34:09
357
原创 idea开发工具怎么给方法添加带参数和返回值的注释
不知道怎样可以带回参数和返回值等信息，但是我知道为啥不显示了。user()和date()能显示内容，是因为这两个方法在其有效的作用域执行。而关于Method的方法（如methodName()、methodParameters()、methodReturnType()）没有起作用是因为你在方法外执行的mc快捷操作，这些方法的作用域是在方法内。看下methodName()方法的解释：Returns t...
2018-02-09 12:58:23
4174
转载 Java 8中,Function,Consumer,Predicate,Supplier举例
本文仅仅作为科普,大牛请无视. (本文的所有例子都是写在junit里的, 不过贴代码的时候我把@Test去掉了)Function,Consumer,Predicate,Supplier这些接口有一个共性,就是都有一个@FunctionalInterface的注解, 有了这个注解,你就可以自定义lamda表达式了.本文先介绍一些例子,然后自定义一个lamda表达式的接口.先看一下Function接口...
2018-02-08 16:32:11
3139
原创 怎么用myeclipse开发桌面小工具
随笔 - 630 文章 - 3 评论 - 163Java GUI图形界面开发工具上大学那会儿比较主流的Java图形开发插件是：Visual Editor 和 SWT Designer, 不久又出了个Jigloo, 但去官网看了下发现这个东西也很久没有更新了，不过据说短小精悍，五脏俱全。SWT Designer不久前也被Google
2018-02-07 18:27:53
795
转载 Docker实战（三）
转至：http://objcoding.com/2018/02/06/Docker(3)/以前打包 docker 镜像的时候还要手动 docker build，现在利用 docker-maven-plugin 插件打包 docker 镜像，使打包镜像步骤进一步简化。在 maven pom.xml 中加入 docker-maven-plugin 插件： com.s
2018-02-07 16:59:51
224
转载 Docker实战（二）
转至：http://objcoding.com/2017/12/07/Docker(2)/制作镜像一般有三种方法，第一种是 run 一个基础容器，在里面下载好我们需要的东西，然后通过 docker commit 命令生成一个新的镜像，第二种方法是基于本地模版导入，第三种就是这篇文章说的基于 Dockerfile 创建。结构Dockerfile 大概可以分为四部分：基础镜像信
2018-02-07 16:57:31
208
转载 Docker实战（一）
很早之前就听说过docker了，简直就是开发人员的部署神器啊，但一直没有去了解，没有利用它做过一点实际的内容，这不前段时间有个路人甲的云服务器部署的项目启动后访问不了吗？让我去看看，我发现在本地能访问，于是我在想，如果能把开发环境和线上环境统一就好了，开发环境测好直接打包到线上，一键部署，然后我就想到了我一直想要去学习的docker了，docker的一些官方简介这里就不一一展开说了，直接开撸！
2018-02-07 16:37:27
199
原创 想知道怎么写一个浏览器插件吗？
http://open.chrome.360.cn/extension_dev/getstarted.htmlhttps://www.zhihu.com/question/20179805snippets代表片段，小片的意思，可以自己新增一个插件，插件的内容跟普通的html页面没多大区别，也可以包含css, html , js等content scripts 代表了
2018-02-07 14:12:47
3963
webservice动态调用
2016-05-19
java和jquery实现上传文件时实时显示进度条
2015-05-01
同一时间只能有一个用户可以编辑
2017-03-13
TA创建的收藏夹 TA关注的收藏夹
TA关注的人