- 博客(5)
- 资源 (2)
- 收藏
- 关注
原创 Java爬虫入门(二):单机单程序单线程-提供种子url用广度优先算法实现新闻资讯获取
在一的基础上,简单新增了广度url爬取算法。缺点:单线程,url爬取算法,新闻内容爬取,都丢在同一个线程,效率很慢。 后续继续优化。(自己有留意,没有爬取过疯狂(程序刚入门),所以没有ip跳板。)待解决问题: 用多线程,实现业务分离(内容爬取算法,url爬取算法),提高抓取效率,优化抓取算法,待抓取队列数据结构选用,----------------main测试方法---------
2017-11-23 15:05:16 645
原创 Java爬虫入门(一):单机单程序单线程-手动输入url获取新闻内容
目的 一:使用httpclient模拟发送http请求,获取页面数据。 二:使用jsoup解析 一步骤获取的数据(HTML)准备: 用maven构建项目,添加依赖logback,httpclient,项目结构代码:-------抽象父类--------/** * Created by man on 2017/11/22. */public ab
2017-11-22 16:43:10 558
原创 用阻塞队列(BlockingQueue)实现读写(生产者消费者)线程
package concurrent;import java.util.Scanner;import java.util.concurrent.BlockingQueue;import java.util.concurrent.ExecutorService;import java.util.concurrent.Executors;import java.util.c
2017-11-13 00:46:51 497
原创 复习三种最基本的排序算法
package algorithm;/** * @author: kimt * @Version: 1.0 * @date: 2017年11月9日 上午11:13:04 * @Description: 各种排序算法 */public class SortALG { public static void main(String[] args) { int[] a = { 5,
2017-11-09 17:29:49 343
原创 CentOS7.4安装部署环境出现问题总结
在公司服务器的虚拟机装了centOS7.4,过程中遇到几个问题(主机列表:我的PC:公司服务器:公司服务器的虚拟机)1.通过wget oracle官网jdk.tar.gz下载url,经过两次跳转后401,认证失败;最后没办法,手动下载了个jdk,用sftp传到linux服务器上;(- -|||做法有点低级(好像可以加cookie参数),或者yum安装))2.用xshell5 连
2017-11-02 15:03:02 1607
实战Java高并发程序设计.mobi
2018-11-14
高性能MySQL(第3版).mobi ---kindle可看
2018-11-14
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人