绕行的专栏

专注于Java和Python

Python网络爬虫requests、bs4爬取空姐网图片

如之前的几篇文章(Python爬虫框架之Scrapy详解、Python爬虫框架Scrapy之爬取糗事百科大量段子数据),使用了Scrapy框架并且爬取了糗事百科的段子存入MongoDB中。Scrapy框架很好,也提供了很多扩展点,可以自己编写中间件处理Scrapy的Request和Response...

2017-05-26 21:08:46

阅读数 5063

评论数 0

Python爬虫框架Scrapy之爬取糗事百科大量段子数据

如上篇文章《Python爬虫框架之Scrapy详解》(传送门:Python爬虫框架之Scrapy详解)所述。首先,准备scrapy环境: 安装Python,pip,使用pip安装lxml和scrapy。 scrapy startproject qiubai新建一个名为qiubai的scrapy爬虫...

2017-05-24 13:27:39

阅读数 3796

评论数 0

Java多线程并发器之AbstractQueuedSynchronizer分析

AbstractQueuedSynchronizerAbstractQueuedSynchronizer是Java并发工具包中最重要的工具,它是一个抽象类,为Java的各种同步器,锁等提供了并发抽象,是由大名鼎鼎的Doug Lea完成。java.util.concurrent提供了很多并发工具类,...

2017-05-17 08:33:15

阅读数 272

评论数 0

爬虫进阶:CrawlSpider爬取169ee全站美女图片

CrawlSpider前面,我们用了scrapy中的CrawlSpider爬取了糗事百科中大量段子数据。但是,qiubai这个爬虫没有充分利用CrawlSpider的优点。其实,在qiubai这个爬虫里面我们只是把CrawlSpider当做普通的Spider用而已。CrawlSpider继承自Sp...

2017-05-28 11:09:40

阅读数 8526

评论数 0

Python爬虫框架之Scrapy详解

scrapy爬虫安装: 首先,安装Python,pip,然后使用pip安装lxml和scrapy,这样就可以新建scrapy项目了。 然后,在命令行使用scrapy startproject xxx命令新建一个名为xxx的scrapy爬虫项目。 scrapy爬虫内部处理流程:我们在使用scrapy...

2017-05-20 23:25:27

阅读数 6166

评论数 0

Spring源码之JdbcTemplate分析

JdbcTemplate用过Spring开发的,ORM框架一般选择MyBatis或者Hibernate,不过,Spring对JDBC API的封装工具JdbcTemplate,也提供了很方便的操作,不需要再在使用jdbc api时捕获那么多受检异常,忍受那么多样板式的代码了。JdbcTemplat...

2017-05-17 22:56:41

阅读数 330

评论数 0

Java进程Runtime、Process、ProcessBuilder调用外部程序

通过Java执行系统命令,与cmd中或者终端上一样执行shell命令,最典型的用法就是使用Runtime.getRuntime().exec(command)或者new ProcessBuilder(cmdArray).start()。让我们看看Runtime、ProcessBuilder的详细解...

2017-05-15 09:01:24

阅读数 18439

评论数 0

多线程之读写锁

背景和意义java.util.concurrent中有很多的同步工具类,比如ReentrantLock、Semaphore、CountLatch、CyclicBarrier、BlockingQueue、ConcurrentLinkedQueue等等,其中,很多使用的是排他锁的实现,即,同一时间只有...

2017-05-14 09:57:28

阅读数 307

评论数 0

Java项目中根据相对路径和绝对路径获取文件的方法 getResource(name)

首先,项目中文件分布情况如下,innerFile.txt位于test.test包下,innerInnerFile.txt位于test.test.inner包下,outterFile.txt位于包的根目录下,那么,在App类里,如何根据相对路径、绝对路径获取innerFile.txt、innerIn...

2017-05-14 09:08:55

阅读数 47936

评论数 0

OkHttp详细用法

引入依赖<dependency> <groupId>com.squareup.okhttp3</groupId> <artifactId>okhttp</artifactId> <version>3.1...

2017-05-14 08:50:30

阅读数 1231

评论数 0

Java进程 vs 线程、线程池

Java进程 vs 线程、线程池1. 进程Java进程中Runtime类封装了进程运行时的环境。每个 Java 应用程序都有一个 Runtime 类实例,使应用程序能够与其运行的环境相连接。一般不能实例化一个Runtime对象,应用程序也不能创建自己的 Runtime 类实例,但可以通过 getR...

2017-03-08 14:38:29

阅读数 369

评论数 0

win10启用管理员账户

故障现象: Win10系统内置的管理员账户被禁用,如何修复? 解决方案: 1、进入WINDOWS PE ,能正常访问到系统盘; 2、进入到C:/WINDOWS/SYSTEM32/文件夹下,找到当前目录下的sethc.exe; 3、把sethc.exe改名成sethc.exe.bak(备份...

2015-09-05 22:31:07

阅读数 955

评论数 0

TeXworks中文乱码问题

转载自:http://blog.csdn.net/lydyangliu/article/details/8714151 指定texworks的encoding是件要注意的事情。 缺省是utf8,打开文件若发现乱码,千万不要修改并保存(结果就成了UTF8编码的文件了)。找个能够正常打开的编辑器,...

2014-06-11 11:00:49

阅读数 527

评论数 0

协方差、协方差矩阵及其意义

老会忘掉协方差的求法,还有一直不知道其代表的意义,比如l

2014-05-09 21:46:51

阅读数 1041

评论数 0

提示
确定要删除当前文章?
取消 删除
关闭
关闭