- 博客(18)
- 资源 (85)
- 收藏
- 关注
原创 Python--使用logging模块
目录认识loggingloggerhandlerfilterformater配置loggingbasicConfigfileConfig1. 编写配置文件2.通过fileConfig()函数读取配置dictConfig参考文章认识logginglogging模块是Python内置的标准模块,主要用于输出运行日志,可以设置输出日志的等级、日...
2019-04-29 16:24:02 27542
原创 Scrapy--CrawlSpider
目录CrawlSpider简介rulesparse_start_url(response)Rule(爬取规则)Link ExtractorsCrawlSpider实战创建项目定义Item创建CrawlSpider编写Pipeline启动爬虫CrawlSpider简介class scrapy.spiders.CrawlSpiderCr...
2019-04-28 11:54:12 27491
原创 Scrapy--下载器中间件(Downloader Middleware)
目录下载器中间件简介自定义下载器中间件RandomUserAgentMiddlewareRandomProxyMiddleware激活下载器中间件内置下载器中间件CookiesMiddlewareDefaultHeadersMiddlewareDownloadTimeoutMiddlewareHttpProxyMiddlewareRedirectMidd...
2019-04-25 17:23:31 34883
原创 Scrapy--入门实战
目录Scrapy简介安装ScrapyScrapy工作流程Scrapy实战创建项目定义Item创建Spider编写Pipeline启动爬虫参考文章Scrapy简介Scrapy是一个为了爬取网站数据,提取结构性数据而编写的应用框架。 可以应用在包括数据挖掘,信息处理或存储历史数据等一系列的程序中。其最初是为了网络抓取所设计的, 也可以应用在获取API所返...
2019-04-24 18:32:55 32351
转载 CentOS解决-bash: vim: command not found
那么如何安裝 vim 呢?输入rpm -qa|grep vim 命令, 如果 vim 已经正确安裝,会返回下面的三行代码:root@server1 [~]# rpm -qa|grep vimvim-enhanced-7.0.109-7.el5vim-minimal-7.0.109-7.el5vim-common-7.0.109-7.el5如果少了其中的某一条,比如 vim-e...
2019-04-16 13:52:31 43670 4
原创 Python中使用XPath
目录XPath简介XPath语法选取节点谓语(Predicates)选取未知节点选取若干路径XPath 轴XPath 运算符使用lxml摘自W3School官方文档:http://www.w3school.com.cn/xpath/index.aspXPath简介XPath (XML Path Language)是一门在 HTML\XML 文档中查找...
2019-04-15 16:07:16 48881 7
原创 Python中使用正则表达式
正则表达式是一个特殊的字符序列,它能帮助你方便的检查一个字符串是否与某种模式匹配。下表整理了一些正则表达式中经常用到的语法: 语法 描述 表达式示例 匹配示例 字符 普通字符 匹配自身 abc abc \t 匹配一个制表符 \r 匹配一个回车符 \n 匹配一个换行符...
2019-04-13 16:18:36 37679
原创 使用Python解析JSON
JSON (JavaScript Object Notation) 是一种轻量级的数据交换格式。Python3 中可以使用 json 模块来对 JSON 数据进行编解码,主要包含了下面4个操作函数:提示:所谓类文件对象指那些具有read()或者 write()方法的对象,例如,f = open('a.txt','r'),其中的f有read()方法,所以f就是类文件对象。在json的编...
2019-04-13 12:44:02 131461 5
原创 使用Python操作redis
目录安装redis连接redis直接连接连接池连接哨兵连接常用操作String操作Hash操作List操作Set操作Zset操作Key操作Pipeline操作参考文章:安装redis在python中操作Redis数据库需要先安装redis模块。pip install redis连接redisredis提供...
2019-04-11 09:50:04 33238
转载 如何建立爬虫代理ip池
目录一、为什么需要建立爬虫代理ip池二、如何建立一个爬虫代理ip池 原文地址:https://www.cnblogs.com/TurboWay/p/8172246.html一、为什么需要建立爬虫代理ip池 在众多的网站防爬措施中,有一种是根据ip的访问频率进行限制的,在某段时间内,当某个ip的访问量达到一定的阀值时,该ip会被拉黑、在一段时...
2019-04-10 09:08:20 37111 1
原创 Linux下使用源码包安装Python
目录准备环境:Python的下载和安装常见问题准备环境:Linux:CentOS Linux release 7.2.1511 (Core)Python:Python-3.7.3Python的下载和安装CentOS 7.2 自带了Python2.7.5,我们需要另行安装Python 3.7.3。但是由于系统运行依赖于自带的Python2.7.5,因此千万不可删除系统...
2019-04-08 18:34:18 35355 3
原创 Windows下Python的安装与配置
目录Python的下载和安装Jupyter Notebook的安装与启动PyCharm的下载与安装常用库的安装及功能简介Python的下载和安装首先,我们需要通过Python官方网站下载 Python 安装包,目前最新的版本是 3.7.2 。在官网首页的导航条上找到“Downloads”按钮,鼠标悬停在上面时会出现一个下拉菜单,如下图所示。在下拉菜单中,根据自己的操...
2019-04-08 18:27:47 31249
原创 JAVA核心知识点--使用net.sf.json遍历Json数组
使用net.sf.json遍历Json数组import org.junit.Test;import java.util.Iterator;import net.sf.json.JSONArray;import net.sf.json.JSONObject;public class JsonArrayTest { @SuppressWarnings("unchecked") @...
2019-04-05 15:44:49 31486
原创 Java问题集锦--Missing artifact net.sf.json-lib:json-lib:jar:2.4
Missing artifact net.sf.json-lib:json-lib:jar:2.4在引入maven依赖的同时,指定依赖的JDK版本信息。 <!-- https://mvnrepository.com/artifact/net.sf.json-lib/json-lib --> <dependency> <groupId>net...
2019-04-05 15:44:02 30393
原创 JAVA核心知识点--HttpClient获取302响应中的Location头信息
HttpClient获取302响应中的Location头信息 public static String getLocationUrl(String url) { RequestConfig config = RequestConfig.custom().setConnectTimeout(50000).setConnectionRequestTimeout(10000).setSocke...
2019-04-05 15:42:27 37633 3
原创 Java问题集锦--The type StringEscapeUtils is deprecated
“The type StringEscapeUtils is deprecated”之前一直使用commons-lang3-3.x.jar这个jar包里面的org.apache.commons.lang3.StringEscapeUtils类来转义特殊字符,但是最近发现使用这个类会出现以下提示:Multiple markers at this line - The type S...
2019-04-05 15:41:04 40922
原创 Java问题集锦--Maven项目缺少Jar包--jdk.toolss:jar:1.8
Maven项目缺少Jar包--jdk.toolss:jar:1.8Error message:Missing artifact jdk.tools:jdk.tools:jar:1.8[Maven Dependency Problem]The container ‘Maven Dependencies‘ references non existing library ‘D:\.m2\r...
2019-04-05 15:38:54 31396
原创 JAVA核心知识点--对数组进行初始化填充
对数组进行初始化填充import java.util.Arrays;public class ArrayFilling { public static void main(String[] args) { int[] scoreArr = new int[8]; // 创建一个大小为8的数组 Arrays.fill(scoreArr, 0); // 将数组使用数字 0 进...
2019-04-05 15:36:57 30319
Quartz Job Scheduling Framework 中文版
2017-12-03
Java中使用Quartz进行任务调度常用操作
2017-12-03
Spingboot+Quartz基于数据库的作业任务调度
2017-12-03
mybatis+log4j+mysql.rar
2017-09-24
JSONObject所需Jar包合集
2017-09-14
commons-dbcp-1.4.jar+commons-pool1.56.jar
2017-09-14
Gson解析Json示例源码
2017-09-13
gson-2.6.2.jar+API+源码
2017-09-13
大黄蜂网络下载助理
2017-09-07
kafka-demo.zip
2020-01-07
bootstrap风格zTree组件
2018-12-19
微信公众平台开发教程(含java代码)
2018-05-23
Springboot中使用JPA操作数据库
2018-04-22
spring-boot-initializer
2018-04-09
SpringBoot中使用@Conditional示例代码
2018-03-26
spring-boot读取配置文件示例
2018-03-21
微信公众号开发--消息与事件处理
2018-02-24
MyBatis从入门到精通
2018-01-15
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人