- 博客(8)
- 资源 (7)
- 收藏
- 关注
原创 Windows下Squid 3.5安装及配置代理服务器
安装软件下载地址为http://squid.diladele.com/。点击下图的下载按钮进行下载。双击,下载文件,点击Next。接收协议,点击Next。选择软件安装目录,如我的是G:\software\Squid点击Install,安装。安装完成后,点击Finish。下载完成之后,桌面会出现,以下两个图标(快捷键):其中,squid的文件目录如下:其中最核心的配置文...
2018-10-25 11:16:54 22813 1
原创 HttpClient4.5使用RequestConfig配置连接信息
RequestConfig类在构建网络爬虫时,经常需要配置很多信息,例如RequestTimeout(连接池获取到连接的超时时间)、ConnectTimeout(建立连接的超时)、SocketTimeout(获取数据的超时时间)、代理、是否允许重定向等信息。在HttpClient,实现这些配置需要使用到RequestConfig类的一个内部类Builder。如下为Builder的源码: ...
2018-10-25 08:37:42 28421 5
原创 RSA加密与解密(Java实现)
RSA的应用RSA是一种非对称加密算法。现在,很多登陆表单的密码的都采用RSA加密,例如京东中的登陆使用公钥对密码进行加密。Base64编码apache.commons-codex包提供了许多编码格式转换,例如Base64。以下为Base64编码表使用apache.commons-codex进行Base64对字符串进行编码与解码的程序如下:package com.qian.encod...
2018-10-17 10:22:52 326782 67
原创 Python3文本读写操作
打开文本f=open(‘路径/文件名’, ‘读写格式’, ‘编码方式’, ‘错误处理方式’)例如:f = open(’/Usersiccy/Desktop/PythonCode/test.txt’,‘r’, encoding=‘UTF-8’, errors=‘ignore’)打开文本常见的选项有:"r": 以读方式打开,只能读文件,如果文件不存在,会发生异常."w": 以写方式打...
2018-10-09 22:23:17 2347
原创 Python3日期时间的操作
datetime与timePython中可用datetime与time模块处理时间相关的内容。其中,datetime中涉及到date以及datetime两个类。date类处理到日,datetime类可以处理到更小的单位(如小时、秒等)。date类是在datetime.py中实现的,其中包含的构造器、操作、方法以及属性如下: """Concrete date type. Co...
2018-10-09 17:11:20 1639
原创 Python3解析XML文件(xml.etree.ElementTree)——以简单网络爬虫为例
在python3中可以使用 xml.etree.ElementTree 模块操作XML文档。以下案例为网易汽车的销量数据,地址为:http://db.auto.sohu.com/cxdata/xml/sales/model/model1001sales.xml从网页内容中,可以看到是XML文件。以下为其解析程序,我想要的数据是date(销量的日期)、salesNum(销量)两个数据:#...
2018-10-08 21:56:03 17793
原创 Python3操作mysql操作类
#下载mysql.connector由于我的Anaconda装了2和3,所以我首先在cm中使用activate命令切换到python3环境下,然后使用pip install mysql.connector#Mysql操作类下面基于mysql.connector写了一个简单的mysql操作类:# -*- coding: utf-8 -*-import mysql.connector...
2018-10-08 20:08:00 7165
Probabilistic Graphical Models - Principles and Techniques.pdf
2017-01-14
Java多线程网络爬虫(时光网为例)源码
2016-10-20
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人