- 博客(21)
- 收藏
- 关注
RSS订阅原创 Java 比较传入泛型数组（可以是任意数据类型） 的最大值最小值
题意，怎样根据传入的泛型数组比较最大最小值，数组的类型可以是int型，可以是String型，也可以是double型。。。首先要定义一个泛型类，定义泛型T，存储咱们的最大值最小值，提供公开的方法，重载构造函数，存储咱们的最大最小值；/** * 创建泛型类 Num * @author 15053 * * @param <T> */public class Num<T&...
2018-11-05 10:12:06
3946
转载 Java中ArrayList类详解
Java中ArrayList类详解1、什么是ArrayListArrayList就是传说中的动态数组，用MSDN中的说法，就是Array的复杂版本，它提供了如下一些好处：动态的增加和减少元素实现了ICollection和IList接口灵活的设置数组的大小2、如何使用ArrayList最简单的例子：ArrayList List = new ArrayList();for( int ...
2018-11-04 16:25:39
318
转载 Java 中的异常
简介程序运行时，发生的不被期望的事件，它阻止了程序按照程序员的预期正常执行，这就是异常。异常发生时，是任程序自生自灭，立刻退出终止，还是输出错误给用户？或者用C语言风格：用函数返回值作为执行状态？。Java提供了更加优秀的解决办法：异常处理机制。异常处理机制能让程序在异常发生时，按照代码的预先设定的异常处理逻辑，针对性地处理异常，让程序尽最大可能恢复正常并继续执行，且保持代码的清晰。Jav...
2018-10-31 16:21:23
174
翻译 java面向对象--常见对象(Object,Scanner,String)的用法
ObjectObject:是类层次结构的根类.每个类都使用 Object 作为超类(父类)Object几个常用方法:public int hashCode() : 返回该对象的哈希码值,把它理解地址值(不是实际意义的地址值)public final Class getClass() : 返回此 Object 的运行时类Class类中有一个方法:public String getName...
2018-10-27 16:22:26
310
2
转载 python 装饰器
今天我们来说说装饰器,装饰器到底是个什么东东？装饰器主要是用来对函数的操作,我们把定义的函数比作一个蛋糕的话,那么装饰器就是盒子,如果要吃蛋糕就先打开盒子。具体到程序中就是在函数外层又套了一层,套的那一层就是一个装饰器。这么说可能有点抽象，那么我们下面就来举例说明.1 应用场景需求假设我们有一个程序,里面有N个函数(模块),由于是新上的功能,为了打开市场领导要求所有的功能免费开放,不加任何限...
2018-10-24 11:38:42
136
2
转载 Python高级特性
环境：python 2.7.x1 内建函数(xxx)背景：为什么要有这种带下划线的内建函数，个人认为这种内建函数开放了很多Python的特殊用法，只要详尽掌握，就会理解平时用到的数据结构是复写了什么方法，自己也可以写出类似set,dqueue,dict,list的数据类型方法。1.1 类似字典的操作方式,__getitem__,__setitem__,__delitem__ 我们...
2018-10-21 14:57:58
158
2
原创 python 存储 将csv或json 存入mysql或mongoDB 数据库
在企业中，利用python爬虫趴下来的数据我们通常以列表或者字典的形式存入数据库中，这里我们说一下怎样存入mysql数据库或者MongoDB数据库，那么怎样将他们存入数据库中：1.列表形式的存储，类似于我们从csv文件中读取数据并存入数据库，我们存入csv的数据就是以列表形式存入的，可以参照此案例：存入mysql数据库#导入库import csvimport pymysql#...
2018-10-21 14:46:11
4322
6
转载 Java 中if-else多分支结构和switch-case结构
一、if分支结构If() { }If() {} else {}If() {} if() {} if() {}If() {} else if() {} else if() {} else {}说明：1) 可以进行嵌套，或者多重嵌套，但为保证代码逻辑清晰，提高可读性，尽量不要嵌套。2) 按先后顺序依次判断是否成立，当一个if 语句检测为真，后面的else if 及 else语句...
2018-10-19 17:19:59
2801
1
转载 python中没有&&及|| 取而代之的是 and和or
python中没有&&及|| 取而代之的是 and和or首先说明一下，在python中是没有&&及||这两个运算符的，取而代之的是英文and和or。其他运算符没有变动。接着重点要说明的是python中的a.any()，我之所以会涉及到这个函数，是因为我在设计某个分段数值函数时由于不细心犯的错误引起的。a.any()，根据官方解释：Test whether a...
2018-10-19 11:09:15
3068
1
原创 python 爬虫 如何通过scrapy简单模拟登陆豆瓣网，手动进行图形验证码的验证
1.建立scrapy爬虫程序，在terminal命令行输入’scrapy startproject douban_login’2.建立爬虫主程序，主要步骤都在这里实现，以douban_login.py命名程序代码如下：import scrapyfrom scrapy.spider import CrawlSpiderfrom urllib import requestfrom PIL ...
2018-10-11 20:40:32
534
1
原创 python 爬虫 如何通过scrapy框架简单爬取网站信息--以51job为例
Scrapy框架三大优点：Scrapy框架是用纯Python实现一个为了爬取网站数据、提取结构性数据而编写的应用框架，用途非常广泛。框架的力量，用户只需要定制开发几个模块就可以轻松的实现一个爬虫，用来抓取网页内容以及各种图片，非常之方便。Scrapy 可以加快我们的下载速度，不用自己去实现异步框架，并且包含了各种中间件接口，可以灵活的完成各种需求。scrapy实现流程图：scr...
2018-10-11 20:25:50
1375
1
原创 python 爬虫 如何通过selenium简单爬取boss直聘招聘职位信息
代码如下：from selenium import webdriverimport timefrom openpyxl import Workbook#创建存储爬取信息的空列表jobList = []workList = []hrefList = []#爬取职位信息的方法def Parse(): #打开火狐浏览器 browser = webdriver.Firefo...
2018-10-11 19:57:27
1404
1
原创 python 爬虫 通过selenium实现网页拖拽
通过selenium爬取动态网页的过程难免会遇到爬取的内容在下面加载不出来，这时需要通过拖拽网页使网页加载出来再进行内容的爬取。代码如下：#导入打开网页需要的库from selenium import webdriverimport time#使用火狐浏览器打开网站browser = webdriver.Firefox()url = 'http://jd.com'browser...
2018-10-11 19:43:24
898
1
原创 python 爬虫 如何用selenium抓取网页内容
使用selenium爬取动态网页信息Python selenium自动控制浏览器对网页的数据进行抓取，其中包含按钮点击、跳转页面、搜索框的输入、页面的价值数据存储、mongodb自动id标识等等等。首先介绍一下 Python selenium —自动化测试工具，用来控制浏览器来对网页的操作，在爬虫中与BeautifulSoup结合那就是天衣无缝，除去国外的一些变态的验证网页，对于图片验证码我有...
2018-10-10 21:10:11
12425
2
原创 python 爬虫 获取西刺网免费高匿代理ip
import chardetimport requestsfrom scrapy.selector import Selectorimport randomfrom telnetlib import Telnetip_list = []def getData(url): user_agent = [ "Mozilla/5.0 (Macintosh; U; ...
2018-10-10 21:04:45
2004
1
原创 python 爬虫 抓取网站img图片
from getHtml import getHtmlWinthIpfrom getHtml import getHtmlfrom bs4 import BeautifulSoupfrom urllib import request#为了存储import os #为了创建文件夹#url ='https://movie.douban.com/celebrity/1050059/pho...
2018-10-10 20:56:17
5956
1
原创 pthon 爬虫 使用requests爬取51job职位信息
#导入模块from getHtml import getHtmlfrom bs4 import BeautifulSoupdataList = []#准备网址url = 'https://search.51job.com/list/000000,000000,0000,00,9,99,%25E5%25A4%25A7%25E6%2595%25B0%25E6%258D%25AE%25E5%...
2018-10-10 20:52:00
640
2
原创 python 爬虫--读取、存入csv、excel的存储方式
存入csv文件#导入import csv#几种打开写入csv文件的方式，没有文件则创建#方法一：有空行的写入#with open('data.csv','w',encoding='utf-8')as csvfile:#方法二：无空行的写入newline=''#with open('data.csv','w',encoding='utf-8',newline='')as csvfil...
2018-10-10 20:49:04
5495
1
原创 python 爬虫 使用正则爬取51job内容并存入txt
python爬虫基础–使用正则提取51job内容输出到txtfrom urllib import request#urlurl = 'https://search.51job.com/list/020000%252C010000%252C080200%252C070200%252C120300,000000,0000,00,9,99,%25E4%25BA%25BA%25E5%25B7%25A...
2018-10-10 20:35:28
773
1
原创 python 爬虫 使用正则表达式获取文本
#正则表达式获取文本的规则与用法import re#编辑一个规则reg = re.compile('is')#要使用规则进行提取的文本str1 = 'he is jack'#检测str1内有没有isresult = re.search(reg,str1)print(result)#findall（）返回结果，列表形式print(re.findall(reg,str1))...
2018-10-10 20:31:34
859
原创 python 爬虫 几种简单获取浏览器静态网页html的方式
python 爬虫 几种简单获取浏览器静态网页html的方式1.导入urllib的方式先导入需要的模块import urllibfrom urllib import request两种方法：有浏览器头部和代理IP、没有浏览器头部和代理IP有浏览器头部和代理IPurl = '需要访问的网址'将网页的url网址包装成请求#包装成请求myrequest=request.Reques...
2018-10-10 18:56:41
5138
2
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人