- 博客(20)
- 收藏
- 关注
RSS订阅原创 关于scrapy爬取51job网以及智联招聘信息存储文件的设置
通过这两个文件,,可以存储数据(但是注意在爬虫文件中也在写相应的代码具体参考51job网和智联招聘两个文件)1.先设置items文件# -*- coding: utf-8 -*-# Define here the models for your scraped items## See documentation in:# https://doc.scrapy.org/en/lates...
2018-03-02 21:32:50
482
原创 爬取智联招聘网的信息 类似于51job
# -*- coding: utf-8 -*-import scrapyfrom ..items import JobspiderItemclass ZlSpider(scrapy.Spider): name = 'zl' allowed_domains = ['zhaopin.com'] start_urls = [ 'http://sou.zh...
2018-03-02 21:24:24
888
原创 爬取51job的信息
# -*- coding: utf-8 -*-import scrapyfrom ..items import JobspiderItemclass JobSpider(scrapy.Spider): name = 'job' allowed_domains = ['51job.com'] start_urls = ['http://search.51job.co...
2018-03-02 21:22:51
1251
原创 利用scrapy框架爬取风景图片网,以及利用scrapy的基本步骤
注意:此处为主代码,,还需要设置一些,具体请参考下面基本步骤的内容# -*- coding: utf-8 -*-# -*- coding:utf-8 -*-#爬虫框架:Scrapy PySpider Selenium(其中1,3必须会)#其中Selenium自动测试的一个框架#打开项目步骤(项目在桌面):看图片#如果文件夹下存在__init__文件,,证明是一个包,删除就变成一...
2018-03-01 21:35:25
601
原创 爬取51工作网 xpath的基本用法
import requestsfrom fake_useragent import UserAgentfrom lxml import etreeagent = UserAgent()url = "http://search.51job.com/list/171900%252C020000%252C010000%252C030200%252C040000,000000,0000,00,9,...
2018-02-28 21:30:34
520
原创 通过电影接口将电影信息写入文件表格
# -*- coding:utf-8 -*-#导入文件一般写在文件的最上方import requestsimport jsonimport os#如果url中的参数包含中文,那么需要先编码,否则对方服务器无法识别#参数是中文的话必须编码,requests包会自动编码city = input("输入城市名称:")url = "http://api.map.baidu.com/tele...
2018-02-28 21:28:26
920
原创 输入歌手获得歌曲并写入文件
# -*- coding:utf-8 -*-import requestsimport jsonimport oswhile True: name = input("请输入歌曲名称:") if not name.strip(): break if not os.path.exists('name.txt'): with open('n...
2018-02-27 21:46:47
629
原创 爬取自然风景网的图片
# -*- coding:utf-8 -*-#获取网页源码/下载图片/网页/视频等import requests#解析网页相关数据from lxml import etree#操作文件夹/路径import os#1.下载网页源码#2.解析网页源码(难度比较大)#3.存储相关数据#1url = "http://www.ivsky.com/tupian/ziranfenggua...
2018-02-26 22:05:28
578
原创 Python基础8 类、作用域、异常捕获、排序
.......................类1..............................#Python是面向对象的编程语言,面向对象的特点，继承，封装，多态#面向对象编程：和面向过程一样，是一种编程思想#类：具有相同属性和行为方法的事物的抽象的集合，类的例子：人类、猴类、鱼类；人类的属性：身高、体重。。人类的行为：吃喝拉撒睡，#对象：；类的具体的实例化#人类中的
2018-02-01 21:22:42
273
原创 Python基础9 继承，类函数、静态函数，内置变量
继承# -*- coding:utf-8 -*-#面向对象编程的三个特点：封装、继承、多态#函数是封装代码的基本单位，类和对象的封装属于更高级的封装方式，在类中经常会声明一些对象属性，用来保存数据，在类中声明的函数用来操作数据的，不同的功能可以封装不同的函数#..............继承....................#继承特点：# 1.子类继承父类，子类可以使用父类函数
2018-02-01 21:11:18
233
原创 Python基础7 7.1map ，reduce，fliter函数 7.2匿名函数 7.3列表生成式
7.1map ，reduce，fliter函数# -*- coding:utf-8 -*-'''#生成一个列表，列表中存放10个数字，经过计算，返回一个存放数字的平方的列表def calt_list(numbers): #声明一个空列表，用来存放计算后的数字 result_list=[] for num in numbers: s=num*num
2018-01-30 21:18:42
344
原创 Python基础6----字符串，元组
#...............字符串的用法................#1.............字符串的声明...............#方法一：string1='abc'print(string1)#方法二：string2="abc"#方法三：该方法保留其格式string3='''1.猜猜看2.就不猜3.猜不猜4.不猜揍你5.拜拜'''print(str
2018-01-29 21:02:42
193
原创 简单的淘宝爬虫以及快递查询接口
#...........淘宝...........#引入时间包import time#引入selenium中的webdriverfrom selenium import webdriver# 输入查询的关键词keyword=input('请输入要查询的关键词：')#1.创建firefix浏览器对象driver=webdriver.Firefox()#打开淘宝网址driver.
2018-01-27 15:37:48
4993
1
原创 Python基础应用5-2
1：windows+r cmd 打开命令行工具 输入pip install selenium下载selenium包2.file-settings-Project Interpreter-点击+号，输入要下载的包selenium可以用来自动操作浏览器的包，也可以用来做爬虫'''# #引入time模块# import time# #从selenium引入weddriver#
2018-01-27 15:34:51
322
原创 python基础应用5-1
。。。。。。。。。。。。。类和对象。。。。。。。。#...........类和对象..........#什么是类？概念：具有相同的属性和行为特点的事物的抽象的集合# 例如人类：具有相同的属性和行为特点；人类属性：身高、体重、年龄。。。；人类行为：吃喝拉撒睡#什么是对象？概念：类的具体的实例化#例如：人类中的对象：马云，马化腾'''list dict等都为类'''# 声明类#
2018-01-27 15:33:50
240
原创 Python手机销售系统
'''手机销售系统 手机品牌 手机价格 库存数量 vivoX9 2798 25 iphone7(32G) 4888 31 iphone7(128G) 5668 22 iphone7P(128G) 6616 29 iphone6(16G) 3858 14 .... .... ....功能要求：
2018-01-25 20:33:39
1227
原创 Python基础应用4 ——字典
#字典的使用，（大括号）#字典也是一个容器类，可以用来存储数据#列表存储数据的特点：1.有顺序的2.每一个数据搜有一个索引，通过索引可以对数据进行各种操作（查询、修改、删除）#字典存储数据：key:value(键值对).一个键对应一个值，key必须是不可变的，一般使用字符串作为字典中的key，也可以使用数字等不可变类型的值；key必须是唯一的，如果有多个相同key的情况，保留最
2018-01-25 20:31:13
230
原创 PYTHON 基础3
return 强制结束函数的执行，后面的代码不会执行#..........读写txt文件..........#使用Python内置的open()函数打开文件，参数为：(1.要打开的文件名称,2.操作模式)#mode模式：w只能操作写入，如果文件中有数据，再次写入内容时(# 即换掉原来的内容，写入新的，从新运行)，会把原来的内容覆盖；r只能读取；a向文件追加，每运行一次都会多
2018-01-24 21:56:59
773
原创 Python基础应用2
# 随机产生一个整数，Python内置了一个random随机数模块，需要先引入一下这个模块：import random# randint()功能函数，随机生成一个范围内整数 number =random.randint(0,100)注意：Python中木有i++;但有i+=1;# continue:跳过当前次的循环，直接执行下一次循环# range(开始的位置，结束
2018-01-23 21:29:38
221
原创 Python基础应用1
#：单行注释，对代码的解释，不是代码不会被程序执行 英文状态下三个单引号'''多行注释''' coding:utf-8 设置当前文件的编码格式，在Python3中，所有的字符编码统一为Unicode编码，所以Python3中可以不用写这句话 # Python是弱类型的语言，变量的类型是由其值的类型决定的# 声明变量方法：变量名=值# 声明变量的命名规范：变
2018-01-23 21:28:10
253
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人