- 博客(11)
- 收藏
- 关注
RSS订阅原创 约会网 scrapy-spider
# -*- coding: utf-8 -*-import scrapyimport jsonpathimport jsonfrom ..items import YuehuiItemclass YuehuiSpider(scrapy.Spider): name = 'yuehui' allowed_domains = ['163.com'] start_u...
2019-05-14 21:06:43
163
原创 urllib/request爬取百度贴吧图片
import refrom urllib import request,parseimport os# 突破下载函数def download(img_html): # 正则匹配图片url img_url = re.findall('<img class="BDE_Image" src="(.*?)"',img_html,re.S) # print(img_u...
2019-01-10 16:36:59
358
原创 scrapy框架爬取微博之spider文件
# -*- coding: utf-8 -*-import scrapyfrom scrapy.settings import default_settingsimport jsonfrom ..items import WeiboItemimport refrom w3lib.html import remove_tagsclass WeiboSpider(scrapy.Spid...
2018-09-19 17:09:10
218
原创 多线程和多进程
多进程是立体交通系统，虽然造价高，上坡下坡多耗点油，但是不堵车。多线程是平面交通系统，造价低，但红绿灯太多，老堵车。(1)一个线程只能属于一个进程，而一个进程可以有多个线程，但至少有一个线程。 (2)资源分配给进程，同一进程的所有线程共享该进程的所有资源。...
2018-08-20 22:54:39
140
原创 python爬取社会招聘保存mysql
import requestsfrom lxml import etreeimport pymysqlheaders = { 'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/67.0.3396.99 Safari/537.36...
2018-08-20 00:30:12
270
原创 python爬取阳光电影保存mysql
import requestsfrom lxml import etreeimport reimport pymysql# 定义urlheaders = { 'User-Agent':'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/67.0.3396...
2018-08-20 00:29:09
306
原创 python爬取安居客保存mysql
import requestsfrom lxml import etreeimport pymysqlurl = 'https://bj.zu.anjuke.com/fangyuan/huilongguan/p{}/'headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.3...
2018-08-20 00:27:43
682
原创 Python爬取toutiao图片保存到本地
import reimport requestsimport jsonimport osfrom urllib import requesturl = 'https://www.toutiao.com/search_content/?offset={}&format=json&keyword=%E7%BE%8E%E5%9B%BE&autoload=true&a...
2018-08-16 22:22:08
467
原创 python获取xueqiu数据并保存mysql
from urllib import requestimport jsonimport pymysqlheaders = { 'User-Agent':'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/67.0.3396.99 Safari/537.36',...
2018-08-16 00:33:43
184
原创 form表单登陆人人网
import jsonfrom urllib import request,parsefrom http import cookiejar# 创建cookie对象cookie = cookiejar.CookieJar()# cookie操作handler = request.HTTPCookieProcessor(cookie)# 实例化cookieopener = reques...
2018-08-14 20:50:22
1972
原创 Python的post和get请求封装
from urllib import request,parsefrom urllib.error import HTTPError, URLError# 定义函数，form传参为post，不传参为getdef urlrequests(url,form=None,headers=None): # 定义默认headers，如果不传参就用默认的，传参就替换默认的。 if hea...
2018-08-13 22:29:52
1887
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人