- 博客(8)
- 收藏
- 关注
RSS订阅原创 bilibili获取up主基本信息
-- coding: utf-8 --import scrapy import json from scrapy_project.items import BilibiliItemclass BilibiliSpider(scrapy.Spider): name = ‘bilibili’ allowed_domains = [‘bilibili.com’] ...
2018-08-23 21:08:55
3138
原创 豆瓣聚会的数据爬取代码
豆瓣： from bs4 import BeautifulSoupimport requestsfrom day05.mysqlhelper import MysqlHelperurl = 'https://beijing.douban.com/events/week-party'response = requests.get(url)helper = MysqlHelper...
2018-08-23 09:37:19
168
原创 豆瓣网的爬取和练习代码
豆瓣： from selenium import webdriverimport timeimport requestsfrom lxml import etreeimport base64# 操作浏览器driver = webdriver.Chrome()url = 'https://accounts.douban.com/login?alias=&redir=...
2018-08-23 09:35:36
518
原创 妹子图和喜马拉雅的爬虫代码
妹子图： import requestsfrom urllib import request,parsefrom lxml import etreeimport ospath = 'D:/Python/meizi'os.chdir(path)def meizi(page_all,queue): i = 1 if i <= page_all: ...
2018-08-23 09:34:24
399
原创 腾讯和头条的爬虫代码
腾讯： import requests,reimport requestsimport jsonimport pymysqlclass mysql_conn(object): # 魔术方法, 初始化, 构造函数 def __init__(self): self.db = pymysql.connect(host='127.0.0.1',user ...
2018-08-23 09:33:11
214
原创 雪球网
import requestsimport jsonimport pymysqlclass mysql_conn(object): # 魔术方法, 初始化, 构造函数 def __init__(self): self.db = pymysql.connect(host='127.0.0.1',user = 'root',password = '123456...
2018-08-23 09:32:04
3401
原创 作业2 ：人人网登录，百度通过代理登录，封装代码
from urllib import request,parseimport jsonfrom http import cookiejar# 实例化cookie_object = cookiejar.CookieJar()handler = request.HTTPCookieProcessor(cookie_object)opener = request.build_opene...
2018-08-14 22:32:38
206
原创 Session与Cookie区别
Cookies是属于Session对象的一种，但有不同，Cookies不会占服务器资源，是存在客服端内存或者一个cookie的文本文件中；而“Session”则会占用服务器资源。所以，尽量不要使用Session，而使用Cookies。Session的数据会因为用户万一不小心关闭了浏览器而丢失，Cookies则不会。Cookies还有着时效性，可设定失效的时间，而且Cookies里存在的信息不...
2018-08-13 19:55:42
142
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人